{"train/loss": 4.0566, "train/learning_rate": 7.78816199376947e-06, "train/epoch": 1.0, "train/global_step": 1784, "_runtime": 10315, "_timestamp": 1646278635, "_step": 1788, "gradients/decoder.transformer.ln_f.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 5.0, 5.0, 10.0, 160.0, 812.0, 10.0, 9.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0], "bins": [-13.126051902770996, -12.847860336303711, -12.569668769836426, -12.291476249694824, -12.013284683227539, -11.735093116760254, -11.456901550292969, -11.178709983825684, -10.900518417358398, -10.622326850891113, -10.344135284423828, -10.065942764282227, -9.787751197814941, -9.509559631347656, -9.231368064880371, -8.953176498413086, -8.674983978271484, -8.3967924118042, -8.118600845336914, -7.840408802032471, -7.562216758728027, -7.284025192260742, -7.005833625793457, -6.727642059326172, -6.4494500160217285, -6.171258449554443, -5.89306640625, -5.614874839782715, -5.33668327331543, -5.058491230010986, -4.780299663543701, -4.502107620239258, -4.223916053771973, -3.9457242488861084, -3.667532444000244, -3.389340877532959, -3.1111490726470947, -2.8329572677612305, -2.5547657012939453, -2.276573896408081, -1.9983820915222168, -1.7201902866363525, -1.4419986009597778, -1.1638069152832031, -0.8856151103973389, -0.6074233055114746, -0.3292316198348999, -0.051039934158325195, 0.22715187072753906, 0.5053436160087585, 0.783535361289978, 1.0617270469665527, 1.339918851852417, 1.6181106567382812, 1.896302342414856, 2.1744940280914307, 2.452685832977295, 2.730877637863159, 3.0090694427490234, 3.2872610092163086, 3.565452814102173, 3.843644618988037, 4.121836185455322, 4.400028228759766, 4.678219795227051]}, "gradients/decoder.transformer.ln_f.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 4.0, 2.0, 0.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 2.0, 2.0, 4.0, 0.0, 3.0, 8.0, 13.0, 76.0, 187.0, 309.0, 225.0, 98.0, 36.0, 5.0, 3.0, 4.0, 7.0, 1.0, 1.0, 1.0, 1.0, 5.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0], "bins": [-11.441926956176758, -11.120713233947754, -10.799498558044434, -10.47828483581543, -10.15707015991211, -9.835856437683105, -9.514641761779785, -9.193428039550781, -8.872213363647461, -8.550999641418457, -8.229784965515137, -7.908570766448975, -7.5873565673828125, -7.266142845153809, -6.9449286460876465, -6.623714447021484, -6.3025007247924805, -5.981286525726318, -5.660072326660156, -5.338858127593994, -5.017643928527832, -4.696430206298828, -4.375216007232666, -4.054001808166504, -3.732787609100342, -3.4115734100341797, -3.0903592109680176, -2.7691452503204346, -2.4479310512542725, -2.1267168521881104, -1.8055027723312378, -1.4842886924743652, -1.1630754470825195, -0.8418613076210022, -0.5206471681594849, -0.19943302869796753, 0.1217811107635498, 0.4429953098297119, 0.7642093896865845, 1.085423469543457, 1.4066376686096191, 1.7278518676757812, 2.0490660667419434, 2.3702800273895264, 2.6914942264556885, 3.0127084255218506, 3.3339223861694336, 3.6551365852355957, 3.976350784301758, 4.29756498336792, 4.618779182434082, 4.939993381500244, 5.261207580566406, 5.58242130279541, 5.903635501861572, 6.224849700927734, 6.5460638999938965, 6.867278099060059, 7.188492298126221, 7.509706497192383, 7.830920219421387, 8.152134895324707, 8.473348617553711, 8.794563293457031, 9.115777015686035]}, "gradients/decoder.transformer.h.23.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 3.0, 0.0, 0.0, 3.0, 2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 1.0, 4.0, 5.0, 12.0, 33.0, 74.0, 162.0, 241.0, 210.0, 125.0, 57.0, 30.0, 9.0, 2.0, 4.0, 5.0, 4.0, 1.0, 2.0, 1.0, 5.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 1.0], "bins": [-0.07373046875, -0.07167673110961914, -0.06962299346923828, -0.06756925582885742, -0.06551551818847656, -0.0634617805480957, -0.061408042907714844, -0.059354305267333984, -0.057300567626953125, -0.055246829986572266, -0.053193092346191406, -0.05113935470581055, -0.04908561706542969, -0.04703187942504883, -0.04497814178466797, -0.04292440414428711, -0.04087066650390625, -0.03881692886352539, -0.03676319122314453, -0.03470945358276367, -0.03265571594238281, -0.030601978302001953, -0.028548240661621094, -0.026494503021240234, -0.024440765380859375, -0.022387027740478516, -0.020333290100097656, -0.018279552459716797, -0.016225814819335938, -0.014172077178955078, -0.012118339538574219, -0.01006460189819336, -0.0080108642578125, -0.005957126617431641, -0.0039033889770507812, -0.0018496513366699219, 0.0002040863037109375, 0.002257823944091797, 0.004311561584472656, 0.006365299224853516, 0.008419036865234375, 0.010472774505615234, 0.012526512145996094, 0.014580249786376953, 0.016633987426757812, 0.018687725067138672, 0.02074146270751953, 0.02279520034790039, 0.02484893798828125, 0.02690267562866211, 0.02895641326904297, 0.031010150909423828, 0.03306388854980469, 0.03511762619018555, 0.037171363830566406, 0.039225101470947266, 0.041278839111328125, 0.043332576751708984, 0.045386314392089844, 0.0474400520324707, 0.04949378967285156, 0.05154752731323242, 0.05360126495361328, 0.05565500259399414, 0.057708740234375]}, "gradients/decoder.transformer.h.23.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 3.0, 3.0, 2.0, 11.0, 6.0, 6.0, 5.0, 9.0, 13.0, 21.0, 24.0, 28.0, 43.0, 58.0, 55.0, 96.0, 127.0, 194.0, 321.0, 635.0, 1394.0, 5439.0, 404300.0, 3771311.0, 6609.0, 1718.0, 688.0, 393.0, 211.0, 159.0, 95.0, 78.0, 55.0, 35.0, 25.0, 33.0, 20.0, 16.0, 15.0, 10.0, 5.0, 5.0, 5.0, 2.0, 2.0, 4.0, 1.0, 3.0, 1.0, 2.0, 3.0], "bins": [-0.90576171875, -0.8806304931640625, -0.855499267578125, -0.8303680419921875, -0.80523681640625, -0.7801055908203125, -0.754974365234375, -0.7298431396484375, -0.7047119140625, -0.6795806884765625, -0.654449462890625, -0.6293182373046875, -0.60418701171875, -0.5790557861328125, -0.553924560546875, -0.5287933349609375, -0.503662109375, -0.4785308837890625, -0.453399658203125, -0.4282684326171875, -0.40313720703125, -0.3780059814453125, -0.352874755859375, -0.3277435302734375, -0.3026123046875, -0.2774810791015625, -0.252349853515625, -0.2272186279296875, -0.20208740234375, -0.1769561767578125, -0.151824951171875, -0.1266937255859375, -0.1015625, -0.0764312744140625, -0.051300048828125, -0.0261688232421875, -0.00103759765625, 0.0240936279296875, 0.049224853515625, 0.0743560791015625, 0.0994873046875, 0.1246185302734375, 0.149749755859375, 0.1748809814453125, 0.20001220703125, 0.2251434326171875, 0.250274658203125, 0.2754058837890625, 0.300537109375, 0.3256683349609375, 0.350799560546875, 0.3759307861328125, 0.40106201171875, 0.4261932373046875, 0.451324462890625, 0.4764556884765625, 0.5015869140625, 0.5267181396484375, 0.551849365234375, 0.5769805908203125, 0.60211181640625, 0.6272430419921875, 0.652374267578125, 0.6775054931640625, 0.70263671875]}, "gradients/decoder.transformer.h.23.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 5.0, 2.0, 2.0, 2.0, 5.0, 4.0, 7.0, 8.0, 6.0, 15.0, 20.0, 23.0, 25.0, 27.0, 54.0, 61.0, 79.0, 123.0, 249.0, 672.0, 1372.0, 668.0, 226.0, 111.0, 89.0, 59.0, 35.0, 33.0, 26.0, 23.0, 12.0, 14.0, 9.0, 9.0, 4.0, 4.0, 0.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.183837890625, -0.17758941650390625, -0.1713409423828125, -0.16509246826171875, -0.158843994140625, -0.15259552001953125, -0.1463470458984375, -0.14009857177734375, -0.13385009765625, -0.12760162353515625, -0.1213531494140625, -0.11510467529296875, -0.108856201171875, -0.10260772705078125, -0.0963592529296875, -0.09011077880859375, -0.0838623046875, -0.07761383056640625, -0.0713653564453125, -0.06511688232421875, -0.058868408203125, -0.05261993408203125, -0.0463714599609375, -0.04012298583984375, -0.03387451171875, -0.02762603759765625, -0.0213775634765625, -0.01512908935546875, -0.008880615234375, -0.00263214111328125, 0.0036163330078125, 0.00986480712890625, 0.01611328125, 0.02236175537109375, 0.0286102294921875, 0.03485870361328125, 0.041107177734375, 0.04735565185546875, 0.0536041259765625, 0.05985260009765625, 0.06610107421875, 0.07234954833984375, 0.0785980224609375, 0.08484649658203125, 0.091094970703125, 0.09734344482421875, 0.1035919189453125, 0.10984039306640625, 0.1160888671875, 0.12233734130859375, 0.1285858154296875, 0.13483428955078125, 0.141082763671875, 0.14733123779296875, 0.1535797119140625, 0.15982818603515625, 0.16607666015625, 0.17232513427734375, 0.1785736083984375, 0.18482208251953125, 0.191070556640625, 0.19731903076171875, 0.2035675048828125, 0.20981597900390625, 0.216064453125]}, "gradients/decoder.transformer.h.23.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 1.0, 5.0, 7.0, 9.0, 9.0, 27.0, 24.0, 32.0, 49.0, 67.0, 89.0, 169.0, 264.0, 585.0, 2373.0, 43764.0, 4111863.0, 31672.0, 2027.0, 509.0, 289.0, 139.0, 108.0, 58.0, 39.0, 29.0, 25.0, 14.0, 5.0, 10.0, 7.0, 5.0, 6.0, 2.0, 2.0, 3.0, 6.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.7001953125, -0.6798782348632812, -0.6595611572265625, -0.6392440795898438, -0.618927001953125, -0.5986099243164062, -0.5782928466796875, -0.5579757690429688, -0.53765869140625, -0.5173416137695312, -0.4970245361328125, -0.47670745849609375, -0.456390380859375, -0.43607330322265625, -0.4157562255859375, -0.39543914794921875, -0.3751220703125, -0.35480499267578125, -0.3344879150390625, -0.31417083740234375, -0.293853759765625, -0.27353668212890625, -0.2532196044921875, -0.23290252685546875, -0.21258544921875, -0.19226837158203125, -0.1719512939453125, -0.15163421630859375, -0.131317138671875, -0.11100006103515625, -0.0906829833984375, -0.07036590576171875, -0.050048828125, -0.02973175048828125, -0.0094146728515625, 0.01090240478515625, 0.031219482421875, 0.05153656005859375, 0.0718536376953125, 0.09217071533203125, 0.11248779296875, 0.13280487060546875, 0.1531219482421875, 0.17343902587890625, 0.193756103515625, 0.21407318115234375, 0.2343902587890625, 0.25470733642578125, 0.2750244140625, 0.29534149169921875, 0.3156585693359375, 0.33597564697265625, 0.356292724609375, 0.37660980224609375, 0.3969268798828125, 0.41724395751953125, 0.43756103515625, 0.45787811279296875, 0.4781951904296875, 0.49851226806640625, 0.518829345703125, 0.5391464233398438, 0.5594635009765625, 0.5797805786132812, 0.60009765625]}, "gradients/decoder.transformer.h.23.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 3.0, 4.0, 3.0, 8.0, 9.0, 8.0, 38.0, 84.0, 284.0, 374.0, 110.0, 43.0, 15.0, 5.0, 6.0, 4.0, 3.0, 1.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.7276255488395691, -0.6974514722824097, -0.6672773361206055, -0.637103259563446, -0.6069291234016418, -0.5767550468444824, -0.5465809106826782, -0.5164068341255188, -0.486232727766037, -0.4560586214065552, -0.42588451504707336, -0.39571040868759155, -0.36553633213043213, -0.33536219596862793, -0.3051881194114685, -0.2750140130519867, -0.24483990669250488, -0.21466580033302307, -0.18449169397354126, -0.15431760251522064, -0.12414349615573883, -0.09396938979625702, -0.0637952983379364, -0.03362119197845459, -0.0034470856189727783, 0.026727017015218735, 0.05690111964941025, 0.08707521855831146, 0.11724932491779327, 0.14742343127727509, 0.1775975227355957, 0.20777162909507751, 0.23794567584991455, 0.26811978220939636, 0.2982938885688782, 0.3284679651260376, 0.3586421012878418, 0.3888161778450012, 0.41899028420448303, 0.44916439056396484, 0.47933849692344666, 0.5095126032829285, 0.5396866798400879, 0.5698608160018921, 0.6000348925590515, 0.6302090287208557, 0.6603831052780151, 0.6905572414398193, 0.7207313179969788, 0.7509053945541382, 0.7810795307159424, 0.8112536072731018, 0.841427743434906, 0.8716018199920654, 0.9017759561538696, 0.931950032711029, 0.9621241092681885, 0.9922981858253479, 1.0224722623825073, 1.0526463985443115, 1.0828205347061157, 1.11299467086792, 1.1431686878204346, 1.1733428239822388, 1.203516960144043]}, "gradients/decoder.transformer.h.23.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 3.0, 0.0, 0.0, 3.0, 2.0, 1.0, 2.0, 3.0, 2.0, 1.0, 3.0, 1.0, 3.0, 8.0, 18.0, 29.0, 36.0, 80.0, 115.0, 152.0, 139.0, 135.0, 99.0, 75.0, 36.0, 18.0, 12.0, 10.0, 6.0, 1.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.3165903091430664, -2.240321636199951, -2.164053201675415, -2.0877845287323, -2.0115158557891846, -1.9352473020553589, -1.8589787483215332, -1.782710075378418, -1.7064415216445923, -1.6301729679107666, -1.5539042949676514, -1.4776357412338257, -1.4013671875, -1.3250985145568848, -1.248829960823059, -1.1725614070892334, -1.0962927341461182, -1.0200241804122925, -0.9437555074691772, -0.8674869537353516, -0.7912183403968811, -0.7149497270584106, -0.638681173324585, -0.5624125599861145, -0.48614394664764404, -0.4098753333091736, -0.3336067497730255, -0.25733816623687744, -0.18106955289840698, -0.10480093955993652, -0.028532356023788452, 0.04773622751235962, 0.12400460243225098, 0.20027320086956024, 0.2765417993068695, 0.3528103828430176, 0.42907899618148804, 0.5053476095199585, 0.5816161632537842, 0.6578847765922546, 0.7341533899307251, 0.8104220032691956, 0.886690616607666, 0.9629591703414917, 1.0392277240753174, 1.1154963970184326, 1.1917649507522583, 1.268033504486084, 1.3443021774291992, 1.420570731163025, 1.4968394041061401, 1.5731079578399658, 1.649376630783081, 1.7256451845169067, 1.8019137382507324, 1.8781824111938477, 1.9544509649276733, 2.030719518661499, 2.1069881916046143, 2.1832568645477295, 2.2595252990722656, 2.335793972015381, 2.412062644958496, 2.4883310794830322, 2.5645997524261475]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 7.0, 25.0, 44.0, 87.0, 141.0, 188.0, 199.0, 121.0, 78.0, 36.0, 26.0, 7.0, 5.0, 6.0, 4.0, 1.0, 3.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.059478759765625, -0.057779788970947266, -0.05608081817626953, -0.0543818473815918, -0.05268287658691406, -0.05098390579223633, -0.049284934997558594, -0.04758596420288086, -0.045886993408203125, -0.04418802261352539, -0.042489051818847656, -0.04079008102416992, -0.03909111022949219, -0.03739213943481445, -0.03569316864013672, -0.033994197845458984, -0.03229522705078125, -0.030596256256103516, -0.02889728546142578, -0.027198314666748047, -0.025499343872070312, -0.023800373077392578, -0.022101402282714844, -0.02040243148803711, -0.018703460693359375, -0.01700448989868164, -0.015305519104003906, -0.013606548309326172, -0.011907577514648438, -0.010208606719970703, -0.008509635925292969, -0.006810665130615234, -0.0051116943359375, -0.0034127235412597656, -0.0017137527465820312, -1.4781951904296875e-05, 0.0016841888427734375, 0.003383159637451172, 0.005082130432128906, 0.006781101226806641, 0.008480072021484375, 0.01017904281616211, 0.011878013610839844, 0.013576984405517578, 0.015275955200195312, 0.016974925994873047, 0.01867389678955078, 0.020372867584228516, 0.02207183837890625, 0.023770809173583984, 0.02546977996826172, 0.027168750762939453, 0.028867721557617188, 0.030566692352294922, 0.032265663146972656, 0.03396463394165039, 0.035663604736328125, 0.03736257553100586, 0.039061546325683594, 0.04076051712036133, 0.04245948791503906, 0.0441584587097168, 0.04585742950439453, 0.047556400299072266, 0.04925537109375]}, "gradients/decoder.transformer.h.23.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 0.0, 3.0, 4.0, 7.0, 11.0, 20.0, 27.0, 28.0, 41.0, 65.0, 98.0, 116.0, 174.0, 262.0, 357.0, 508.0, 706.0, 1040.0, 1438.0, 2300.0, 3835.0, 8478.0, 34666.0, 435998.0, 502616.0, 36051.0, 8694.0, 3741.0, 2267.0, 1523.0, 1029.0, 731.0, 516.0, 354.0, 241.0, 181.0, 142.0, 80.0, 65.0, 47.0, 24.0, 20.0, 14.0, 9.0, 9.0, 8.0, 5.0, 8.0, 3.0, 3.0, 1.0, 0.0, 2.0], "bins": [-0.0005421638488769531, -0.000526677817106247, -0.0005111917853355408, -0.0004957057535648346, -0.0004802197217941284, -0.00046473369002342224, -0.00044924765825271606, -0.0004337616264820099, -0.0004182755947113037, -0.00040278956294059753, -0.00038730353116989136, -0.0003718174993991852, -0.000356331467628479, -0.00034084543585777283, -0.00032535940408706665, -0.0003098733723163605, -0.0002943873405456543, -0.0002789013087749481, -0.00026341527700424194, -0.00024792924523353577, -0.0002324432134628296, -0.0002169571816921234, -0.00020147114992141724, -0.00018598511815071106, -0.00017049908638000488, -0.0001550130546092987, -0.00013952702283859253, -0.00012404099106788635, -0.00010855495929718018, -9.3068927526474e-05, -7.758289575576782e-05, -6.209686398506165e-05, -4.661083221435547e-05, -3.112480044364929e-05, -1.5638768672943115e-05, -1.5273690223693848e-07, 1.5333294868469238e-05, 3.0819326639175415e-05, 4.630535840988159e-05, 6.179139018058777e-05, 7.727742195129395e-05, 9.276345372200012e-05, 0.0001082494854927063, 0.00012373551726341248, 0.00013922154903411865, 0.00015470758080482483, 0.000170193612575531, 0.00018567964434623718, 0.00020116567611694336, 0.00021665170788764954, 0.0002321377396583557, 0.0002476237714290619, 0.00026310980319976807, 0.00027859583497047424, 0.0002940818667411804, 0.0003095678985118866, 0.0003250539302825928, 0.00034053996205329895, 0.0003560259938240051, 0.0003715120255947113, 0.0003869980573654175, 0.00040248408913612366, 0.00041797012090682983, 0.000433456152677536, 0.0004489421844482422]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 6.0, 1.0, 4.0, 2.0, 9.0, 6.0, 12.0, 6.0, 10.0, 16.0, 18.0, 21.0, 20.0, 20.0, 24.0, 25.0, 34.0, 30.0, 29.0, 27.0, 31.0, 26.0, 22.0, 32.0, 18.0, 22.0, 29.0, 16.0, 1044.0, 19.0, 18.0, 23.0, 21.0, 27.0, 20.0, 33.0, 25.0, 22.0, 29.0, 24.0, 23.0, 27.0, 25.0, 23.0, 19.0, 20.0, 13.0, 17.0, 14.0, 10.0, 6.0, 6.0, 5.0, 4.0, 3.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.054718017578125, -0.05299568176269531, -0.051273345947265625, -0.04955101013183594, -0.04782867431640625, -0.04610633850097656, -0.044384002685546875, -0.04266166687011719, -0.0409393310546875, -0.03921699523925781, -0.037494659423828125, -0.03577232360839844, -0.03404998779296875, -0.03232765197753906, -0.030605316162109375, -0.028882980346679688, -0.02716064453125, -0.025438308715820312, -0.023715972900390625, -0.021993637084960938, -0.02027130126953125, -0.018548965454101562, -0.016826629638671875, -0.015104293823242188, -0.0133819580078125, -0.011659622192382812, -0.009937286376953125, -0.008214950561523438, -0.00649261474609375, -0.0047702789306640625, -0.003047943115234375, -0.0013256072998046875, 0.000396728515625, 0.0021190643310546875, 0.003841400146484375, 0.0055637359619140625, 0.00728607177734375, 0.009008407592773438, 0.010730743408203125, 0.012453079223632812, 0.0141754150390625, 0.015897750854492188, 0.017620086669921875, 0.019342422485351562, 0.02106475830078125, 0.022787094116210938, 0.024509429931640625, 0.026231765747070312, 0.0279541015625, 0.029676437377929688, 0.031398773193359375, 0.03312110900878906, 0.03484344482421875, 0.03656578063964844, 0.038288116455078125, 0.04001045227050781, 0.0417327880859375, 0.04345512390136719, 0.045177459716796875, 0.04689979553222656, 0.04862213134765625, 0.05034446716308594, 0.052066802978515625, 0.05378913879394531, 0.055511474609375]}, "gradients/decoder.transformer.h.23.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 3.0, 3.0, 6.0, 4.0, 8.0, 10.0, 11.0, 19.0, 13.0, 21.0, 19.0, 16.0, 33.0, 25.0, 20.0, 26.0, 30.0, 24.0, 24.0, 35.0, 34.0, 110.0, 274.0, 774.0, 3583.0, 28643.0, 2052702.0, 8037.0, 1588.0, 411.0, 150.0, 76.0, 30.0, 28.0, 30.0, 29.0, 29.0, 28.0, 35.0, 22.0, 25.0, 20.0, 23.0, 20.0, 18.0, 16.0, 8.0, 7.0, 14.0, 3.0, 11.0, 1.0, 4.0, 1.0, 6.0, 0.0, 1.0, 1.0], "bins": [-5.9545040130615234e-05, -5.7697296142578125e-05, -5.5849552154541016e-05, -5.4001808166503906e-05, -5.21540641784668e-05, -5.030632019042969e-05, -4.845857620239258e-05, -4.661083221435547e-05, -4.476308822631836e-05, -4.291534423828125e-05, -4.106760025024414e-05, -3.921985626220703e-05, -3.737211227416992e-05, -3.552436828613281e-05, -3.36766242980957e-05, -3.1828880310058594e-05, -2.9981136322021484e-05, -2.8133392333984375e-05, -2.6285648345947266e-05, -2.4437904357910156e-05, -2.2590160369873047e-05, -2.0742416381835938e-05, -1.8894672393798828e-05, -1.704692840576172e-05, -1.519918441772461e-05, -1.33514404296875e-05, -1.150369644165039e-05, -9.655952453613281e-06, -7.808208465576172e-06, -5.9604644775390625e-06, -4.112720489501953e-06, -2.2649765014648438e-06, -4.172325134277344e-07, 1.430511474609375e-06, 3.2782554626464844e-06, 5.125999450683594e-06, 6.973743438720703e-06, 8.821487426757812e-06, 1.0669231414794922e-05, 1.2516975402832031e-05, 1.436471939086914e-05, 1.621246337890625e-05, 1.806020736694336e-05, 1.990795135498047e-05, 2.1755695343017578e-05, 2.3603439331054688e-05, 2.5451183319091797e-05, 2.7298927307128906e-05, 2.9146671295166016e-05, 3.0994415283203125e-05, 3.2842159271240234e-05, 3.4689903259277344e-05, 3.653764724731445e-05, 3.838539123535156e-05, 4.023313522338867e-05, 4.208087921142578e-05, 4.392862319946289e-05, 4.57763671875e-05, 4.762411117553711e-05, 4.947185516357422e-05, 5.131959915161133e-05, 5.316734313964844e-05, 5.501508712768555e-05, 5.6862831115722656e-05, 5.8710575103759766e-05]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.23.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 7.0, 25.0, 44.0, 87.0, 141.0, 188.0, 199.0, 121.0, 78.0, 36.0, 26.0, 7.0, 5.0, 6.0, 4.0, 1.0, 3.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.059478759765625, -0.057779788970947266, -0.05608081817626953, -0.0543818473815918, -0.05268287658691406, -0.05098390579223633, -0.049284934997558594, -0.04758596420288086, -0.045886993408203125, -0.04418802261352539, -0.042489051818847656, -0.04079008102416992, -0.03909111022949219, -0.03739213943481445, -0.03569316864013672, -0.033994197845458984, -0.03229522705078125, -0.030596256256103516, -0.02889728546142578, -0.027198314666748047, -0.025499343872070312, -0.023800373077392578, -0.022101402282714844, -0.02040243148803711, -0.018703460693359375, -0.01700448989868164, -0.015305519104003906, -0.013606548309326172, -0.011907577514648438, -0.010208606719970703, -0.008509635925292969, -0.006810665130615234, -0.0051116943359375, -0.0034127235412597656, -0.0017137527465820312, -1.4781951904296875e-05, 0.0016841888427734375, 0.003383159637451172, 0.005082130432128906, 0.006781101226806641, 0.008480072021484375, 0.01017904281616211, 0.011878013610839844, 0.013576984405517578, 0.015275955200195312, 0.016974925994873047, 0.01867389678955078, 0.020372867584228516, 0.02207183837890625, 0.023770809173583984, 0.02546977996826172, 0.027168750762939453, 0.028867721557617188, 0.030566692352294922, 0.032265663146972656, 0.03396463394165039, 0.035663604736328125, 0.03736257553100586, 0.039061546325683594, 0.04076051712036133, 0.04245948791503906, 0.0441584587097168, 0.04585742950439453, 0.047556400299072266, 0.04925537109375]}, "gradients/decoder.transformer.h.23.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 1.0, 5.0, 1.0, 6.0, 2.0, 8.0, 7.0, 17.0, 13.0, 13.0, 29.0, 39.0, 36.0, 46.0, 58.0, 67.0, 90.0, 100.0, 151.0, 224.0, 300.0, 573.0, 1171.0, 3167.0, 12171.0, 983104.0, 37727.0, 5378.0, 1831.0, 796.0, 401.0, 256.0, 164.0, 126.0, 105.0, 74.0, 65.0, 46.0, 42.0, 33.0, 24.0, 22.0, 25.0, 14.0, 11.0, 9.0, 5.0, 8.0, 3.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.6494140625, -0.6268081665039062, -0.6042022705078125, -0.5815963745117188, -0.558990478515625, -0.5363845825195312, -0.5137786865234375, -0.49117279052734375, -0.46856689453125, -0.44596099853515625, -0.4233551025390625, -0.40074920654296875, -0.378143310546875, -0.35553741455078125, -0.3329315185546875, -0.31032562255859375, -0.2877197265625, -0.26511383056640625, -0.2425079345703125, -0.21990203857421875, -0.197296142578125, -0.17469024658203125, -0.1520843505859375, -0.12947845458984375, -0.10687255859375, -0.08426666259765625, -0.0616607666015625, -0.03905487060546875, -0.016448974609375, 0.00615692138671875, 0.0287628173828125, 0.05136871337890625, 0.073974609375, 0.09658050537109375, 0.1191864013671875, 0.14179229736328125, 0.164398193359375, 0.18700408935546875, 0.2096099853515625, 0.23221588134765625, 0.25482177734375, 0.27742767333984375, 0.3000335693359375, 0.32263946533203125, 0.345245361328125, 0.36785125732421875, 0.3904571533203125, 0.41306304931640625, 0.4356689453125, 0.45827484130859375, 0.4808807373046875, 0.5034866333007812, 0.526092529296875, 0.5486984252929688, 0.5713043212890625, 0.5939102172851562, 0.61651611328125, 0.6391220092773438, 0.6617279052734375, 0.6843338012695312, 0.706939697265625, 0.7295455932617188, 0.7521514892578125, 0.7747573852539062, 0.79736328125]}, "gradients/decoder.transformer.h.23.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 3.0, 1.0, 1.0, 3.0, 2.0, 4.0, 4.0, 4.0, 8.0, 10.0, 1.0, 11.0, 8.0, 17.0, 21.0, 21.0, 13.0, 25.0, 20.0, 32.0, 46.0, 38.0, 46.0, 45.0, 73.0, 84.0, 135.0, 1643.0, 194.0, 79.0, 72.0, 47.0, 35.0, 43.0, 41.0, 27.0, 20.0, 33.0, 23.0, 22.0, 22.0, 21.0, 13.0, 10.0, 9.0, 5.0, 5.0, 8.0, 4.0, 2.0, 3.0, 2.0, 0.0, 2.0, 0.0, 2.0, 3.0, 1.0, 1.0], "bins": [-0.0732421875, -0.07100200653076172, -0.06876182556152344, -0.06652164459228516, -0.06428146362304688, -0.062041282653808594, -0.05980110168457031, -0.05756092071533203, -0.05532073974609375, -0.05308055877685547, -0.05084037780761719, -0.048600196838378906, -0.046360015869140625, -0.044119834899902344, -0.04187965393066406, -0.03963947296142578, -0.0373992919921875, -0.03515911102294922, -0.03291893005371094, -0.030678749084472656, -0.028438568115234375, -0.026198387145996094, -0.023958206176757812, -0.02171802520751953, -0.01947784423828125, -0.01723766326904297, -0.014997482299804688, -0.012757301330566406, -0.010517120361328125, -0.008276939392089844, -0.0060367584228515625, -0.0037965774536132812, -0.001556396484375, 0.0006837844848632812, 0.0029239654541015625, 0.005164146423339844, 0.007404327392578125, 0.009644508361816406, 0.011884689331054688, 0.014124870300292969, 0.01636505126953125, 0.01860523223876953, 0.020845413208007812, 0.023085594177246094, 0.025325775146484375, 0.027565956115722656, 0.029806137084960938, 0.03204631805419922, 0.0342864990234375, 0.03652667999267578, 0.03876686096191406, 0.041007041931152344, 0.043247222900390625, 0.045487403869628906, 0.04772758483886719, 0.04996776580810547, 0.05220794677734375, 0.05444812774658203, 0.05668830871582031, 0.058928489685058594, 0.061168670654296875, 0.06340885162353516, 0.06564903259277344, 0.06788921356201172, 0.07012939453125]}, "gradients/decoder.transformer.h.23.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 0.0, 3.0, 3.0, 2.0, 1.0, 5.0, 5.0, 4.0, 7.0, 6.0, 10.0, 19.0, 19.0, 34.0, 26.0, 33.0, 40.0, 48.0, 72.0, 98.0, 108.0, 203.0, 473.0, 1283.0, 11499.0, 2906858.0, 218443.0, 4636.0, 800.0, 331.0, 157.0, 92.0, 83.0, 58.0, 42.0, 32.0, 40.0, 27.0, 25.0, 21.0, 14.0, 11.0, 6.0, 8.0, 7.0, 5.0, 4.0, 4.0, 3.0, 2.0, 4.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.25341796875, -0.24545669555664062, -0.23749542236328125, -0.22953414916992188, -0.2215728759765625, -0.21361160278320312, -0.20565032958984375, -0.19768905639648438, -0.189727783203125, -0.18176651000976562, -0.17380523681640625, -0.16584396362304688, -0.1578826904296875, -0.14992141723632812, -0.14196014404296875, -0.13399887084960938, -0.12603759765625, -0.11807632446289062, -0.11011505126953125, -0.10215377807617188, -0.0941925048828125, -0.08623123168945312, -0.07826995849609375, -0.07030868530273438, -0.062347412109375, -0.054386138916015625, -0.04642486572265625, -0.038463592529296875, -0.0305023193359375, -0.022541046142578125, -0.01457977294921875, -0.006618499755859375, 0.0013427734375, 0.009304046630859375, 0.01726531982421875, 0.025226593017578125, 0.0331878662109375, 0.041149139404296875, 0.04911041259765625, 0.057071685791015625, 0.065032958984375, 0.07299423217773438, 0.08095550537109375, 0.08891677856445312, 0.0968780517578125, 0.10483932495117188, 0.11280059814453125, 0.12076187133789062, 0.12872314453125, 0.13668441772460938, 0.14464569091796875, 0.15260696411132812, 0.1605682373046875, 0.16852951049804688, 0.17649078369140625, 0.18445205688476562, 0.192413330078125, 0.20037460327148438, 0.20833587646484375, 0.21629714965820312, 0.2242584228515625, 0.23221969604492188, 0.24018096923828125, 0.24814224243164062, 0.256103515625]}, "gradients/decoder.transformer.h.23.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 394.0, 600.0, 18.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.20895493030548096, -0.16752566397190094, -0.12609639763832092, -0.0846671313047409, -0.04323786497116089, -0.0018085986375808716, 0.039620667695999146, 0.08104991912841797, 0.12247920036315918, 0.1639084666967392, 0.2053377330303192, 0.24676699936389923, 0.28819626569747925, 0.32962554693222046, 0.3710547983646393, 0.4124840497970581, 0.4539133310317993, 0.4953426122665405, 0.5367718935012817, 0.5782011151313782, 0.6196303963661194, 0.6610596776008606, 0.702488899230957, 0.7439181804656982, 0.7853474617004395, 0.8267767429351807, 0.8682060241699219, 0.9096352458000183, 0.9510645270347595, 0.9924938082695007, 1.0339230298995972, 1.0753523111343384, 1.11678147315979, 1.1582107543945312, 1.1996400356292725, 1.2410693168640137, 1.2824985980987549, 1.3239277601242065, 1.3653570413589478, 1.406786322593689, 1.4482156038284302, 1.4896448850631714, 1.5310741662979126, 1.5725034475326538, 1.6139326095581055, 1.6553618907928467, 1.696791172027588, 1.738220453262329, 1.7796497344970703, 1.8210790157318115, 1.8625082969665527, 1.903937578201294, 1.9453668594360352, 1.9867960214614868, 2.0282254219055176, 2.0696544647216797, 2.111083984375, 2.152513265609741, 2.1939425468444824, 2.2353718280792236, 2.276801109313965, 2.318230390548706, 2.3596596717834473, 2.4010887145996094, 2.4425179958343506]}, "gradients/decoder.transformer.h.23.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 4.0, 2.0, 6.0, 5.0, 8.0, 16.0, 18.0, 12.0, 14.0, 15.0, 20.0, 28.0, 37.0, 23.0, 32.0, 30.0, 32.0, 39.0, 49.0, 49.0, 53.0, 44.0, 36.0, 56.0, 36.0, 38.0, 40.0, 38.0, 26.0, 29.0, 37.0, 22.0, 22.0, 24.0, 20.0, 9.0, 11.0, 7.0, 8.0, 6.0, 5.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.35462403297424316, -0.3451504409313202, -0.33567681908607483, -0.32620322704315186, -0.3167296350002289, -0.3072560131549835, -0.29778242111206055, -0.2883087992668152, -0.2788352072238922, -0.26936161518096924, -0.2598879933357239, -0.2504144012928009, -0.24094079434871674, -0.23146718740463257, -0.2219935953617096, -0.21251998841762543, -0.20304639637470245, -0.1935727894306183, -0.1840991973876953, -0.17462559044361115, -0.16515198349952698, -0.155678391456604, -0.14620478451251984, -0.13673117756843567, -0.1272575855255127, -0.11778398603200912, -0.10831037908792496, -0.09883677959442139, -0.08936317265033722, -0.07988957315683365, -0.07041597366333008, -0.06094236671924591, -0.05146875977516174, -0.041995156556367874, -0.032521553337574005, -0.023047953844070435, -0.013574350625276566, -0.0041007474064826965, 0.005372852087020874, 0.014846459031105042, 0.024320058524608612, 0.03379366174340248, 0.04326726496219635, 0.05274086445569992, 0.06221446767449379, 0.07168807089328766, 0.08116167038679123, 0.0906352773308754, 0.10010887682437897, 0.10958247631788254, 0.1190560832619667, 0.12852968275547028, 0.13800328969955444, 0.14747688174247742, 0.15695048868656158, 0.16642409563064575, 0.17589768767356873, 0.1853712946176529, 0.19484488666057587, 0.20431849360466003, 0.2137921005487442, 0.22326570749282837, 0.23273929953575134, 0.2422129064798355, 0.2516865134239197]}, "gradients/decoder.transformer.h.22.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 0.0, 2.0, 2.0, 1.0, 3.0, 1.0, 1.0, 0.0, 3.0, 3.0, 3.0, 10.0, 21.0, 43.0, 90.0, 137.0, 194.0, 186.0, 123.0, 79.0, 39.0, 27.0, 8.0, 6.0, 5.0, 5.0, 1.0, 3.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.058837890625, -0.057158470153808594, -0.05547904968261719, -0.05379962921142578, -0.052120208740234375, -0.05044078826904297, -0.04876136779785156, -0.047081947326660156, -0.04540252685546875, -0.043723106384277344, -0.04204368591308594, -0.04036426544189453, -0.038684844970703125, -0.03700542449951172, -0.03532600402832031, -0.033646583557128906, -0.0319671630859375, -0.030287742614746094, -0.028608322143554688, -0.02692890167236328, -0.025249481201171875, -0.02357006072998047, -0.021890640258789062, -0.020211219787597656, -0.01853179931640625, -0.016852378845214844, -0.015172958374023438, -0.013493537902832031, -0.011814117431640625, -0.010134696960449219, -0.008455276489257812, -0.006775856018066406, -0.005096435546875, -0.0034170150756835938, -0.0017375946044921875, -5.817413330078125e-05, 0.001621246337890625, 0.0033006668090820312, 0.0049800872802734375, 0.006659507751464844, 0.00833892822265625, 0.010018348693847656, 0.011697769165039062, 0.013377189636230469, 0.015056610107421875, 0.01673603057861328, 0.018415451049804688, 0.020094871520996094, 0.0217742919921875, 0.023453712463378906, 0.025133132934570312, 0.02681255340576172, 0.028491973876953125, 0.03017139434814453, 0.03185081481933594, 0.033530235290527344, 0.03520965576171875, 0.036889076232910156, 0.03856849670410156, 0.04024791717529297, 0.041927337646484375, 0.04360675811767578, 0.04528617858886719, 0.046965599060058594, 0.04864501953125]}, "gradients/decoder.transformer.h.22.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 1.0, 4.0, 2.0, 6.0, 9.0, 8.0, 14.0, 17.0, 23.0, 41.0, 69.0, 87.0, 200.0, 434.0, 927.0, 3000.0, 54495.0, 4124930.0, 7041.0, 1648.0, 636.0, 306.0, 165.0, 65.0, 47.0, 28.0, 17.0, 18.0, 14.0, 11.0, 6.0, 5.0, 4.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.69775390625, -0.677947998046875, -0.65814208984375, -0.638336181640625, -0.6185302734375, -0.598724365234375, -0.57891845703125, -0.559112548828125, -0.539306640625, -0.519500732421875, -0.49969482421875, -0.479888916015625, -0.4600830078125, -0.440277099609375, -0.42047119140625, -0.400665283203125, -0.380859375, -0.361053466796875, -0.34124755859375, -0.321441650390625, -0.3016357421875, -0.281829833984375, -0.26202392578125, -0.242218017578125, -0.222412109375, -0.202606201171875, -0.18280029296875, -0.162994384765625, -0.1431884765625, -0.123382568359375, -0.10357666015625, -0.083770751953125, -0.06396484375, -0.044158935546875, -0.02435302734375, -0.004547119140625, 0.0152587890625, 0.035064697265625, 0.05487060546875, 0.074676513671875, 0.094482421875, 0.114288330078125, 0.13409423828125, 0.153900146484375, 0.1737060546875, 0.193511962890625, 0.21331787109375, 0.233123779296875, 0.2529296875, 0.272735595703125, 0.29254150390625, 0.312347412109375, 0.3321533203125, 0.351959228515625, 0.37176513671875, 0.391571044921875, 0.411376953125, 0.431182861328125, 0.45098876953125, 0.470794677734375, 0.4906005859375, 0.510406494140625, 0.53021240234375, 0.550018310546875, 0.56982421875]}, "gradients/decoder.transformer.h.22.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 1.0, 2.0, 7.0, 8.0, 15.0, 11.0, 18.0, 28.0, 54.0, 75.0, 170.0, 491.0, 1483.0, 1033.0, 286.0, 142.0, 68.0, 55.0, 26.0, 22.0, 32.0, 13.0, 13.0, 7.0, 10.0, 4.0, 5.0, 3.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17919921875, -0.17337608337402344, -0.16755294799804688, -0.1617298126220703, -0.15590667724609375, -0.1500835418701172, -0.14426040649414062, -0.13843727111816406, -0.1326141357421875, -0.12679100036621094, -0.12096786499023438, -0.11514472961425781, -0.10932159423828125, -0.10349845886230469, -0.09767532348632812, -0.09185218811035156, -0.086029052734375, -0.08020591735839844, -0.07438278198242188, -0.06855964660644531, -0.06273651123046875, -0.05691337585449219, -0.051090240478515625, -0.04526710510253906, -0.0394439697265625, -0.03362083435058594, -0.027797698974609375, -0.021974563598632812, -0.01615142822265625, -0.010328292846679688, -0.004505157470703125, 0.0013179779052734375, 0.00714111328125, 0.012964248657226562, 0.018787384033203125, 0.024610519409179688, 0.03043365478515625, 0.03625679016113281, 0.042079925537109375, 0.04790306091308594, 0.0537261962890625, 0.05954933166503906, 0.06537246704101562, 0.07119560241699219, 0.07701873779296875, 0.08284187316894531, 0.08866500854492188, 0.09448814392089844, 0.100311279296875, 0.10613441467285156, 0.11195755004882812, 0.11778068542480469, 0.12360382080078125, 0.1294269561767578, 0.13525009155273438, 0.14107322692871094, 0.1468963623046875, 0.15271949768066406, 0.15854263305664062, 0.1643657684326172, 0.17018890380859375, 0.1760120391845703, 0.18183517456054688, 0.18765830993652344, 0.1934814453125]}, "gradients/decoder.transformer.h.22.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 3.0, 3.0, 2.0, 1.0, 7.0, 16.0, 16.0, 19.0, 39.0, 67.0, 128.0, 227.0, 536.0, 1395.0, 4251.0, 17730.0, 158817.0, 3900417.0, 92151.0, 13197.0, 3342.0, 1028.0, 428.0, 169.0, 109.0, 58.0, 33.0, 26.0, 16.0, 19.0, 8.0, 10.0, 7.0, 6.0, 4.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 3.0], "bins": [-0.42724609375, -0.4161224365234375, -0.404998779296875, -0.3938751220703125, -0.38275146484375, -0.3716278076171875, -0.360504150390625, -0.3493804931640625, -0.3382568359375, -0.3271331787109375, -0.316009521484375, -0.3048858642578125, -0.29376220703125, -0.2826385498046875, -0.271514892578125, -0.2603912353515625, -0.249267578125, -0.2381439208984375, -0.227020263671875, -0.2158966064453125, -0.20477294921875, -0.1936492919921875, -0.182525634765625, -0.1714019775390625, -0.1602783203125, -0.1491546630859375, -0.138031005859375, -0.1269073486328125, -0.11578369140625, -0.1046600341796875, -0.093536376953125, -0.0824127197265625, -0.0712890625, -0.0601654052734375, -0.049041748046875, -0.0379180908203125, -0.02679443359375, -0.0156707763671875, -0.004547119140625, 0.0065765380859375, 0.0177001953125, 0.0288238525390625, 0.039947509765625, 0.0510711669921875, 0.06219482421875, 0.0733184814453125, 0.084442138671875, 0.0955657958984375, 0.106689453125, 0.1178131103515625, 0.128936767578125, 0.1400604248046875, 0.15118408203125, 0.1623077392578125, 0.173431396484375, 0.1845550537109375, 0.1956787109375, 0.2068023681640625, 0.217926025390625, 0.2290496826171875, 0.24017333984375, 0.2512969970703125, 0.262420654296875, 0.2735443115234375, 0.28466796875]}, "gradients/decoder.transformer.h.22.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 6.0, 22.0, 44.0, 255.0, 439.0, 161.0, 44.0, 20.0, 13.0, 1.0, 4.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.3898820877075195, -2.344151258468628, -2.2984204292297363, -2.2526895999908447, -2.206958770751953, -2.1612279415130615, -2.11549711227417, -2.069766044616699, -2.0240352153778076, -1.978304386138916, -1.9325735569000244, -1.8868427276611328, -1.8411117792129517, -1.79538094997406, -1.7496501207351685, -1.7039192914962769, -1.6581885814666748, -1.6124577522277832, -1.5667269229888916, -1.52099609375, -1.4752651453018188, -1.4295343160629272, -1.3838034868240356, -1.338072657585144, -1.292341709136963, -1.2466108798980713, -1.2008800506591797, -1.155149221420288, -1.109418272972107, -1.0636874437332153, -1.0179566144943237, -0.9722257852554321, -0.9264948964118958, -0.8807640671730042, -0.8350331783294678, -0.7893023490905762, -0.7435715198516846, -0.697840690612793, -0.6521098017692566, -0.606378972530365, -0.5606480836868286, -0.514917254447937, -0.469186395406723, -0.42345553636550903, -0.37772470712661743, -0.33199384808540344, -0.28626298904418945, -0.24053215980529785, -0.19480133056640625, -0.14907048642635345, -0.10333963483572006, -0.05760878324508667, -0.011877939105033875, 0.03385290503501892, 0.07958376407623291, 0.1253145933151245, 0.1710454523563385, 0.2167762964963913, 0.2625071406364441, 0.3082379996776581, 0.35396885871887207, 0.39969968795776367, 0.44543054699897766, 0.49116137623786926, 0.5368922352790833]}, "gradients/decoder.transformer.h.22.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 3.0, 6.0, 7.0, 7.0, 8.0, 18.0, 13.0, 39.0, 40.0, 52.0, 76.0, 78.0, 74.0, 80.0, 91.0, 82.0, 69.0, 62.0, 43.0, 45.0, 30.0, 27.0, 17.0, 10.0, 6.0, 2.0, 2.0, 5.0, 2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.7874457836151123, -0.760729193687439, -0.7340126633644104, -0.7072960734367371, -0.6805795431137085, -0.6538629531860352, -0.6271463632583618, -0.6004298329353333, -0.5737133026123047, -0.5469967126846313, -0.5202801823616028, -0.49356359243392944, -0.4668470621109009, -0.44013047218322754, -0.4134139120578766, -0.38669735193252563, -0.3599807620048523, -0.33326420187950134, -0.3065476417541504, -0.27983105182647705, -0.2531145215034485, -0.22639794647693634, -0.1996813714504242, -0.17296481132507324, -0.1462482511997223, -0.11953169107437134, -0.09281512349843979, -0.06609855592250824, -0.03938199579715729, -0.012665435671806335, 0.01405113935470581, 0.04076769948005676, 0.06748425960540771, 0.09420081973075867, 0.12091738730669022, 0.14763395488262177, 0.17435051500797272, 0.20106707513332367, 0.22778365015983582, 0.25450021028518677, 0.2812167704105377, 0.30793333053588867, 0.3346498906612396, 0.3613664507865906, 0.3880830407142639, 0.4147995710372925, 0.4415161609649658, 0.4682327210903168, 0.4949492812156677, 0.5216658711433411, 0.5483824014663696, 0.575098991394043, 0.6018155217170715, 0.6285321116447449, 0.6552486419677734, 0.6819652318954468, 0.7086818218231201, 0.7353984117507935, 0.762114942073822, 0.7888315320014954, 0.8155480623245239, 0.8422646522521973, 0.8689812421798706, 0.8956977725028992, 0.9224143028259277]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 5.0, 0.0, 3.0, 0.0, 2.0, 2.0, 7.0, 7.0, 25.0, 28.0, 56.0, 82.0, 113.0, 138.0, 141.0, 128.0, 79.0, 75.0, 40.0, 33.0, 10.0, 5.0, 8.0, 3.0, 2.0, 1.0, 4.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.046661376953125, -0.04533863067626953, -0.04401588439941406, -0.042693138122558594, -0.041370391845703125, -0.040047645568847656, -0.03872489929199219, -0.03740215301513672, -0.03607940673828125, -0.03475666046142578, -0.03343391418457031, -0.032111167907714844, -0.030788421630859375, -0.029465675354003906, -0.028142929077148438, -0.02682018280029297, -0.0254974365234375, -0.02417469024658203, -0.022851943969726562, -0.021529197692871094, -0.020206451416015625, -0.018883705139160156, -0.017560958862304688, -0.01623821258544922, -0.01491546630859375, -0.013592720031738281, -0.012269973754882812, -0.010947227478027344, -0.009624481201171875, -0.008301734924316406, -0.0069789886474609375, -0.005656242370605469, -0.00433349609375, -0.0030107498168945312, -0.0016880035400390625, -0.00036525726318359375, 0.000957489013671875, 0.0022802352905273438, 0.0036029815673828125, 0.004925727844238281, 0.00624847412109375, 0.007571220397949219, 0.008893966674804688, 0.010216712951660156, 0.011539459228515625, 0.012862205505371094, 0.014184951782226562, 0.015507698059082031, 0.0168304443359375, 0.01815319061279297, 0.019475936889648438, 0.020798683166503906, 0.022121429443359375, 0.023444175720214844, 0.024766921997070312, 0.02608966827392578, 0.02741241455078125, 0.02873516082763672, 0.030057907104492188, 0.031380653381347656, 0.032703399658203125, 0.034026145935058594, 0.03534889221191406, 0.03667163848876953, 0.037994384765625]}, "gradients/decoder.transformer.h.22.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 4.0, 0.0, 0.0, 2.0, 6.0, 8.0, 9.0, 10.0, 12.0, 22.0, 38.0, 50.0, 63.0, 92.0, 127.0, 157.0, 251.0, 328.0, 491.0, 734.0, 1077.0, 1644.0, 2795.0, 5984.0, 16946.0, 76013.0, 702311.0, 189492.0, 30917.0, 8939.0, 3885.0, 2102.0, 1274.0, 822.0, 580.0, 394.0, 291.0, 203.0, 143.0, 108.0, 76.0, 48.0, 38.0, 27.0, 18.0, 10.0, 13.0, 6.0, 5.0, 2.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00044608116149902344, -0.0004305504262447357, -0.000415019690990448, -0.0003994889557361603, -0.00038395822048187256, -0.00036842748522758484, -0.0003528967499732971, -0.0003373660147190094, -0.0003218352794647217, -0.00030630454421043396, -0.00029077380895614624, -0.0002752430737018585, -0.0002597123384475708, -0.0002441816031932831, -0.00022865086793899536, -0.00021312013268470764, -0.00019758939743041992, -0.0001820586621761322, -0.00016652792692184448, -0.00015099719166755676, -0.00013546645641326904, -0.00011993572115898132, -0.0001044049859046936, -8.887425065040588e-05, -7.334351539611816e-05, -5.7812780141830444e-05, -4.2282044887542725e-05, -2.6751309633255005e-05, -1.1220574378967285e-05, 4.3101608753204346e-06, 1.9840896129608154e-05, 3.5371631383895874e-05, 5.0902366638183594e-05, 6.643310189247131e-05, 8.196383714675903e-05, 9.749457240104675e-05, 0.00011302530765533447, 0.0001285560429096222, 0.0001440867781639099, 0.00015961751341819763, 0.00017514824867248535, 0.00019067898392677307, 0.0002062097191810608, 0.0002217404544353485, 0.00023727118968963623, 0.00025280192494392395, 0.00026833266019821167, 0.0002838633954524994, 0.0002993941307067871, 0.00031492486596107483, 0.00033045560121536255, 0.00034598633646965027, 0.000361517071723938, 0.0003770478069782257, 0.00039257854223251343, 0.00040810927748680115, 0.00042364001274108887, 0.0004391707479953766, 0.0004547014832496643, 0.000470232218503952, 0.00048576295375823975, 0.0005012936890125275, 0.0005168244242668152, 0.0005323551595211029, 0.0005478858947753906]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 6.0, 5.0, 7.0, 13.0, 16.0, 13.0, 25.0, 12.0, 16.0, 29.0, 30.0, 26.0, 29.0, 25.0, 22.0, 28.0, 28.0, 26.0, 30.0, 26.0, 27.0, 38.0, 16.0, 1043.0, 18.0, 18.0, 22.0, 16.0, 23.0, 28.0, 29.0, 35.0, 31.0, 47.0, 31.0, 35.0, 21.0, 26.0, 24.0, 17.0, 15.0, 18.0, 11.0, 10.0, 6.0, 5.0, 9.0, 5.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.04852294921875, -0.047091007232666016, -0.04565906524658203, -0.04422712326049805, -0.04279518127441406, -0.04136323928833008, -0.039931297302246094, -0.03849935531616211, -0.037067413330078125, -0.03563547134399414, -0.034203529357910156, -0.03277158737182617, -0.03133964538574219, -0.029907703399658203, -0.02847576141357422, -0.027043819427490234, -0.02561187744140625, -0.024179935455322266, -0.02274799346923828, -0.021316051483154297, -0.019884109497070312, -0.018452167510986328, -0.017020225524902344, -0.01558828353881836, -0.014156341552734375, -0.01272439956665039, -0.011292457580566406, -0.009860515594482422, -0.008428573608398438, -0.006996631622314453, -0.005564689636230469, -0.004132747650146484, -0.0027008056640625, -0.0012688636779785156, 0.00016307830810546875, 0.0015950202941894531, 0.0030269622802734375, 0.004458904266357422, 0.005890846252441406, 0.007322788238525391, 0.008754730224609375, 0.01018667221069336, 0.011618614196777344, 0.013050556182861328, 0.014482498168945312, 0.015914440155029297, 0.01734638214111328, 0.018778324127197266, 0.02021026611328125, 0.021642208099365234, 0.02307415008544922, 0.024506092071533203, 0.025938034057617188, 0.027369976043701172, 0.028801918029785156, 0.03023386001586914, 0.031665802001953125, 0.03309774398803711, 0.034529685974121094, 0.03596162796020508, 0.03739356994628906, 0.03882551193237305, 0.04025745391845703, 0.041689395904541016, 0.043121337890625]}, "gradients/decoder.transformer.h.22.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 5.0, 10.0, 5.0, 4.0, 11.0, 10.0, 17.0, 18.0, 16.0, 22.0, 28.0, 20.0, 35.0, 31.0, 45.0, 31.0, 35.0, 34.0, 33.0, 75.0, 237.0, 695.0, 3399.0, 38060.0, 2045743.0, 6489.0, 1171.0, 330.0, 127.0, 45.0, 28.0, 31.0, 27.0, 21.0, 25.0, 28.0, 27.0, 32.0, 29.0, 15.0, 13.0, 21.0, 19.0, 11.0, 16.0, 7.0, 4.0, 6.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-4.6253204345703125e-05, -4.472024738788605e-05, -4.318729043006897e-05, -4.165433347225189e-05, -4.0121376514434814e-05, -3.858841955661774e-05, -3.705546259880066e-05, -3.552250564098358e-05, -3.3989548683166504e-05, -3.2456591725349426e-05, -3.092363476753235e-05, -2.939067780971527e-05, -2.7857720851898193e-05, -2.6324763894081116e-05, -2.4791806936264038e-05, -2.325884997844696e-05, -2.1725893020629883e-05, -2.0192936062812805e-05, -1.8659979104995728e-05, -1.712702214717865e-05, -1.5594065189361572e-05, -1.4061108231544495e-05, -1.2528151273727417e-05, -1.099519431591034e-05, -9.462237358093262e-06, -7.929280400276184e-06, -6.3963234424591064e-06, -4.863366484642029e-06, -3.330409526824951e-06, -1.7974525690078735e-06, -2.644956111907959e-07, 1.2684613466262817e-06, 2.8014183044433594e-06, 4.334375262260437e-06, 5.867332220077515e-06, 7.400289177894592e-06, 8.93324613571167e-06, 1.0466203093528748e-05, 1.1999160051345825e-05, 1.3532117009162903e-05, 1.506507396697998e-05, 1.6598030924797058e-05, 1.8130987882614136e-05, 1.9663944840431213e-05, 2.119690179824829e-05, 2.272985875606537e-05, 2.4262815713882446e-05, 2.5795772671699524e-05, 2.73287296295166e-05, 2.886168658733368e-05, 3.0394643545150757e-05, 3.1927600502967834e-05, 3.346055746078491e-05, 3.499351441860199e-05, 3.652647137641907e-05, 3.8059428334236145e-05, 3.959238529205322e-05, 4.11253422498703e-05, 4.265829920768738e-05, 4.4191256165504456e-05, 4.572421312332153e-05, 4.725717008113861e-05, 4.879012703895569e-05, 5.0323083996772766e-05, 5.1856040954589844e-05]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.22.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 5.0, 0.0, 3.0, 0.0, 2.0, 2.0, 7.0, 7.0, 25.0, 28.0, 56.0, 82.0, 113.0, 138.0, 141.0, 128.0, 79.0, 75.0, 40.0, 33.0, 10.0, 5.0, 8.0, 3.0, 2.0, 1.0, 4.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.046661376953125, -0.04533863067626953, -0.04401588439941406, -0.042693138122558594, -0.041370391845703125, -0.040047645568847656, -0.03872489929199219, -0.03740215301513672, -0.03607940673828125, -0.03475666046142578, -0.03343391418457031, -0.032111167907714844, -0.030788421630859375, -0.029465675354003906, -0.028142929077148438, -0.02682018280029297, -0.0254974365234375, -0.02417469024658203, -0.022851943969726562, -0.021529197692871094, -0.020206451416015625, -0.018883705139160156, -0.017560958862304688, -0.01623821258544922, -0.01491546630859375, -0.013592720031738281, -0.012269973754882812, -0.010947227478027344, -0.009624481201171875, -0.008301734924316406, -0.0069789886474609375, -0.005656242370605469, -0.00433349609375, -0.0030107498168945312, -0.0016880035400390625, -0.00036525726318359375, 0.000957489013671875, 0.0022802352905273438, 0.0036029815673828125, 0.004925727844238281, 0.00624847412109375, 0.007571220397949219, 0.008893966674804688, 0.010216712951660156, 0.011539459228515625, 0.012862205505371094, 0.014184951782226562, 0.015507698059082031, 0.0168304443359375, 0.01815319061279297, 0.019475936889648438, 0.020798683166503906, 0.022121429443359375, 0.023444175720214844, 0.024766921997070312, 0.02608966827392578, 0.02741241455078125, 0.02873516082763672, 0.030057907104492188, 0.031380653381347656, 0.032703399658203125, 0.034026145935058594, 0.03534889221191406, 0.03667163848876953, 0.037994384765625]}, "gradients/decoder.transformer.h.22.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 3.0, 1.0, 0.0, 1.0, 6.0, 3.0, 3.0, 6.0, 7.0, 9.0, 9.0, 16.0, 15.0, 28.0, 36.0, 50.0, 56.0, 95.0, 138.0, 184.0, 313.0, 473.0, 864.0, 1582.0, 4978.0, 78839.0, 937547.0, 17417.0, 2794.0, 1210.0, 661.0, 402.0, 222.0, 190.0, 103.0, 82.0, 56.0, 39.0, 29.0, 20.0, 25.0, 15.0, 11.0, 10.0, 6.0, 6.0, 1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1317138671875, -0.1273651123046875, -0.123016357421875, -0.1186676025390625, -0.11431884765625, -0.1099700927734375, -0.105621337890625, -0.1012725830078125, -0.096923828125, -0.0925750732421875, -0.088226318359375, -0.0838775634765625, -0.07952880859375, -0.0751800537109375, -0.070831298828125, -0.0664825439453125, -0.0621337890625, -0.0577850341796875, -0.053436279296875, -0.0490875244140625, -0.04473876953125, -0.0403900146484375, -0.036041259765625, -0.0316925048828125, -0.02734375, -0.0229949951171875, -0.018646240234375, -0.0142974853515625, -0.00994873046875, -0.0055999755859375, -0.001251220703125, 0.0030975341796875, 0.0074462890625, 0.0117950439453125, 0.016143798828125, 0.0204925537109375, 0.02484130859375, 0.0291900634765625, 0.033538818359375, 0.0378875732421875, 0.042236328125, 0.0465850830078125, 0.050933837890625, 0.0552825927734375, 0.05963134765625, 0.0639801025390625, 0.068328857421875, 0.0726776123046875, 0.0770263671875, 0.0813751220703125, 0.085723876953125, 0.0900726318359375, 0.09442138671875, 0.0987701416015625, 0.103118896484375, 0.1074676513671875, 0.11181640625, 0.1161651611328125, 0.120513916015625, 0.1248626708984375, 0.12921142578125, 0.1335601806640625, 0.137908935546875, 0.1422576904296875, 0.1466064453125]}, "gradients/decoder.transformer.h.22.attn.c_attn.bias": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 4.0, 4.0, 4.0, 7.0, 3.0, 7.0, 9.0, 10.0, 14.0, 4.0, 14.0, 23.0, 23.0, 18.0, 26.0, 26.0, 31.0, 33.0, 27.0, 46.0, 44.0, 44.0, 57.0, 70.0, 183.0, 1740.0, 115.0, 52.0, 48.0, 50.0, 43.0, 35.0, 33.0, 34.0, 30.0, 15.0, 19.0, 19.0, 15.0, 14.0, 10.0, 10.0, 9.0, 6.0, 6.0, 9.0, 3.0, 2.0, 0.0, 4.0, 1.0, 1.0, 4.0, 2.0, 2.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.062744140625, -0.060532569885253906, -0.05832099914550781, -0.05610942840576172, -0.053897857666015625, -0.05168628692626953, -0.04947471618652344, -0.047263145446777344, -0.04505157470703125, -0.042840003967285156, -0.04062843322753906, -0.03841686248779297, -0.036205291748046875, -0.03399372100830078, -0.03178215026855469, -0.029570579528808594, -0.0273590087890625, -0.025147438049316406, -0.022935867309570312, -0.02072429656982422, -0.018512725830078125, -0.01630115509033203, -0.014089584350585938, -0.011878013610839844, -0.00966644287109375, -0.007454872131347656, -0.0052433013916015625, -0.0030317306518554688, -0.000820159912109375, 0.0013914108276367188, 0.0036029815673828125, 0.005814552307128906, 0.008026123046875, 0.010237693786621094, 0.012449264526367188, 0.014660835266113281, 0.016872406005859375, 0.01908397674560547, 0.021295547485351562, 0.023507118225097656, 0.02571868896484375, 0.027930259704589844, 0.030141830444335938, 0.03235340118408203, 0.034564971923828125, 0.03677654266357422, 0.03898811340332031, 0.041199684143066406, 0.0434112548828125, 0.045622825622558594, 0.04783439636230469, 0.05004596710205078, 0.052257537841796875, 0.05446910858154297, 0.05668067932128906, 0.058892250061035156, 0.06110382080078125, 0.06331539154052734, 0.06552696228027344, 0.06773853302001953, 0.06995010375976562, 0.07216167449951172, 0.07437324523925781, 0.0765848159790039, 0.07879638671875]}, "gradients/decoder.transformer.h.22.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 2.0, 2.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 6.0, 5.0, 4.0, 7.0, 7.0, 9.0, 7.0, 14.0, 20.0, 18.0, 27.0, 31.0, 52.0, 68.0, 112.0, 182.0, 357.0, 851.0, 3055.0, 13780.0, 135603.0, 2924950.0, 54815.0, 8232.0, 1966.0, 635.0, 330.0, 175.0, 89.0, 66.0, 52.0, 35.0, 20.0, 23.0, 23.0, 22.0, 10.0, 9.0, 7.0, 9.0, 4.0, 6.0, 2.0, 5.0, 1.0, 3.0, 3.0, 1.0, 0.0, 2.0], "bins": [-0.1763916015625, -0.1714000701904297, -0.16640853881835938, -0.16141700744628906, -0.15642547607421875, -0.15143394470214844, -0.14644241333007812, -0.1414508819580078, -0.1364593505859375, -0.1314678192138672, -0.12647628784179688, -0.12148475646972656, -0.11649322509765625, -0.11150169372558594, -0.10651016235351562, -0.10151863098144531, -0.096527099609375, -0.09153556823730469, -0.08654403686523438, -0.08155250549316406, -0.07656097412109375, -0.07156944274902344, -0.06657791137695312, -0.06158638000488281, -0.0565948486328125, -0.05160331726074219, -0.046611785888671875, -0.04162025451660156, -0.03662872314453125, -0.03163719177246094, -0.026645660400390625, -0.021654129028320312, -0.01666259765625, -0.011671066284179688, -0.006679534912109375, -0.0016880035400390625, 0.00330352783203125, 0.008295059204101562, 0.013286590576171875, 0.018278121948242188, 0.0232696533203125, 0.028261184692382812, 0.033252716064453125, 0.03824424743652344, 0.04323577880859375, 0.04822731018066406, 0.053218841552734375, 0.05821037292480469, 0.063201904296875, 0.06819343566894531, 0.07318496704101562, 0.07817649841308594, 0.08316802978515625, 0.08815956115722656, 0.09315109252929688, 0.09814262390136719, 0.1031341552734375, 0.10812568664550781, 0.11311721801757812, 0.11810874938964844, 0.12310028076171875, 0.12809181213378906, 0.13308334350585938, 0.1380748748779297, 0.14306640625]}, "gradients/decoder.transformer.h.22.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 38.0, 504.0, 446.0, 25.0, 1.0], "bins": [-2.045153856277466, -2.011596202850342, -1.9780385494232178, -1.9444808959960938, -1.9109232425689697, -1.8773655891418457, -1.8438079357147217, -1.8102502822875977, -1.7766926288604736, -1.7431349754333496, -1.7095773220062256, -1.6760196685791016, -1.6424620151519775, -1.6089043617248535, -1.5753467082977295, -1.5417890548706055, -1.5082314014434814, -1.4746737480163574, -1.4411160945892334, -1.4075584411621094, -1.3740007877349854, -1.3404431343078613, -1.3068854808807373, -1.2733278274536133, -1.2397702932357788, -1.2062126398086548, -1.1726549863815308, -1.1390973329544067, -1.1055396795272827, -1.0719820261001587, -1.0384243726730347, -1.0048667192459106, -0.9713090658187866, -0.9377514123916626, -0.9041937589645386, -0.8706361055374146, -0.8370784521102905, -0.8035207986831665, -0.7699631452560425, -0.7364054918289185, -0.7028478384017944, -0.6692901849746704, -0.6357325315475464, -0.6021748781204224, -0.5686172246932983, -0.5350595712661743, -0.5015019178390503, -0.46794429421424866, -0.434386670589447, -0.400829017162323, -0.367271363735199, -0.33371371030807495, -0.3001560568809509, -0.2665984034538269, -0.23304077982902527, -0.19948312640190125, -0.16592547297477722, -0.1323678195476532, -0.09881017357110977, -0.06525252759456635, -0.03169487416744232, 0.0018627792596817017, 0.03542041778564453, 0.06897807121276855, 0.10253573209047318]}, "gradients/decoder.transformer.h.22.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 3.0, 5.0, 2.0, 9.0, 7.0, 14.0, 10.0, 23.0, 17.0, 21.0, 28.0, 32.0, 33.0, 40.0, 37.0, 37.0, 42.0, 46.0, 51.0, 30.0, 47.0, 41.0, 50.0, 37.0, 43.0, 31.0, 32.0, 34.0, 34.0, 32.0, 26.0, 27.0, 14.0, 18.0, 12.0, 6.0, 13.0, 7.0, 9.0, 1.0, 3.0, 3.0, 3.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.34410780668258667, -0.33344322443008423, -0.3227786719799042, -0.3121141195297241, -0.3014495372772217, -0.29078495502471924, -0.2801204025745392, -0.26945585012435913, -0.2587912678718567, -0.24812670052051544, -0.2374621331691742, -0.22679756581783295, -0.2161329984664917, -0.20546843111515045, -0.1948038637638092, -0.18413929641246796, -0.1734747290611267, -0.16281016170978546, -0.1521455943584442, -0.14148102700710297, -0.13081645965576172, -0.12015189230442047, -0.10948732495307922, -0.09882275760173798, -0.08815819025039673, -0.07749362289905548, -0.06682905554771423, -0.056164488196372986, -0.04549992084503174, -0.03483535349369049, -0.024170786142349243, -0.013506218791007996, -0.002841651439666748, 0.0078229159116745, 0.018487483263015747, 0.029152050614356995, 0.03981661796569824, 0.05048118531703949, 0.06114575266838074, 0.07181032001972198, 0.08247488737106323, 0.09313945472240448, 0.10380402207374573, 0.11446858942508698, 0.12513315677642822, 0.13579772412776947, 0.14646229147911072, 0.15712685883045197, 0.1677914261817932, 0.17845599353313446, 0.1891205608844757, 0.19978512823581696, 0.2104496955871582, 0.22111426293849945, 0.2317788302898407, 0.24244339764118195, 0.2531079649925232, 0.26377254724502563, 0.2744370996952057, 0.28510165214538574, 0.2957662343978882, 0.3064308166503906, 0.3170953691005707, 0.32775992155075073, 0.3384245038032532]}, "gradients/decoder.transformer.h.21.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0, 4.0, 1.0, 1.0, 2.0, 1.0, 5.0, 11.0, 18.0, 20.0, 45.0, 67.0, 94.0, 127.0, 130.0, 120.0, 107.0, 81.0, 64.0, 37.0, 26.0, 14.0, 5.0, 6.0, 3.0, 3.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.044403076171875, -0.04313087463378906, -0.041858673095703125, -0.04058647155761719, -0.03931427001953125, -0.03804206848144531, -0.036769866943359375, -0.03549766540527344, -0.0342254638671875, -0.03295326232910156, -0.031681060791015625, -0.030408859252929688, -0.02913665771484375, -0.027864456176757812, -0.026592254638671875, -0.025320053100585938, -0.0240478515625, -0.022775650024414062, -0.021503448486328125, -0.020231246948242188, -0.01895904541015625, -0.017686843872070312, -0.016414642333984375, -0.015142440795898438, -0.0138702392578125, -0.012598037719726562, -0.011325836181640625, -0.010053634643554688, -0.00878143310546875, -0.0075092315673828125, -0.006237030029296875, -0.0049648284912109375, -0.003692626953125, -0.0024204254150390625, -0.001148223876953125, 0.0001239776611328125, 0.00139617919921875, 0.0026683807373046875, 0.003940582275390625, 0.0052127838134765625, 0.0064849853515625, 0.0077571868896484375, 0.009029388427734375, 0.010301589965820312, 0.01157379150390625, 0.012845993041992188, 0.014118194580078125, 0.015390396118164062, 0.01666259765625, 0.017934799194335938, 0.019207000732421875, 0.020479202270507812, 0.02175140380859375, 0.023023605346679688, 0.024295806884765625, 0.025568008422851562, 0.0268402099609375, 0.028112411499023438, 0.029384613037109375, 0.030656814575195312, 0.03192901611328125, 0.03320121765136719, 0.034473419189453125, 0.03574562072753906, 0.037017822265625]}, "gradients/decoder.transformer.h.21.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 2.0, 1.0, 4.0, 6.0, 4.0, 6.0, 8.0, 9.0, 8.0, 25.0, 22.0, 32.0, 23.0, 50.0, 58.0, 86.0, 107.0, 147.0, 225.0, 361.0, 588.0, 984.0, 1766.0, 3848.0, 19067.0, 3491750.0, 656107.0, 11252.0, 3326.0, 1638.0, 959.0, 590.0, 349.0, 261.0, 149.0, 115.0, 78.0, 70.0, 41.0, 33.0, 17.0, 31.0, 15.0, 14.0, 19.0, 8.0, 5.0, 6.0, 4.0, 7.0, 7.0, 2.0, 2.0, 0.0, 2.0], "bins": [-0.248779296875, -0.24164772033691406, -0.23451614379882812, -0.2273845672607422, -0.22025299072265625, -0.2131214141845703, -0.20598983764648438, -0.19885826110839844, -0.1917266845703125, -0.18459510803222656, -0.17746353149414062, -0.1703319549560547, -0.16320037841796875, -0.1560688018798828, -0.14893722534179688, -0.14180564880371094, -0.134674072265625, -0.12754249572753906, -0.12041091918945312, -0.11327934265136719, -0.10614776611328125, -0.09901618957519531, -0.09188461303710938, -0.08475303649902344, -0.0776214599609375, -0.07048988342285156, -0.06335830688476562, -0.05622673034667969, -0.04909515380859375, -0.04196357727050781, -0.034832000732421875, -0.027700424194335938, -0.02056884765625, -0.013437271118164062, -0.006305694580078125, 0.0008258819580078125, 0.00795745849609375, 0.015089035034179688, 0.022220611572265625, 0.029352188110351562, 0.0364837646484375, 0.04361534118652344, 0.050746917724609375, 0.05787849426269531, 0.06501007080078125, 0.07214164733886719, 0.07927322387695312, 0.08640480041503906, 0.093536376953125, 0.10066795349121094, 0.10779953002929688, 0.11493110656738281, 0.12206268310546875, 0.1291942596435547, 0.13632583618164062, 0.14345741271972656, 0.1505889892578125, 0.15772056579589844, 0.16485214233398438, 0.1719837188720703, 0.17911529541015625, 0.1862468719482422, 0.19337844848632812, 0.20051002502441406, 0.2076416015625]}, "gradients/decoder.transformer.h.21.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 3.0, 0.0, 1.0, 3.0, 2.0, 2.0, 12.0, 12.0, 8.0, 19.0, 24.0, 19.0, 32.0, 65.0, 89.0, 148.0, 248.0, 568.0, 1018.0, 828.0, 415.0, 216.0, 122.0, 74.0, 36.0, 41.0, 25.0, 15.0, 13.0, 3.0, 6.0, 7.0, 1.0, 4.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0955810546875, -0.09201431274414062, -0.08844757080078125, -0.08488082885742188, -0.0813140869140625, -0.07774734497070312, -0.07418060302734375, -0.07061386108398438, -0.067047119140625, -0.06348037719726562, -0.05991363525390625, -0.056346893310546875, -0.0527801513671875, -0.049213409423828125, -0.04564666748046875, -0.042079925537109375, -0.03851318359375, -0.034946441650390625, -0.03137969970703125, -0.027812957763671875, -0.0242462158203125, -0.020679473876953125, -0.01711273193359375, -0.013545989990234375, -0.009979248046875, -0.006412506103515625, -0.00284576416015625, 0.000720977783203125, 0.0042877197265625, 0.007854461669921875, 0.01142120361328125, 0.014987945556640625, 0.0185546875, 0.022121429443359375, 0.02568817138671875, 0.029254913330078125, 0.0328216552734375, 0.036388397216796875, 0.03995513916015625, 0.043521881103515625, 0.047088623046875, 0.050655364990234375, 0.05422210693359375, 0.057788848876953125, 0.0613555908203125, 0.06492233276367188, 0.06848907470703125, 0.07205581665039062, 0.07562255859375, 0.07918930053710938, 0.08275604248046875, 0.08632278442382812, 0.0898895263671875, 0.09345626831054688, 0.09702301025390625, 0.10058975219726562, 0.104156494140625, 0.10772323608398438, 0.11128997802734375, 0.11485671997070312, 0.1184234619140625, 0.12199020385742188, 0.12555694580078125, 0.12912368774414062, 0.1326904296875]}, "gradients/decoder.transformer.h.21.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 6.0, 5.0, 1.0, 3.0, 11.0, 12.0, 9.0, 13.0, 33.0, 35.0, 45.0, 87.0, 129.0, 229.0, 414.0, 829.0, 1963.0, 5444.0, 19276.0, 138123.0, 3617202.0, 366812.0, 31100.0, 7559.0, 2686.0, 1096.0, 477.0, 257.0, 157.0, 79.0, 66.0, 54.0, 32.0, 11.0, 7.0, 11.0, 5.0, 3.0, 3.0, 5.0, 0.0, 3.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.240234375, -0.2330951690673828, -0.22595596313476562, -0.21881675720214844, -0.21167755126953125, -0.20453834533691406, -0.19739913940429688, -0.1902599334716797, -0.1831207275390625, -0.1759815216064453, -0.16884231567382812, -0.16170310974121094, -0.15456390380859375, -0.14742469787597656, -0.14028549194335938, -0.1331462860107422, -0.126007080078125, -0.11886787414550781, -0.11172866821289062, -0.10458946228027344, -0.09745025634765625, -0.09031105041503906, -0.08317184448242188, -0.07603263854980469, -0.0688934326171875, -0.06175422668457031, -0.054615020751953125, -0.04747581481933594, -0.04033660888671875, -0.03319740295410156, -0.026058197021484375, -0.018918991088867188, -0.01177978515625, -0.0046405792236328125, 0.002498626708984375, 0.009637832641601562, 0.01677703857421875, 0.023916244506835938, 0.031055450439453125, 0.03819465637207031, 0.0453338623046875, 0.05247306823730469, 0.059612274169921875, 0.06675148010253906, 0.07389068603515625, 0.08102989196777344, 0.08816909790039062, 0.09530830383300781, 0.102447509765625, 0.10958671569824219, 0.11672592163085938, 0.12386512756347656, 0.13100433349609375, 0.13814353942871094, 0.14528274536132812, 0.1524219512939453, 0.1595611572265625, 0.1667003631591797, 0.17383956909179688, 0.18097877502441406, 0.18811798095703125, 0.19525718688964844, 0.20239639282226562, 0.2095355987548828, 0.2166748046875]}, "gradients/decoder.transformer.h.21.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 4.0, 6.0, 20.0, 52.0, 214.0, 366.0, 251.0, 61.0, 25.0, 7.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.365075707435608, -1.3243950605392456, -1.2837142944335938, -1.2430336475372314, -1.2023528814315796, -1.1616722345352173, -1.1209914684295654, -1.0803108215332031, -1.0396300554275513, -0.9989493489265442, -0.9582686424255371, -0.91758793592453, -0.876907229423523, -0.8362265229225159, -0.7955458164215088, -0.7548651695251465, -0.7141844630241394, -0.6735037565231323, -0.6328230500221252, -0.5921423435211182, -0.5514616370201111, -0.510780930519104, -0.4701002538204193, -0.42941954731941223, -0.38873884081840515, -0.34805813431739807, -0.307377427816391, -0.2666967511177063, -0.22601602971553802, -0.18533532321453094, -0.14465463161468506, -0.10397392511367798, -0.0632932186126709, -0.022612515836954117, 0.018068186938762665, 0.05874888598918915, 0.09942959249019623, 0.1401102989912033, 0.1807909905910492, 0.22147169709205627, 0.26215240359306335, 0.30283311009407043, 0.3435138165950775, 0.3841944932937622, 0.4248751997947693, 0.46555590629577637, 0.5062366127967834, 0.5469173192977905, 0.5875980257987976, 0.6282787322998047, 0.6689594388008118, 0.7096401453018188, 0.7503208518028259, 0.791001558303833, 0.8316822052001953, 0.8723629713058472, 0.9130436182022095, 0.9537243247032166, 0.9944050312042236, 1.035085678100586, 1.0757664442062378, 1.1164470911026, 1.157127857208252, 1.1978085041046143, 1.2384892702102661]}, "gradients/decoder.transformer.h.21.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 4.0, 5.0, 4.0, 6.0, 11.0, 12.0, 15.0, 22.0, 29.0, 46.0, 42.0, 63.0, 63.0, 67.0, 69.0, 79.0, 80.0, 77.0, 65.0, 51.0, 44.0, 43.0, 33.0, 19.0, 11.0, 16.0, 12.0, 6.0, 5.0, 4.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.564264714717865, -0.5474962592124939, -0.5307278037071228, -0.5139593482017517, -0.4971908628940582, -0.48042240738868713, -0.46365392208099365, -0.44688546657562256, -0.43011701107025146, -0.41334855556488037, -0.3965801000595093, -0.3798116147518158, -0.3630431592464447, -0.3462747037410736, -0.3295062184333801, -0.31273776292800903, -0.29596930742263794, -0.27920085191726685, -0.26243239641189575, -0.24566391110420227, -0.22889545559883118, -0.21212700009346008, -0.1953585296869278, -0.1785900592803955, -0.16182160377502441, -0.14505314826965332, -0.12828467786312103, -0.11151621490716934, -0.09474775195121765, -0.07797928899526596, -0.06121082603931427, -0.04444236308336258, -0.027673959732055664, -0.010905496776103973, 0.005862966179847717, 0.022631429135799408, 0.0393998920917511, 0.05616835504770279, 0.07293681800365448, 0.08970528095960617, 0.10647374391555786, 0.12324220687150955, 0.14001066982746124, 0.15677914023399353, 0.17354759573936462, 0.19031605124473572, 0.207084521651268, 0.2238529920578003, 0.2406214475631714, 0.2573899030685425, 0.2741583585739136, 0.29092684388160706, 0.30769529938697815, 0.32446375489234924, 0.3412322402000427, 0.3580006957054138, 0.3747691512107849, 0.391537606716156, 0.4083060622215271, 0.4250745475292206, 0.4418430030345917, 0.45861145853996277, 0.47537994384765625, 0.49214839935302734, 0.5089168548583984]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 4.0, 0.0, 0.0, 4.0, 1.0, 1.0, 3.0, 4.0, 8.0, 12.0, 13.0, 27.0, 49.0, 50.0, 71.0, 103.0, 97.0, 114.0, 80.0, 86.0, 80.0, 63.0, 41.0, 34.0, 21.0, 10.0, 8.0, 4.0, 5.0, 6.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.03656005859375, -0.03550577163696289, -0.03445148468017578, -0.03339719772338867, -0.03234291076660156, -0.03128862380981445, -0.030234336853027344, -0.029180049896240234, -0.028125762939453125, -0.027071475982666016, -0.026017189025878906, -0.024962902069091797, -0.023908615112304688, -0.022854328155517578, -0.02180004119873047, -0.02074575424194336, -0.01969146728515625, -0.01863718032836914, -0.01758289337158203, -0.016528606414794922, -0.015474319458007812, -0.014420032501220703, -0.013365745544433594, -0.012311458587646484, -0.011257171630859375, -0.010202884674072266, -0.009148597717285156, -0.008094310760498047, -0.0070400238037109375, -0.005985736846923828, -0.004931449890136719, -0.0038771629333496094, -0.0028228759765625, -0.0017685890197753906, -0.0007143020629882812, 0.0003399848937988281, 0.0013942718505859375, 0.002448558807373047, 0.0035028457641601562, 0.004557132720947266, 0.005611419677734375, 0.006665706634521484, 0.007719993591308594, 0.008774280548095703, 0.009828567504882812, 0.010882854461669922, 0.011937141418457031, 0.01299142837524414, 0.01404571533203125, 0.01510000228881836, 0.01615428924560547, 0.017208576202392578, 0.018262863159179688, 0.019317150115966797, 0.020371437072753906, 0.021425724029541016, 0.022480010986328125, 0.023534297943115234, 0.024588584899902344, 0.025642871856689453, 0.026697158813476562, 0.027751445770263672, 0.02880573272705078, 0.02986001968383789, 0.030914306640625]}, "gradients/decoder.transformer.h.21.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 3.0, 1.0, 4.0, 3.0, 3.0, 10.0, 12.0, 13.0, 18.0, 33.0, 50.0, 71.0, 91.0, 108.0, 163.0, 223.0, 332.0, 459.0, 696.0, 1164.0, 1897.0, 3744.0, 8269.0, 22945.0, 92319.0, 661107.0, 193095.0, 38161.0, 12185.0, 4940.0, 2432.0, 1427.0, 849.0, 529.0, 342.0, 254.0, 166.0, 116.0, 88.0, 72.0, 54.0, 35.0, 22.0, 20.0, 12.0, 12.0, 7.0, 3.0, 1.0, 4.0, 4.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0003097057342529297, -0.0002992786467075348, -0.0002888515591621399, -0.000278424471616745, -0.0002679973840713501, -0.0002575702965259552, -0.0002471432089805603, -0.0002367161214351654, -0.0002262890338897705, -0.0002158619463443756, -0.0002054348587989807, -0.00019500777125358582, -0.00018458068370819092, -0.00017415359616279602, -0.00016372650861740112, -0.00015329942107200623, -0.00014287233352661133, -0.00013244524598121643, -0.00012201815843582153, -0.00011159107089042664, -0.00010116398334503174, -9.073689579963684e-05, -8.030980825424194e-05, -6.988272070884705e-05, -5.945563316345215e-05, -4.902854561805725e-05, -3.8601458072662354e-05, -2.8174370527267456e-05, -1.774728298187256e-05, -7.320195436477661e-06, 3.1068921089172363e-06, 1.3533979654312134e-05, 2.396106719970703e-05, 3.438815474510193e-05, 4.4815242290496826e-05, 5.5242329835891724e-05, 6.566941738128662e-05, 7.609650492668152e-05, 8.652359247207642e-05, 9.695068001747131e-05, 0.00010737776756286621, 0.00011780485510826111, 0.000128231942653656, 0.0001386590301990509, 0.0001490861177444458, 0.0001595132052898407, 0.0001699402928352356, 0.0001803673803806305, 0.0001907944679260254, 0.0002012215554714203, 0.00021164864301681519, 0.00022207573056221008, 0.00023250281810760498, 0.00024292990565299988, 0.0002533569931983948, 0.00026378408074378967, 0.00027421116828918457, 0.00028463825583457947, 0.00029506534337997437, 0.00030549243092536926, 0.00031591951847076416, 0.00032634660601615906, 0.00033677369356155396, 0.00034720078110694885, 0.00035762786865234375]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 2.0, 1.0, 4.0, 2.0, 14.0, 11.0, 5.0, 9.0, 14.0, 13.0, 15.0, 19.0, 19.0, 23.0, 22.0, 40.0, 24.0, 29.0, 27.0, 22.0, 29.0, 19.0, 21.0, 21.0, 17.0, 27.0, 20.0, 1045.0, 23.0, 26.0, 20.0, 25.0, 25.0, 34.0, 28.0, 25.0, 22.0, 30.0, 23.0, 26.0, 35.0, 23.0, 21.0, 17.0, 23.0, 16.0, 16.0, 16.0, 11.0, 8.0, 8.0, 7.0, 2.0, 4.0, 6.0, 4.0, 1.0, 0.0, 2.0, 2.0], "bins": [-0.03314208984375, -0.0321040153503418, -0.031065940856933594, -0.03002786636352539, -0.028989791870117188, -0.027951717376708984, -0.02691364288330078, -0.025875568389892578, -0.024837493896484375, -0.023799419403076172, -0.02276134490966797, -0.021723270416259766, -0.020685195922851562, -0.01964712142944336, -0.018609046936035156, -0.017570972442626953, -0.01653289794921875, -0.015494823455810547, -0.014456748962402344, -0.01341867446899414, -0.012380599975585938, -0.011342525482177734, -0.010304450988769531, -0.009266376495361328, -0.008228302001953125, -0.007190227508544922, -0.006152153015136719, -0.005114078521728516, -0.0040760040283203125, -0.0030379295349121094, -0.0019998550415039062, -0.0009617805480957031, 7.62939453125e-05, 0.0011143684387207031, 0.0021524429321289062, 0.0031905174255371094, 0.0042285919189453125, 0.005266666412353516, 0.006304740905761719, 0.007342815399169922, 0.008380889892578125, 0.009418964385986328, 0.010457038879394531, 0.011495113372802734, 0.012533187866210938, 0.01357126235961914, 0.014609336853027344, 0.015647411346435547, 0.01668548583984375, 0.017723560333251953, 0.018761634826660156, 0.01979970932006836, 0.020837783813476562, 0.021875858306884766, 0.02291393280029297, 0.023952007293701172, 0.024990081787109375, 0.026028156280517578, 0.02706623077392578, 0.028104305267333984, 0.029142379760742188, 0.03018045425415039, 0.031218528747558594, 0.0322566032409668, 0.033294677734375]}, "gradients/decoder.transformer.h.21.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 2.0, 4.0, 5.0, 4.0, 3.0, 6.0, 8.0, 6.0, 16.0, 14.0, 16.0, 16.0, 22.0, 18.0, 18.0, 23.0, 34.0, 27.0, 25.0, 29.0, 22.0, 26.0, 30.0, 60.0, 138.0, 270.0, 947.0, 4113.0, 52808.0, 2029723.0, 6369.0, 1388.0, 367.0, 148.0, 68.0, 28.0, 27.0, 21.0, 25.0, 32.0, 21.0, 41.0, 21.0, 25.0, 18.0, 20.0, 13.0, 15.0, 14.0, 10.0, 5.0, 10.0, 13.0, 5.0, 3.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0], "bins": [-3.5643577575683594e-05, -3.453437238931656e-05, -3.3425167202949524e-05, -3.231596201658249e-05, -3.1206756830215454e-05, -3.009755164384842e-05, -2.8988346457481384e-05, -2.787914127111435e-05, -2.6769936084747314e-05, -2.566073089838028e-05, -2.4551525712013245e-05, -2.344232052564621e-05, -2.2333115339279175e-05, -2.122391015291214e-05, -2.0114704966545105e-05, -1.900549978017807e-05, -1.7896294593811035e-05, -1.6787089407444e-05, -1.5677884221076965e-05, -1.456867903470993e-05, -1.3459473848342896e-05, -1.235026866197586e-05, -1.1241063475608826e-05, -1.013185828924179e-05, -9.022653102874756e-06, -7.913447916507721e-06, -6.804242730140686e-06, -5.695037543773651e-06, -4.585832357406616e-06, -3.4766271710395813e-06, -2.3674219846725464e-06, -1.2582167983055115e-06, -1.4901161193847656e-07, 9.601935744285583e-07, 2.0693987607955933e-06, 3.178603947162628e-06, 4.287809133529663e-06, 5.397014319896698e-06, 6.506219506263733e-06, 7.615424692630768e-06, 8.724629878997803e-06, 9.833835065364838e-06, 1.0943040251731873e-05, 1.2052245438098907e-05, 1.3161450624465942e-05, 1.4270655810832977e-05, 1.5379860997200012e-05, 1.6489066183567047e-05, 1.7598271369934082e-05, 1.8707476556301117e-05, 1.9816681742668152e-05, 2.0925886929035187e-05, 2.203509211540222e-05, 2.3144297301769257e-05, 2.425350248813629e-05, 2.5362707674503326e-05, 2.647191286087036e-05, 2.7581118047237396e-05, 2.869032323360443e-05, 2.9799528419971466e-05, 3.09087336063385e-05, 3.2017938792705536e-05, 3.312714397907257e-05, 3.4236349165439606e-05, 3.534555435180664e-05]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.21.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 4.0, 0.0, 0.0, 4.0, 1.0, 1.0, 3.0, 4.0, 8.0, 12.0, 13.0, 27.0, 49.0, 50.0, 71.0, 103.0, 97.0, 114.0, 80.0, 86.0, 80.0, 63.0, 41.0, 34.0, 21.0, 10.0, 8.0, 4.0, 5.0, 6.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.03656005859375, -0.03550577163696289, -0.03445148468017578, -0.03339719772338867, -0.03234291076660156, -0.03128862380981445, -0.030234336853027344, -0.029180049896240234, -0.028125762939453125, -0.027071475982666016, -0.026017189025878906, -0.024962902069091797, -0.023908615112304688, -0.022854328155517578, -0.02180004119873047, -0.02074575424194336, -0.01969146728515625, -0.01863718032836914, -0.01758289337158203, -0.016528606414794922, -0.015474319458007812, -0.014420032501220703, -0.013365745544433594, -0.012311458587646484, -0.011257171630859375, -0.010202884674072266, -0.009148597717285156, -0.008094310760498047, -0.0070400238037109375, -0.005985736846923828, -0.004931449890136719, -0.0038771629333496094, -0.0028228759765625, -0.0017685890197753906, -0.0007143020629882812, 0.0003399848937988281, 0.0013942718505859375, 0.002448558807373047, 0.0035028457641601562, 0.004557132720947266, 0.005611419677734375, 0.006665706634521484, 0.007719993591308594, 0.008774280548095703, 0.009828567504882812, 0.010882854461669922, 0.011937141418457031, 0.01299142837524414, 0.01404571533203125, 0.01510000228881836, 0.01615428924560547, 0.017208576202392578, 0.018262863159179688, 0.019317150115966797, 0.020371437072753906, 0.021425724029541016, 0.022480010986328125, 0.023534297943115234, 0.024588584899902344, 0.025642871856689453, 0.026697158813476562, 0.027751445770263672, 0.02880573272705078, 0.02986001968383789, 0.030914306640625]}, "gradients/decoder.transformer.h.21.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 5.0, 3.0, 1.0, 2.0, 4.0, 7.0, 7.0, 10.0, 16.0, 19.0, 29.0, 24.0, 55.0, 74.0, 107.0, 165.0, 287.0, 410.0, 781.0, 1821.0, 7558.0, 618658.0, 407736.0, 6951.0, 1827.0, 773.0, 432.0, 271.0, 162.0, 127.0, 68.0, 47.0, 38.0, 20.0, 17.0, 16.0, 12.0, 5.0, 3.0, 5.0, 5.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.166015625, -0.1604785919189453, -0.15494155883789062, -0.14940452575683594, -0.14386749267578125, -0.13833045959472656, -0.13279342651367188, -0.1272563934326172, -0.1217193603515625, -0.11618232727050781, -0.11064529418945312, -0.10510826110839844, -0.09957122802734375, -0.09403419494628906, -0.08849716186523438, -0.08296012878417969, -0.077423095703125, -0.07188606262207031, -0.06634902954101562, -0.06081199645996094, -0.05527496337890625, -0.04973793029785156, -0.044200897216796875, -0.03866386413574219, -0.0331268310546875, -0.027589797973632812, -0.022052764892578125, -0.016515731811523438, -0.01097869873046875, -0.0054416656494140625, 9.5367431640625e-05, 0.0056324005126953125, 0.01116943359375, 0.016706466674804688, 0.022243499755859375, 0.027780532836914062, 0.03331756591796875, 0.03885459899902344, 0.044391632080078125, 0.04992866516113281, 0.0554656982421875, 0.06100273132324219, 0.06653976440429688, 0.07207679748535156, 0.07761383056640625, 0.08315086364746094, 0.08868789672851562, 0.09422492980957031, 0.099761962890625, 0.10529899597167969, 0.11083602905273438, 0.11637306213378906, 0.12191009521484375, 0.12744712829589844, 0.13298416137695312, 0.1385211944580078, 0.1440582275390625, 0.1495952606201172, 0.15513229370117188, 0.16066932678222656, 0.16620635986328125, 0.17174339294433594, 0.17728042602539062, 0.1828174591064453, 0.1883544921875]}, "gradients/decoder.transformer.h.21.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 5.0, 2.0, 2.0, 7.0, 4.0, 5.0, 5.0, 7.0, 11.0, 14.0, 15.0, 14.0, 16.0, 19.0, 20.0, 35.0, 24.0, 50.0, 43.0, 61.0, 82.0, 124.0, 272.0, 1546.0, 151.0, 92.0, 73.0, 44.0, 31.0, 46.0, 35.0, 34.0, 25.0, 24.0, 21.0, 19.0, 21.0, 9.0, 16.0, 6.0, 6.0, 8.0, 6.0, 5.0, 2.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.07220458984375, -0.06981658935546875, -0.0674285888671875, -0.06504058837890625, -0.062652587890625, -0.06026458740234375, -0.0578765869140625, -0.05548858642578125, -0.0531005859375, -0.05071258544921875, -0.0483245849609375, -0.04593658447265625, -0.043548583984375, -0.04116058349609375, -0.0387725830078125, -0.03638458251953125, -0.03399658203125, -0.03160858154296875, -0.0292205810546875, -0.02683258056640625, -0.024444580078125, -0.02205657958984375, -0.0196685791015625, -0.01728057861328125, -0.014892578125, -0.01250457763671875, -0.0101165771484375, -0.00772857666015625, -0.005340576171875, -0.00295257568359375, -0.0005645751953125, 0.00182342529296875, 0.00421142578125, 0.00659942626953125, 0.0089874267578125, 0.01137542724609375, 0.013763427734375, 0.01615142822265625, 0.0185394287109375, 0.02092742919921875, 0.0233154296875, 0.02570343017578125, 0.0280914306640625, 0.03047943115234375, 0.032867431640625, 0.03525543212890625, 0.0376434326171875, 0.04003143310546875, 0.04241943359375, 0.04480743408203125, 0.0471954345703125, 0.04958343505859375, 0.051971435546875, 0.05435943603515625, 0.0567474365234375, 0.05913543701171875, 0.0615234375, 0.06391143798828125, 0.0662994384765625, 0.06868743896484375, 0.071075439453125, 0.07346343994140625, 0.0758514404296875, 0.07823944091796875, 0.08062744140625]}, "gradients/decoder.transformer.h.21.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 0.0, 4.0, 3.0, 1.0, 6.0, 7.0, 6.0, 9.0, 7.0, 18.0, 24.0, 18.0, 34.0, 37.0, 53.0, 55.0, 112.0, 172.0, 397.0, 847.0, 2886.0, 13768.0, 235430.0, 2841747.0, 41407.0, 5885.0, 1548.0, 548.0, 235.0, 149.0, 87.0, 56.0, 31.0, 26.0, 27.0, 16.0, 9.0, 15.0, 9.0, 5.0, 3.0, 5.0, 4.0, 4.0, 3.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.1607666015625, -0.15607261657714844, -0.15137863159179688, -0.1466846466064453, -0.14199066162109375, -0.1372966766357422, -0.13260269165039062, -0.12790870666503906, -0.1232147216796875, -0.11852073669433594, -0.11382675170898438, -0.10913276672363281, -0.10443878173828125, -0.09974479675292969, -0.09505081176757812, -0.09035682678222656, -0.085662841796875, -0.08096885681152344, -0.07627487182617188, -0.07158088684082031, -0.06688690185546875, -0.06219291687011719, -0.057498931884765625, -0.05280494689941406, -0.0481109619140625, -0.04341697692871094, -0.038722991943359375, -0.03402900695800781, -0.02933502197265625, -0.024641036987304688, -0.019947052001953125, -0.015253067016601562, -0.01055908203125, -0.0058650970458984375, -0.001171112060546875, 0.0035228729248046875, 0.00821685791015625, 0.012910842895507812, 0.017604827880859375, 0.022298812866210938, 0.0269927978515625, 0.03168678283691406, 0.036380767822265625, 0.04107475280761719, 0.04576873779296875, 0.05046272277832031, 0.055156707763671875, 0.05985069274902344, 0.064544677734375, 0.06923866271972656, 0.07393264770507812, 0.07862663269042969, 0.08332061767578125, 0.08801460266113281, 0.09270858764648438, 0.09740257263183594, 0.1020965576171875, 0.10679054260253906, 0.11148452758789062, 0.11617851257324219, 0.12087249755859375, 0.1255664825439453, 0.13026046752929688, 0.13495445251464844, 0.1396484375]}, "gradients/decoder.transformer.h.21.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 61.0, 943.0, 14.0], "bins": [-4.520432472229004, -4.447926044464111, -4.375420093536377, -4.302913665771484, -4.23040771484375, -4.157901287078857, -4.085394859313965, -4.0128889083862305, -3.940382480621338, -3.8678762912750244, -3.795370101928711, -3.7228636741638184, -3.650357484817505, -3.5778512954711914, -3.505344867706299, -3.4328386783599854, -3.360332489013672, -3.2878262996673584, -3.215320110321045, -3.1428136825561523, -3.070307493209839, -2.9978013038635254, -2.925294876098633, -2.8527886867523193, -2.780282497406006, -2.7077763080596924, -2.635270118713379, -2.5627636909484863, -2.490257501602173, -2.4177513122558594, -2.345244884490967, -2.2727386951446533, -2.20023250579834, -2.1277263164520264, -2.055220127105713, -1.9827136993408203, -1.9102075099945068, -1.8377013206481934, -1.7651950120925903, -1.6926887035369873, -1.6201825141906738, -1.5476763248443604, -1.4751700162887573, -1.4026637077331543, -1.3301575183868408, -1.2576513290405273, -1.1851450204849243, -1.1126387119293213, -1.0401325225830078, -0.9676262736320496, -0.8951200246810913, -0.8226137757301331, -0.7501075267791748, -0.6776012778282166, -0.6050950288772583, -0.5325887799263, -0.4600825905799866, -0.3875763416290283, -0.31507009267807007, -0.24256384372711182, -0.17005759477615356, -0.09755134582519531, -0.02504509687423706, 0.04746115207672119, 0.11996741592884064]}, "gradients/decoder.transformer.h.21.ln_1.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 3.0, 6.0, 4.0, 4.0, 8.0, 13.0, 12.0, 13.0, 13.0, 25.0, 26.0, 25.0, 24.0, 20.0, 44.0, 28.0, 36.0, 39.0, 45.0, 39.0, 37.0, 57.0, 39.0, 29.0, 40.0, 42.0, 47.0, 38.0, 45.0, 29.0, 32.0, 28.0, 20.0, 19.0, 14.0, 8.0, 18.0, 6.0, 7.0, 6.0, 4.0, 4.0, 2.0, 3.0, 2.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2855440378189087, -0.2760198712348938, -0.2664957046508789, -0.2569715678691864, -0.2474474012851715, -0.23792323470115662, -0.22839906811714172, -0.21887490153312683, -0.20935074985027313, -0.19982658326625824, -0.19030243158340454, -0.18077826499938965, -0.17125409841537476, -0.16172994673252106, -0.15220578014850616, -0.14268162846565247, -0.13315746188163757, -0.12363330274820328, -0.11410914361476898, -0.10458497703075409, -0.0950608178973198, -0.0855366587638855, -0.0760124921798706, -0.06648833304643631, -0.056964173913002014, -0.04744001477956772, -0.037915851920843124, -0.02839169092476368, -0.018867529928684235, -0.009343370795249939, 0.00018079206347465515, 0.00970495492219925, 0.019229114055633545, 0.02875327505171299, 0.038277436047792435, 0.04780159890651703, 0.057325758039951324, 0.06684991717338562, 0.07637408375740051, 0.08589824289083481, 0.0954224020242691, 0.1049465611577034, 0.1144707202911377, 0.12399488687515259, 0.13351905345916748, 0.14304320514202118, 0.15256737172603607, 0.16209152340888977, 0.17161568999290466, 0.18113985657691956, 0.19066400825977325, 0.20018817484378815, 0.20971232652664185, 0.21923649311065674, 0.22876065969467163, 0.23828482627868652, 0.24780897796154022, 0.2573331296443939, 0.2668572962284088, 0.2763814628124237, 0.2859056293964386, 0.2954297661781311, 0.304953932762146, 0.3144780993461609, 0.3240022659301758]}, "gradients/decoder.transformer.h.20.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 1.0, 1.0, 1.0, 4.0, 1.0, 2.0, 7.0, 10.0, 10.0, 16.0, 37.0, 38.0, 49.0, 69.0, 81.0, 111.0, 99.0, 86.0, 78.0, 82.0, 56.0, 55.0, 32.0, 23.0, 18.0, 13.0, 2.0, 4.0, 4.0, 5.0, 5.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 2.0], "bins": [-0.035430908203125, -0.03441357612609863, -0.033396244049072266, -0.0323789119720459, -0.03136157989501953, -0.030344247817993164, -0.029326915740966797, -0.02830958366394043, -0.027292251586914062, -0.026274919509887695, -0.025257587432861328, -0.02424025535583496, -0.023222923278808594, -0.022205591201782227, -0.02118825912475586, -0.020170927047729492, -0.019153594970703125, -0.018136262893676758, -0.01711893081665039, -0.016101598739624023, -0.015084266662597656, -0.014066934585571289, -0.013049602508544922, -0.012032270431518555, -0.011014938354492188, -0.00999760627746582, -0.008980274200439453, -0.007962942123413086, -0.006945610046386719, -0.0059282779693603516, -0.004910945892333984, -0.003893613815307617, -0.00287628173828125, -0.0018589496612548828, -0.0008416175842285156, 0.00017571449279785156, 0.0011930465698242188, 0.002210378646850586, 0.003227710723876953, 0.00424504280090332, 0.0052623748779296875, 0.006279706954956055, 0.007297039031982422, 0.008314371109008789, 0.009331703186035156, 0.010349035263061523, 0.01136636734008789, 0.012383699417114258, 0.013401031494140625, 0.014418363571166992, 0.01543569564819336, 0.016453027725219727, 0.017470359802246094, 0.01848769187927246, 0.019505023956298828, 0.020522356033325195, 0.021539688110351562, 0.02255702018737793, 0.023574352264404297, 0.024591684341430664, 0.02560901641845703, 0.0266263484954834, 0.027643680572509766, 0.028661012649536133, 0.0296783447265625]}, "gradients/decoder.transformer.h.20.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 4.0, 4.0, 5.0, 10.0, 5.0, 21.0, 15.0, 25.0, 25.0, 53.0, 76.0, 112.0, 213.0, 260.0, 482.0, 754.0, 1320.0, 2835.0, 11107.0, 430842.0, 3705019.0, 31911.0, 4553.0, 1807.0, 1029.0, 615.0, 414.0, 236.0, 181.0, 115.0, 71.0, 47.0, 36.0, 25.0, 17.0, 10.0, 6.0, 7.0, 6.0, 1.0, 2.0, 4.0, 3.0, 3.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0], "bins": [-0.202392578125, -0.19647598266601562, -0.19055938720703125, -0.18464279174804688, -0.1787261962890625, -0.17280960083007812, -0.16689300537109375, -0.16097640991210938, -0.155059814453125, -0.14914321899414062, -0.14322662353515625, -0.13731002807617188, -0.1313934326171875, -0.12547683715820312, -0.11956024169921875, -0.11364364624023438, -0.10772705078125, -0.10181045532226562, -0.09589385986328125, -0.08997726440429688, -0.0840606689453125, -0.07814407348632812, -0.07222747802734375, -0.06631088256835938, -0.060394287109375, -0.054477691650390625, -0.04856109619140625, -0.042644500732421875, -0.0367279052734375, -0.030811309814453125, -0.02489471435546875, -0.018978118896484375, -0.0130615234375, -0.007144927978515625, -0.00122833251953125, 0.004688262939453125, 0.0106048583984375, 0.016521453857421875, 0.02243804931640625, 0.028354644775390625, 0.034271240234375, 0.040187835693359375, 0.04610443115234375, 0.052021026611328125, 0.0579376220703125, 0.06385421752929688, 0.06977081298828125, 0.07568740844726562, 0.08160400390625, 0.08752059936523438, 0.09343719482421875, 0.09935379028320312, 0.1052703857421875, 0.11118698120117188, 0.11710357666015625, 0.12302017211914062, 0.128936767578125, 0.13485336303710938, 0.14076995849609375, 0.14668655395507812, 0.1526031494140625, 0.15851974487304688, 0.16443634033203125, 0.17035293579101562, 0.17626953125]}, "gradients/decoder.transformer.h.20.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 6.0, 3.0, 1.0, 4.0, 7.0, 9.0, 11.0, 11.0, 11.0, 19.0, 24.0, 29.0, 44.0, 56.0, 89.0, 153.0, 228.0, 335.0, 531.0, 730.0, 611.0, 404.0, 240.0, 143.0, 86.0, 76.0, 46.0, 36.0, 34.0, 13.0, 21.0, 14.0, 11.0, 8.0, 9.0, 3.0, 3.0, 3.0, 3.0, 4.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.06787109375, -0.06549930572509766, -0.06312751770019531, -0.06075572967529297, -0.058383941650390625, -0.05601215362548828, -0.05364036560058594, -0.051268577575683594, -0.04889678955078125, -0.046525001525878906, -0.04415321350097656, -0.04178142547607422, -0.039409637451171875, -0.03703784942626953, -0.03466606140136719, -0.032294273376464844, -0.0299224853515625, -0.027550697326660156, -0.025178909301757812, -0.02280712127685547, -0.020435333251953125, -0.01806354522705078, -0.015691757202148438, -0.013319969177246094, -0.01094818115234375, -0.008576393127441406, -0.0062046051025390625, -0.0038328170776367188, -0.001461029052734375, 0.0009107589721679688, 0.0032825469970703125, 0.005654335021972656, 0.008026123046875, 0.010397911071777344, 0.012769699096679688, 0.015141487121582031, 0.017513275146484375, 0.01988506317138672, 0.022256851196289062, 0.024628639221191406, 0.02700042724609375, 0.029372215270996094, 0.03174400329589844, 0.03411579132080078, 0.036487579345703125, 0.03885936737060547, 0.04123115539550781, 0.043602943420410156, 0.0459747314453125, 0.048346519470214844, 0.05071830749511719, 0.05309009552001953, 0.055461883544921875, 0.05783367156982422, 0.06020545959472656, 0.0625772476196289, 0.06494903564453125, 0.0673208236694336, 0.06969261169433594, 0.07206439971923828, 0.07443618774414062, 0.07680797576904297, 0.07917976379394531, 0.08155155181884766, 0.08392333984375]}, "gradients/decoder.transformer.h.20.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 3.0, 5.0, 4.0, 1.0, 6.0, 10.0, 17.0, 13.0, 21.0, 29.0, 45.0, 87.0, 140.0, 237.0, 479.0, 1074.0, 2843.0, 8666.0, 40357.0, 688608.0, 3320365.0, 107650.0, 15930.0, 4537.0, 1660.0, 705.0, 340.0, 161.0, 104.0, 54.0, 37.0, 23.0, 18.0, 12.0, 13.0, 9.0, 3.0, 4.0, 4.0, 4.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.2137451171875, -0.20731163024902344, -0.20087814331054688, -0.1944446563720703, -0.18801116943359375, -0.1815776824951172, -0.17514419555664062, -0.16871070861816406, -0.1622772216796875, -0.15584373474121094, -0.14941024780273438, -0.1429767608642578, -0.13654327392578125, -0.1301097869873047, -0.12367630004882812, -0.11724281311035156, -0.110809326171875, -0.10437583923339844, -0.09794235229492188, -0.09150886535644531, -0.08507537841796875, -0.07864189147949219, -0.07220840454101562, -0.06577491760253906, -0.0593414306640625, -0.05290794372558594, -0.046474456787109375, -0.04004096984863281, -0.03360748291015625, -0.027173995971679688, -0.020740509033203125, -0.014307022094726562, -0.00787353515625, -0.0014400482177734375, 0.004993438720703125, 0.011426925659179688, 0.01786041259765625, 0.024293899536132812, 0.030727386474609375, 0.03716087341308594, 0.0435943603515625, 0.05002784729003906, 0.056461334228515625, 0.06289482116699219, 0.06932830810546875, 0.07576179504394531, 0.08219528198242188, 0.08862876892089844, 0.095062255859375, 0.10149574279785156, 0.10792922973632812, 0.11436271667480469, 0.12079620361328125, 0.1272296905517578, 0.13366317749023438, 0.14009666442871094, 0.1465301513671875, 0.15296363830566406, 0.15939712524414062, 0.1658306121826172, 0.17226409912109375, 0.1786975860595703, 0.18513107299804688, 0.19156455993652344, 0.197998046875]}, "gradients/decoder.transformer.h.20.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 5.0, 7.0, 20.0, 54.0, 150.0, 237.0, 284.0, 140.0, 76.0, 22.0, 14.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.902773380279541, -0.8762985467910767, -0.8498237133026123, -0.823348879814148, -0.7968740463256836, -0.7703992128372192, -0.7439243197441101, -0.7174494862556458, -0.6909746527671814, -0.664499819278717, -0.6380249857902527, -0.6115501523017883, -0.5850752592086792, -0.5586004257202148, -0.5321255922317505, -0.5056507587432861, -0.4791759252548218, -0.4527010917663574, -0.42622625827789307, -0.3997513949871063, -0.37327656149864197, -0.3468017280101776, -0.32032686471939087, -0.2938520312309265, -0.26737719774246216, -0.2409023642539978, -0.21442751586437225, -0.1879526674747467, -0.16147783398628235, -0.135003000497818, -0.10852815210819244, -0.0820533037185669, -0.05557847023010254, -0.029103629291057587, -0.0026287883520126343, 0.023846052587032318, 0.05032089352607727, 0.07679572701454163, 0.10327057540416718, 0.12974542379379272, 0.15622025728225708, 0.18269509077072144, 0.20916993916034698, 0.23564478754997253, 0.2621196210384369, 0.28859445452690125, 0.315069317817688, 0.34154415130615234, 0.3680189847946167, 0.39449381828308105, 0.4209686517715454, 0.44744351506233215, 0.4739183485507965, 0.5003931522369385, 0.5268680453300476, 0.553342878818512, 0.5798177123069763, 0.6062925457954407, 0.632767379283905, 0.6592422127723694, 0.6857171058654785, 0.7121919393539429, 0.7386667728424072, 0.7651416063308716, 0.7916164398193359]}, "gradients/decoder.transformer.h.20.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 4.0, 6.0, 5.0, 9.0, 13.0, 9.0, 12.0, 18.0, 21.0, 19.0, 36.0, 41.0, 44.0, 38.0, 52.0, 68.0, 54.0, 47.0, 48.0, 55.0, 50.0, 47.0, 51.0, 60.0, 39.0, 27.0, 32.0, 23.0, 22.0, 15.0, 15.0, 7.0, 8.0, 5.0, 4.0, 4.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.3686976432800293, -0.3579976558685303, -0.34729769825935364, -0.336597740650177, -0.325897753238678, -0.31519776582717896, -0.3044978082180023, -0.2937978506088257, -0.28309786319732666, -0.27239787578582764, -0.261697918176651, -0.25099796056747437, -0.24029797315597534, -0.2295980006456375, -0.21889802813529968, -0.20819805562496185, -0.19749808311462402, -0.1867981106042862, -0.17609813809394836, -0.16539816558361053, -0.1546981930732727, -0.14399822056293488, -0.13329824805259705, -0.12259827554225922, -0.11189830303192139, -0.10119833052158356, -0.09049835801124573, -0.0797983855009079, -0.06909841299057007, -0.05839844048023224, -0.04769846796989441, -0.03699849545955658, -0.02629852294921875, -0.01559855043888092, -0.004898577928543091, 0.005801394581794739, 0.01650136709213257, 0.027201339602470398, 0.03790131211280823, 0.04860128462314606, 0.05930125713348389, 0.07000122964382172, 0.08070120215415955, 0.09140117466449738, 0.1021011471748352, 0.11280111968517303, 0.12350109219551086, 0.1342010647058487, 0.14490103721618652, 0.15560100972652435, 0.16630098223686218, 0.1770009547472, 0.18770092725753784, 0.19840089976787567, 0.2091008722782135, 0.21980084478855133, 0.23050081729888916, 0.241200789809227, 0.2519007623195648, 0.26260071992874146, 0.2733007073402405, 0.2840006947517395, 0.29470065236091614, 0.3054006099700928, 0.3161005973815918]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 2.0, 7.0, 3.0, 3.0, 17.0, 9.0, 17.0, 29.0, 40.0, 40.0, 55.0, 69.0, 80.0, 75.0, 77.0, 91.0, 73.0, 68.0, 61.0, 45.0, 32.0, 34.0, 13.0, 12.0, 18.0, 7.0, 7.0, 2.0, 5.0, 3.0, 3.0, 1.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.029876708984375, -0.02899026870727539, -0.02810382843017578, -0.027217388153076172, -0.026330947875976562, -0.025444507598876953, -0.024558067321777344, -0.023671627044677734, -0.022785186767578125, -0.021898746490478516, -0.021012306213378906, -0.020125865936279297, -0.019239425659179688, -0.018352985382080078, -0.01746654510498047, -0.01658010482788086, -0.01569366455078125, -0.01480722427368164, -0.013920783996582031, -0.013034343719482422, -0.012147903442382812, -0.011261463165283203, -0.010375022888183594, -0.009488582611083984, -0.008602142333984375, -0.007715702056884766, -0.006829261779785156, -0.005942821502685547, -0.0050563812255859375, -0.004169940948486328, -0.0032835006713867188, -0.0023970603942871094, -0.0015106201171875, -0.0006241798400878906, 0.00026226043701171875, 0.0011487007141113281, 0.0020351409912109375, 0.002921581268310547, 0.0038080215454101562, 0.004694461822509766, 0.005580902099609375, 0.006467342376708984, 0.007353782653808594, 0.008240222930908203, 0.009126663208007812, 0.010013103485107422, 0.010899543762207031, 0.01178598403930664, 0.01267242431640625, 0.01355886459350586, 0.014445304870605469, 0.015331745147705078, 0.016218185424804688, 0.017104625701904297, 0.017991065979003906, 0.018877506256103516, 0.019763946533203125, 0.020650386810302734, 0.021536827087402344, 0.022423267364501953, 0.023309707641601562, 0.024196147918701172, 0.02508258819580078, 0.02596902847290039, 0.02685546875]}, "gradients/decoder.transformer.h.20.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 4.0, 1.0, 1.0, 3.0, 3.0, 5.0, 7.0, 16.0, 10.0, 16.0, 18.0, 32.0, 65.0, 70.0, 87.0, 128.0, 187.0, 288.0, 384.0, 588.0, 888.0, 1405.0, 2451.0, 4574.0, 9174.0, 20805.0, 55968.0, 207194.0, 564574.0, 112298.0, 36594.0, 14925.0, 6854.0, 3436.0, 2040.0, 1136.0, 754.0, 445.0, 330.0, 221.0, 160.0, 118.0, 92.0, 69.0, 50.0, 38.0, 13.0, 21.0, 12.0, 9.0, 3.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00020563602447509766, -0.00019884854555130005, -0.00019206106662750244, -0.00018527358770370483, -0.00017848610877990723, -0.00017169862985610962, -0.000164911150932312, -0.0001581236720085144, -0.0001513361930847168, -0.0001445487141609192, -0.00013776123523712158, -0.00013097375631332397, -0.00012418627738952637, -0.00011739879846572876, -0.00011061131954193115, -0.00010382384061813354, -9.703636169433594e-05, -9.024888277053833e-05, -8.346140384674072e-05, -7.667392492294312e-05, -6.988644599914551e-05, -6.30989670753479e-05, -5.631148815155029e-05, -4.9524009227752686e-05, -4.273653030395508e-05, -3.594905138015747e-05, -2.9161572456359863e-05, -2.2374093532562256e-05, -1.558661460876465e-05, -8.799135684967041e-06, -2.0116567611694336e-06, 4.775822162628174e-06, 1.1563301086425781e-05, 1.835078001022339e-05, 2.5138258934020996e-05, 3.1925737857818604e-05, 3.871321678161621e-05, 4.550069570541382e-05, 5.2288174629211426e-05, 5.907565355300903e-05, 6.586313247680664e-05, 7.265061140060425e-05, 7.943809032440186e-05, 8.622556924819946e-05, 9.301304817199707e-05, 9.980052709579468e-05, 0.00010658800601959229, 0.00011337548494338989, 0.0001201629638671875, 0.0001269504427909851, 0.00013373792171478271, 0.00014052540063858032, 0.00014731287956237793, 0.00015410035848617554, 0.00016088783740997314, 0.00016767531633377075, 0.00017446279525756836, 0.00018125027418136597, 0.00018803775310516357, 0.00019482523202896118, 0.0002016127109527588, 0.0002084001898765564, 0.000215187668800354, 0.0002219751477241516, 0.00022876262664794922]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 4.0, 10.0, 5.0, 11.0, 10.0, 22.0, 15.0, 7.0, 29.0, 19.0, 24.0, 21.0, 20.0, 27.0, 21.0, 32.0, 23.0, 26.0, 34.0, 23.0, 20.0, 29.0, 29.0, 21.0, 1042.0, 23.0, 28.0, 25.0, 32.0, 32.0, 27.0, 33.0, 26.0, 21.0, 29.0, 22.0, 27.0, 29.0, 36.0, 21.0, 19.0, 25.0, 12.0, 9.0, 14.0, 4.0, 7.0, 3.0, 4.0, 2.0, 1.0, 3.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0281219482421875, -0.027252674102783203, -0.026383399963378906, -0.02551412582397461, -0.024644851684570312, -0.023775577545166016, -0.02290630340576172, -0.022037029266357422, -0.021167755126953125, -0.020298480987548828, -0.01942920684814453, -0.018559932708740234, -0.017690658569335938, -0.01682138442993164, -0.015952110290527344, -0.015082836151123047, -0.01421356201171875, -0.013344287872314453, -0.012475013732910156, -0.01160573959350586, -0.010736465454101562, -0.009867191314697266, -0.008997917175292969, -0.008128643035888672, -0.007259368896484375, -0.006390094757080078, -0.005520820617675781, -0.004651546478271484, -0.0037822723388671875, -0.0029129981994628906, -0.0020437240600585938, -0.0011744499206542969, -0.00030517578125, 0.0005640983581542969, 0.0014333724975585938, 0.0023026466369628906, 0.0031719207763671875, 0.004041194915771484, 0.004910469055175781, 0.005779743194580078, 0.006649017333984375, 0.007518291473388672, 0.008387565612792969, 0.009256839752197266, 0.010126113891601562, 0.01099538803100586, 0.011864662170410156, 0.012733936309814453, 0.01360321044921875, 0.014472484588623047, 0.015341758728027344, 0.01621103286743164, 0.017080307006835938, 0.017949581146240234, 0.01881885528564453, 0.019688129425048828, 0.020557403564453125, 0.021426677703857422, 0.02229595184326172, 0.023165225982666016, 0.024034500122070312, 0.02490377426147461, 0.025773048400878906, 0.026642322540283203, 0.0275115966796875]}, "gradients/decoder.transformer.h.20.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 3.0, 4.0, 4.0, 5.0, 8.0, 11.0, 12.0, 16.0, 26.0, 19.0, 19.0, 38.0, 25.0, 26.0, 25.0, 29.0, 20.0, 29.0, 31.0, 38.0, 65.0, 237.0, 586.0, 2886.0, 18017.0, 2063749.0, 8728.0, 1516.0, 405.0, 155.0, 53.0, 34.0, 26.0, 26.0, 24.0, 24.0, 33.0, 14.0, 23.0, 23.0, 24.0, 18.0, 12.0, 19.0, 17.0, 11.0, 7.0, 6.0, 10.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.9325485229492188e-05, -2.838950604200363e-05, -2.7453526854515076e-05, -2.651754766702652e-05, -2.5581568479537964e-05, -2.4645589292049408e-05, -2.3709610104560852e-05, -2.2773630917072296e-05, -2.183765172958374e-05, -2.0901672542095184e-05, -1.996569335460663e-05, -1.9029714167118073e-05, -1.8093734979629517e-05, -1.715775579214096e-05, -1.6221776604652405e-05, -1.528579741716385e-05, -1.4349818229675293e-05, -1.3413839042186737e-05, -1.2477859854698181e-05, -1.1541880667209625e-05, -1.060590147972107e-05, -9.669922292232513e-06, -8.733943104743958e-06, -7.797963917255402e-06, -6.861984729766846e-06, -5.92600554227829e-06, -4.990026354789734e-06, -4.054047167301178e-06, -3.118067979812622e-06, -2.182088792324066e-06, -1.2461096048355103e-06, -3.1013041734695435e-07, 6.258487701416016e-07, 1.5618279576301575e-06, 2.4978071451187134e-06, 3.4337863326072693e-06, 4.369765520095825e-06, 5.305744707584381e-06, 6.241723895072937e-06, 7.177703082561493e-06, 8.113682270050049e-06, 9.049661457538605e-06, 9.98564064502716e-06, 1.0921619832515717e-05, 1.1857599020004272e-05, 1.2793578207492828e-05, 1.3729557394981384e-05, 1.466553658246994e-05, 1.5601515769958496e-05, 1.6537494957447052e-05, 1.7473474144935608e-05, 1.8409453332424164e-05, 1.934543251991272e-05, 2.0281411707401276e-05, 2.121739089488983e-05, 2.2153370082378387e-05, 2.3089349269866943e-05, 2.40253284573555e-05, 2.4961307644844055e-05, 2.589728683233261e-05, 2.6833266019821167e-05, 2.7769245207309723e-05, 2.870522439479828e-05, 2.9641203582286835e-05, 3.057718276977539e-05]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.20.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 2.0, 7.0, 3.0, 3.0, 17.0, 9.0, 17.0, 29.0, 40.0, 40.0, 55.0, 69.0, 80.0, 75.0, 77.0, 91.0, 73.0, 68.0, 61.0, 45.0, 32.0, 34.0, 13.0, 12.0, 18.0, 7.0, 7.0, 2.0, 5.0, 3.0, 3.0, 1.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.029876708984375, -0.02899026870727539, -0.02810382843017578, -0.027217388153076172, -0.026330947875976562, -0.025444507598876953, -0.024558067321777344, -0.023671627044677734, -0.022785186767578125, -0.021898746490478516, -0.021012306213378906, -0.020125865936279297, -0.019239425659179688, -0.018352985382080078, -0.01746654510498047, -0.01658010482788086, -0.01569366455078125, -0.01480722427368164, -0.013920783996582031, -0.013034343719482422, -0.012147903442382812, -0.011261463165283203, -0.010375022888183594, -0.009488582611083984, -0.008602142333984375, -0.007715702056884766, -0.006829261779785156, -0.005942821502685547, -0.0050563812255859375, -0.004169940948486328, -0.0032835006713867188, -0.0023970603942871094, -0.0015106201171875, -0.0006241798400878906, 0.00026226043701171875, 0.0011487007141113281, 0.0020351409912109375, 0.002921581268310547, 0.0038080215454101562, 0.004694461822509766, 0.005580902099609375, 0.006467342376708984, 0.007353782653808594, 0.008240222930908203, 0.009126663208007812, 0.010013103485107422, 0.010899543762207031, 0.01178598403930664, 0.01267242431640625, 0.01355886459350586, 0.014445304870605469, 0.015331745147705078, 0.016218185424804688, 0.017104625701904297, 0.017991065979003906, 0.018877506256103516, 0.019763946533203125, 0.020650386810302734, 0.021536827087402344, 0.022423267364501953, 0.023309707641601562, 0.024196147918701172, 0.02508258819580078, 0.02596902847290039, 0.02685546875]}, "gradients/decoder.transformer.h.20.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 5.0, 0.0, 5.0, 2.0, 8.0, 10.0, 6.0, 21.0, 27.0, 39.0, 62.0, 79.0, 105.0, 160.0, 258.0, 364.0, 569.0, 1118.0, 3141.0, 15562.0, 270986.0, 723019.0, 25504.0, 4235.0, 1393.0, 674.0, 402.0, 238.0, 186.0, 132.0, 71.0, 52.0, 43.0, 29.0, 21.0, 11.0, 9.0, 4.0, 4.0, 8.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09027099609375, -0.08736991882324219, -0.08446884155273438, -0.08156776428222656, -0.07866668701171875, -0.07576560974121094, -0.07286453247070312, -0.06996345520019531, -0.0670623779296875, -0.06416130065917969, -0.061260223388671875, -0.05835914611816406, -0.05545806884765625, -0.05255699157714844, -0.049655914306640625, -0.04675483703613281, -0.043853759765625, -0.04095268249511719, -0.038051605224609375, -0.03515052795410156, -0.03224945068359375, -0.029348373413085938, -0.026447296142578125, -0.023546218872070312, -0.0206451416015625, -0.017744064331054688, -0.014842987060546875, -0.011941909790039062, -0.00904083251953125, -0.0061397552490234375, -0.003238677978515625, -0.0003376007080078125, 0.0025634765625, 0.0054645538330078125, 0.008365631103515625, 0.011266708374023438, 0.01416778564453125, 0.017068862915039062, 0.019969940185546875, 0.022871017456054688, 0.0257720947265625, 0.028673171997070312, 0.031574249267578125, 0.03447532653808594, 0.03737640380859375, 0.04027748107910156, 0.043178558349609375, 0.04607963562011719, 0.048980712890625, 0.05188179016113281, 0.054782867431640625, 0.05768394470214844, 0.06058502197265625, 0.06348609924316406, 0.06638717651367188, 0.06928825378417969, 0.0721893310546875, 0.07509040832519531, 0.07799148559570312, 0.08089256286621094, 0.08379364013671875, 0.08669471740722656, 0.08959579467773438, 0.09249687194824219, 0.09539794921875]}, "gradients/decoder.transformer.h.20.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 5.0, 9.0, 3.0, 10.0, 3.0, 11.0, 9.0, 10.0, 19.0, 17.0, 16.0, 14.0, 20.0, 31.0, 31.0, 29.0, 26.0, 44.0, 44.0, 59.0, 71.0, 118.0, 388.0, 1466.0, 115.0, 68.0, 62.0, 37.0, 29.0, 37.0, 33.0, 24.0, 27.0, 27.0, 22.0, 19.0, 23.0, 14.0, 22.0, 7.0, 7.0, 11.0, 4.0, 5.0, 3.0, 3.0, 3.0, 1.0, 2.0, 4.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.06622314453125, -0.06415557861328125, -0.0620880126953125, -0.06002044677734375, -0.057952880859375, -0.05588531494140625, -0.0538177490234375, -0.05175018310546875, -0.0496826171875, -0.04761505126953125, -0.0455474853515625, -0.04347991943359375, -0.041412353515625, -0.03934478759765625, -0.0372772216796875, -0.03520965576171875, -0.03314208984375, -0.03107452392578125, -0.0290069580078125, -0.02693939208984375, -0.024871826171875, -0.02280426025390625, -0.0207366943359375, -0.01866912841796875, -0.0166015625, -0.01453399658203125, -0.0124664306640625, -0.01039886474609375, -0.008331298828125, -0.00626373291015625, -0.0041961669921875, -0.00212860107421875, -6.103515625e-05, 0.00200653076171875, 0.0040740966796875, 0.00614166259765625, 0.008209228515625, 0.01027679443359375, 0.0123443603515625, 0.01441192626953125, 0.0164794921875, 0.01854705810546875, 0.0206146240234375, 0.02268218994140625, 0.024749755859375, 0.02681732177734375, 0.0288848876953125, 0.03095245361328125, 0.03302001953125, 0.03508758544921875, 0.0371551513671875, 0.03922271728515625, 0.041290283203125, 0.04335784912109375, 0.0454254150390625, 0.04749298095703125, 0.049560546875, 0.05162811279296875, 0.0536956787109375, 0.05576324462890625, 0.057830810546875, 0.05989837646484375, 0.0619659423828125, 0.06403350830078125, 0.06610107421875]}, "gradients/decoder.transformer.h.20.attn.c_attn.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 2.0, 2.0, 1.0, 2.0, 3.0, 1.0, 6.0, 3.0, 8.0, 11.0, 15.0, 10.0, 19.0, 17.0, 27.0, 34.0, 54.0, 62.0, 87.0, 137.0, 256.0, 480.0, 899.0, 2217.0, 5760.0, 19301.0, 101941.0, 2704723.0, 263998.0, 31558.0, 8606.0, 2854.0, 1236.0, 550.0, 291.0, 159.0, 95.0, 68.0, 50.0, 32.0, 30.0, 13.0, 17.0, 14.0, 12.0, 12.0, 5.0, 5.0, 8.0, 3.0, 5.0, 7.0, 5.0, 3.0, 0.0, 2.0, 3.0], "bins": [-0.096923828125, -0.09412860870361328, -0.09133338928222656, -0.08853816986083984, -0.08574295043945312, -0.0829477310180664, -0.08015251159667969, -0.07735729217529297, -0.07456207275390625, -0.07176685333251953, -0.06897163391113281, -0.0661764144897461, -0.06338119506835938, -0.060585975646972656, -0.05779075622558594, -0.05499553680419922, -0.0522003173828125, -0.04940509796142578, -0.04660987854003906, -0.043814659118652344, -0.041019439697265625, -0.038224220275878906, -0.03542900085449219, -0.03263378143310547, -0.02983856201171875, -0.02704334259033203, -0.024248123168945312, -0.021452903747558594, -0.018657684326171875, -0.015862464904785156, -0.013067245483398438, -0.010272026062011719, -0.007476806640625, -0.004681587219238281, -0.0018863677978515625, 0.0009088516235351562, 0.003704071044921875, 0.006499290466308594, 0.009294509887695312, 0.012089729309082031, 0.01488494873046875, 0.01768016815185547, 0.020475387573242188, 0.023270606994628906, 0.026065826416015625, 0.028861045837402344, 0.03165626525878906, 0.03445148468017578, 0.0372467041015625, 0.04004192352294922, 0.04283714294433594, 0.045632362365722656, 0.048427581787109375, 0.051222801208496094, 0.05401802062988281, 0.05681324005126953, 0.05960845947265625, 0.06240367889404297, 0.06519889831542969, 0.0679941177368164, 0.07078933715820312, 0.07358455657958984, 0.07637977600097656, 0.07917499542236328, 0.08197021484375]}, "gradients/decoder.transformer.h.20.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 31.0, 883.0, 102.0], "bins": [-3.94873046875, -3.8856749534606934, -3.8226191997528076, -3.759563684463501, -3.6965079307556152, -3.6334524154663086, -3.570396661758423, -3.507341146469116, -3.4442853927612305, -3.381229877471924, -3.318174123764038, -3.2551186084747314, -3.1920628547668457, -3.129007339477539, -3.0659515857696533, -3.0028960704803467, -2.939840316772461, -2.8767848014831543, -2.8137290477752686, -2.750673532485962, -2.687617778778076, -2.6245622634887695, -2.561506509780884, -2.498450994491577, -2.4353954792022705, -2.372339963912964, -2.309284210205078, -2.2462286949157715, -2.1831729412078857, -2.120117425918579, -2.0570616722106934, -1.9940061569213867, -1.9309502840042114, -1.8678946495056152, -1.804839015007019, -1.7417833805084229, -1.6787277460098267, -1.6156721115112305, -1.5526165962219238, -1.489560842514038, -1.426505208015442, -1.3634495735168457, -1.3003939390182495, -1.2373383045196533, -1.1742826700210571, -1.111227035522461, -1.0481715202331543, -0.9851158261299133, -0.9220602512359619, -0.8590046167373657, -0.7959489822387695, -0.7328933477401733, -0.6698377132415771, -0.606782078742981, -0.5437265038490295, -0.48067086935043335, -0.41761523485183716, -0.35455960035324097, -0.2915039658546448, -0.22844836115837097, -0.16539272665977478, -0.10233709216117859, -0.039281487464904785, 0.023774147033691406, 0.0868297889828682]}, "gradients/decoder.transformer.h.20.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 4.0, 1.0, 0.0, 4.0, 2.0, 7.0, 6.0, 8.0, 8.0, 11.0, 18.0, 10.0, 20.0, 22.0, 22.0, 22.0, 30.0, 26.0, 31.0, 31.0, 39.0, 26.0, 45.0, 43.0, 39.0, 42.0, 33.0, 37.0, 47.0, 41.0, 36.0, 18.0, 23.0, 32.0, 33.0, 38.0, 20.0, 16.0, 21.0, 17.0, 16.0, 16.0, 11.0, 12.0, 11.0, 5.0, 3.0, 3.0, 4.0, 5.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.2946447730064392, -0.2864413261413574, -0.27823787927627563, -0.27003443241119385, -0.26183098554611206, -0.2536275386810303, -0.2454240769147873, -0.2372206300497055, -0.22901718318462372, -0.22081373631954193, -0.21261028945446014, -0.20440684258937836, -0.19620338082313538, -0.1879999339580536, -0.1797964870929718, -0.17159304022789001, -0.16338959336280823, -0.15518614649772644, -0.14698269963264465, -0.13877925276756287, -0.13057580590248108, -0.1223723515868187, -0.11416889727115631, -0.10596545040607452, -0.09776200354099274, -0.08955855667591095, -0.08135510981082916, -0.07315165549516678, -0.06494820863008499, -0.056744761765003204, -0.04854131117463112, -0.04033786058425903, -0.032134413719177246, -0.02393096499145031, -0.015727516263723373, -0.007524067535996437, 0.0006793811917304993, 0.008882828056812286, 0.017086278647184372, 0.025289729237556458, 0.033493176102638245, 0.04169662296772003, 0.04990007355809212, 0.0581035241484642, 0.06630697101354599, 0.07451041787862778, 0.08271387219429016, 0.09091731905937195, 0.09912076592445374, 0.10732421278953552, 0.11552765965461731, 0.1237311139702797, 0.13193455338478088, 0.14013800024986267, 0.14834146201610565, 0.15654490888118744, 0.16474835574626923, 0.172951802611351, 0.1811552494764328, 0.1893586963415146, 0.19756215810775757, 0.20576560497283936, 0.21396905183792114, 0.22217249870300293, 0.23037594556808472]}, "gradients/decoder.transformer.h.19.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 1.0, 4.0, 9.0, 11.0, 9.0, 11.0, 26.0, 39.0, 33.0, 42.0, 49.0, 80.0, 68.0, 76.0, 79.0, 83.0, 64.0, 61.0, 59.0, 54.0, 28.0, 33.0, 18.0, 10.0, 16.0, 10.0, 6.0, 6.0, 3.0, 3.0, 4.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0291748046875, -0.0283052921295166, -0.027435779571533203, -0.026566267013549805, -0.025696754455566406, -0.024827241897583008, -0.02395772933959961, -0.02308821678161621, -0.022218704223632812, -0.021349191665649414, -0.020479679107666016, -0.019610166549682617, -0.01874065399169922, -0.01787114143371582, -0.017001628875732422, -0.016132116317749023, -0.015262603759765625, -0.014393091201782227, -0.013523578643798828, -0.01265406608581543, -0.011784553527832031, -0.010915040969848633, -0.010045528411865234, -0.009176015853881836, -0.008306503295898438, -0.007436990737915039, -0.006567478179931641, -0.005697965621948242, -0.004828453063964844, -0.003958940505981445, -0.003089427947998047, -0.0022199153900146484, -0.00135040283203125, -0.00048089027404785156, 0.0003886222839355469, 0.0012581348419189453, 0.0021276473999023438, 0.002997159957885742, 0.0038666725158691406, 0.004736185073852539, 0.0056056976318359375, 0.006475210189819336, 0.007344722747802734, 0.008214235305786133, 0.009083747863769531, 0.00995326042175293, 0.010822772979736328, 0.011692285537719727, 0.012561798095703125, 0.013431310653686523, 0.014300823211669922, 0.01517033576965332, 0.01603984832763672, 0.016909360885620117, 0.017778873443603516, 0.018648386001586914, 0.019517898559570312, 0.02038741111755371, 0.02125692367553711, 0.022126436233520508, 0.022995948791503906, 0.023865461349487305, 0.024734973907470703, 0.0256044864654541, 0.0264739990234375]}, "gradients/decoder.transformer.h.19.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 2.0, 4.0, 0.0, 3.0, 2.0, 5.0, 5.0, 14.0, 18.0, 33.0, 31.0, 93.0, 188.0, 354.0, 740.0, 1891.0, 9492.0, 1825706.0, 2341674.0, 10105.0, 2114.0, 879.0, 444.0, 214.0, 111.0, 66.0, 32.0, 25.0, 12.0, 6.0, 4.0, 4.0, 6.0, 2.0, 1.0, 4.0, 2.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.2423095703125, -0.2349700927734375, -0.227630615234375, -0.2202911376953125, -0.21295166015625, -0.2056121826171875, -0.198272705078125, -0.1909332275390625, -0.18359375, -0.1762542724609375, -0.168914794921875, -0.1615753173828125, -0.15423583984375, -0.1468963623046875, -0.139556884765625, -0.1322174072265625, -0.1248779296875, -0.1175384521484375, -0.110198974609375, -0.1028594970703125, -0.09552001953125, -0.0881805419921875, -0.080841064453125, -0.0735015869140625, -0.066162109375, -0.0588226318359375, -0.051483154296875, -0.0441436767578125, -0.03680419921875, -0.0294647216796875, -0.022125244140625, -0.0147857666015625, -0.0074462890625, -0.0001068115234375, 0.007232666015625, 0.0145721435546875, 0.02191162109375, 0.0292510986328125, 0.036590576171875, 0.0439300537109375, 0.05126953125, 0.0586090087890625, 0.065948486328125, 0.0732879638671875, 0.08062744140625, 0.0879669189453125, 0.095306396484375, 0.1026458740234375, 0.1099853515625, 0.1173248291015625, 0.124664306640625, 0.1320037841796875, 0.13934326171875, 0.1466827392578125, 0.154022216796875, 0.1613616943359375, 0.168701171875, 0.1760406494140625, 0.183380126953125, 0.1907196044921875, 0.19805908203125, 0.2053985595703125, 0.212738037109375, 0.2200775146484375, 0.2274169921875]}, "gradients/decoder.transformer.h.19.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 3.0, 8.0, 5.0, 14.0, 14.0, 13.0, 22.0, 25.0, 47.0, 51.0, 95.0, 124.0, 212.0, 331.0, 521.0, 755.0, 645.0, 430.0, 258.0, 175.0, 105.0, 53.0, 51.0, 28.0, 26.0, 18.0, 16.0, 7.0, 5.0, 4.0, 2.0, 4.0, 5.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.084716796875, -0.08212947845458984, -0.07954216003417969, -0.07695484161376953, -0.07436752319335938, -0.07178020477294922, -0.06919288635253906, -0.0666055679321289, -0.06401824951171875, -0.061430931091308594, -0.05884361267089844, -0.05625629425048828, -0.053668975830078125, -0.05108165740966797, -0.04849433898925781, -0.045907020568847656, -0.0433197021484375, -0.040732383728027344, -0.03814506530761719, -0.03555774688720703, -0.032970428466796875, -0.03038311004638672, -0.027795791625976562, -0.025208473205566406, -0.02262115478515625, -0.020033836364746094, -0.017446517944335938, -0.014859199523925781, -0.012271881103515625, -0.009684562683105469, -0.0070972442626953125, -0.004509925842285156, -0.001922607421875, 0.0006647109985351562, 0.0032520294189453125, 0.005839347839355469, 0.008426666259765625, 0.011013984680175781, 0.013601303100585938, 0.016188621520996094, 0.01877593994140625, 0.021363258361816406, 0.023950576782226562, 0.02653789520263672, 0.029125213623046875, 0.03171253204345703, 0.03429985046386719, 0.036887168884277344, 0.0394744873046875, 0.042061805725097656, 0.04464912414550781, 0.04723644256591797, 0.049823760986328125, 0.05241107940673828, 0.05499839782714844, 0.057585716247558594, 0.06017303466796875, 0.0627603530883789, 0.06534767150878906, 0.06793498992919922, 0.07052230834960938, 0.07310962677001953, 0.07569694519042969, 0.07828426361083984, 0.08087158203125]}, "gradients/decoder.transformer.h.19.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 4.0, 7.0, 10.0, 5.0, 21.0, 16.0, 55.0, 83.0, 155.0, 276.0, 527.0, 1097.0, 2624.0, 6831.0, 22602.0, 123298.0, 2050765.0, 1838988.0, 114075.0, 21533.0, 6549.0, 2567.0, 1090.0, 534.0, 236.0, 124.0, 69.0, 62.0, 35.0, 15.0, 8.0, 6.0, 4.0, 6.0, 3.0, 2.0, 2.0, 1.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.130126953125, -0.12563705444335938, -0.12114715576171875, -0.11665725708007812, -0.1121673583984375, -0.10767745971679688, -0.10318756103515625, -0.09869766235351562, -0.094207763671875, -0.08971786499023438, -0.08522796630859375, -0.08073806762695312, -0.0762481689453125, -0.07175827026367188, -0.06726837158203125, -0.06277847290039062, -0.05828857421875, -0.053798675537109375, -0.04930877685546875, -0.044818878173828125, -0.0403289794921875, -0.035839080810546875, -0.03134918212890625, -0.026859283447265625, -0.022369384765625, -0.017879486083984375, -0.01338958740234375, -0.008899688720703125, -0.0044097900390625, 8.0108642578125e-05, 0.00457000732421875, 0.009059906005859375, 0.0135498046875, 0.018039703369140625, 0.02252960205078125, 0.027019500732421875, 0.0315093994140625, 0.035999298095703125, 0.04048919677734375, 0.044979095458984375, 0.049468994140625, 0.053958892822265625, 0.05844879150390625, 0.06293869018554688, 0.0674285888671875, 0.07191848754882812, 0.07640838623046875, 0.08089828491210938, 0.08538818359375, 0.08987808227539062, 0.09436798095703125, 0.09885787963867188, 0.1033477783203125, 0.10783767700195312, 0.11232757568359375, 0.11681747436523438, 0.121307373046875, 0.12579727172851562, 0.13028717041015625, 0.13477706909179688, 0.1392669677734375, 0.14375686645507812, 0.14824676513671875, 0.15273666381835938, 0.1572265625]}, "gradients/decoder.transformer.h.19.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 0.0, 4.0, 3.0, 9.0, 6.0, 17.0, 20.0, 42.0, 66.0, 76.0, 131.0, 131.0, 152.0, 108.0, 101.0, 50.0, 41.0, 17.0, 16.0, 5.0, 4.0, 2.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.5751733779907227, -0.5603972673416138, -0.5456212162971497, -0.5308451056480408, -0.5160689949989319, -0.5012929439544678, -0.4865168333053589, -0.47174072265625, -0.4569646418094635, -0.442188560962677, -0.4274124503135681, -0.4126363694667816, -0.3978602886199951, -0.38308417797088623, -0.36830809712409973, -0.35353201627731323, -0.33875590562820435, -0.32397982478141785, -0.30920371413230896, -0.29442763328552246, -0.2796515226364136, -0.2648754417896271, -0.2500993609428406, -0.23532326519489288, -0.2205471694469452, -0.2057710736989975, -0.1909949779510498, -0.1762188971042633, -0.1614428013563156, -0.14666670560836792, -0.13189062476158142, -0.11711452901363373, -0.10233846306800842, -0.08756236732006073, -0.07278627902269363, -0.05801018700003624, -0.043234094977378845, -0.028457999229431152, -0.013681910932064056, 0.0010941773653030396, 0.015870273113250732, 0.030646365135908127, 0.04542245715856552, 0.060198549181222916, 0.07497464120388031, 0.089750736951828, 0.1045268252491951, 0.1193029135465622, 0.1340790092945099, 0.14885510504245758, 0.16363120079040527, 0.17840728163719177, 0.19318337738513947, 0.20795947313308716, 0.22273555397987366, 0.23751164972782135, 0.25228774547576904, 0.26706382632255554, 0.28183993697166443, 0.2966160178184509, 0.3113921284675598, 0.3261682093143463, 0.3409442901611328, 0.3557204008102417, 0.3704964816570282]}, "gradients/decoder.transformer.h.19.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 3.0, 2.0, 2.0, 2.0, 4.0, 5.0, 5.0, 14.0, 13.0, 25.0, 21.0, 17.0, 21.0, 29.0, 29.0, 30.0, 36.0, 32.0, 38.0, 35.0, 40.0, 44.0, 52.0, 45.0, 54.0, 47.0, 49.0, 51.0, 40.0, 37.0, 27.0, 28.0, 24.0, 16.0, 16.0, 21.0, 10.0, 14.0, 6.0, 8.0, 3.0, 5.0, 6.0, 3.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.258716344833374, -0.24984242022037506, -0.2409684956073761, -0.23209457099437714, -0.22322064638137817, -0.2143467217683792, -0.20547279715538025, -0.19659888744354248, -0.18772494792938232, -0.17885102331638336, -0.1699770987033844, -0.16110317409038544, -0.15222924947738647, -0.1433553248643875, -0.13448140025138855, -0.12560749053955078, -0.11673356592655182, -0.10785964131355286, -0.0989857167005539, -0.09011179208755493, -0.08123786747455597, -0.072363942861557, -0.06349002569913864, -0.05461610108613968, -0.04574217647314072, -0.036868251860141754, -0.02799432910978794, -0.019120406359434128, -0.010246481746435165, -0.001372557133436203, 0.007501363754272461, 0.016375288367271423, 0.025249212980270386, 0.03412313759326935, 0.04299706220626831, 0.051870983093976974, 0.06074490770697594, 0.0696188360452652, 0.07849275320768356, 0.08736667782068253, 0.09624060243368149, 0.10511452704668045, 0.11398845165967941, 0.12286236882209778, 0.13173629343509674, 0.1406102180480957, 0.14948414266109467, 0.15835806727409363, 0.1672319918870926, 0.17610591650009155, 0.18497984111309052, 0.19385376572608948, 0.20272769033908844, 0.2116016149520874, 0.22047552466392517, 0.22934946417808533, 0.2382233738899231, 0.24709729850292206, 0.255971223115921, 0.2648451328277588, 0.27371907234191895, 0.2825929820537567, 0.29146692156791687, 0.30034083127975464, 0.3092147707939148]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 3.0, 2.0, 3.0, 6.0, 6.0, 7.0, 10.0, 12.0, 12.0, 29.0, 25.0, 32.0, 39.0, 58.0, 52.0, 60.0, 56.0, 62.0, 68.0, 63.0, 55.0, 59.0, 48.0, 47.0, 36.0, 41.0, 29.0, 15.0, 15.0, 10.0, 14.0, 8.0, 10.0, 1.0, 5.0, 1.0, 4.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.023834228515625, -0.023079633712768555, -0.02232503890991211, -0.021570444107055664, -0.02081584930419922, -0.020061254501342773, -0.019306659698486328, -0.018552064895629883, -0.017797470092773438, -0.017042875289916992, -0.016288280487060547, -0.015533685684204102, -0.014779090881347656, -0.014024496078491211, -0.013269901275634766, -0.01251530647277832, -0.011760711669921875, -0.01100611686706543, -0.010251522064208984, -0.009496927261352539, -0.008742332458496094, -0.007987737655639648, -0.007233142852783203, -0.006478548049926758, -0.0057239532470703125, -0.004969358444213867, -0.004214763641357422, -0.0034601688385009766, -0.0027055740356445312, -0.001950979232788086, -0.0011963844299316406, -0.0004417896270751953, 0.00031280517578125, 0.0010673999786376953, 0.0018219947814941406, 0.002576589584350586, 0.0033311843872070312, 0.0040857791900634766, 0.004840373992919922, 0.005594968795776367, 0.0063495635986328125, 0.007104158401489258, 0.007858753204345703, 0.008613348007202148, 0.009367942810058594, 0.010122537612915039, 0.010877132415771484, 0.01163172721862793, 0.012386322021484375, 0.01314091682434082, 0.013895511627197266, 0.014650106430053711, 0.015404701232910156, 0.0161592960357666, 0.016913890838623047, 0.017668485641479492, 0.018423080444335938, 0.019177675247192383, 0.019932270050048828, 0.020686864852905273, 0.02144145965576172, 0.022196054458618164, 0.02295064926147461, 0.023705244064331055, 0.0244598388671875]}, "gradients/decoder.transformer.h.19.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 5.0, 3.0, 4.0, 6.0, 5.0, 3.0, 12.0, 14.0, 26.0, 27.0, 33.0, 45.0, 59.0, 85.0, 132.0, 148.0, 256.0, 333.0, 502.0, 709.0, 1102.0, 1751.0, 2851.0, 4705.0, 8306.0, 15682.0, 31050.0, 68883.0, 179546.0, 460915.0, 150889.0, 59597.0, 27461.0, 13990.0, 7585.0, 4247.0, 2567.0, 1669.0, 1074.0, 676.0, 452.0, 337.0, 228.0, 163.0, 115.0, 86.0, 63.0, 41.0, 33.0, 29.0, 25.0, 13.0, 4.0, 7.0, 4.0, 3.0, 7.0, 5.0, 2.0, 0.0, 2.0], "bins": [-0.00019943714141845703, -0.00019328482449054718, -0.00018713250756263733, -0.00018098019063472748, -0.00017482787370681763, -0.00016867555677890778, -0.00016252323985099792, -0.00015637092292308807, -0.00015021860599517822, -0.00014406628906726837, -0.00013791397213935852, -0.00013176165521144867, -0.00012560933828353882, -0.00011945702135562897, -0.00011330470442771912, -0.00010715238749980927, -0.00010100007057189941, -9.484775364398956e-05, -8.869543671607971e-05, -8.254311978816986e-05, -7.639080286026001e-05, -7.023848593235016e-05, -6.408616900444031e-05, -5.7933852076530457e-05, -5.1781535148620605e-05, -4.5629218220710754e-05, -3.94769012928009e-05, -3.332458436489105e-05, -2.71722674369812e-05, -2.101995050907135e-05, -1.4867633581161499e-05, -8.715316653251648e-06, -2.562999725341797e-06, 3.589317202568054e-06, 9.741634130477905e-06, 1.5893951058387756e-05, 2.2046267986297607e-05, 2.819858491420746e-05, 3.435090184211731e-05, 4.050321877002716e-05, 4.665553569793701e-05, 5.280785262584686e-05, 5.8960169553756714e-05, 6.511248648166656e-05, 7.126480340957642e-05, 7.741712033748627e-05, 8.356943726539612e-05, 8.972175419330597e-05, 9.587407112121582e-05, 0.00010202638804912567, 0.00010817870497703552, 0.00011433102190494537, 0.00012048333883285522, 0.00012663565576076508, 0.00013278797268867493, 0.00013894028961658478, 0.00014509260654449463, 0.00015124492347240448, 0.00015739724040031433, 0.00016354955732822418, 0.00016970187425613403, 0.00017585419118404388, 0.00018200650811195374, 0.00018815882503986359, 0.00019431114196777344]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 3.0, 3.0, 1.0, 6.0, 7.0, 8.0, 12.0, 17.0, 16.0, 7.0, 21.0, 24.0, 17.0, 27.0, 21.0, 32.0, 29.0, 26.0, 34.0, 21.0, 28.0, 21.0, 31.0, 25.0, 28.0, 1052.0, 21.0, 28.0, 21.0, 24.0, 29.0, 32.0, 31.0, 25.0, 28.0, 30.0, 35.0, 25.0, 34.0, 24.0, 18.0, 24.0, 23.0, 16.0, 4.0, 8.0, 10.0, 8.0, 5.0, 7.0, 5.0, 4.0, 3.0, 1.0, 0.0, 1.0], "bins": [-0.0265655517578125, -0.025783300399780273, -0.025001049041748047, -0.02421879768371582, -0.023436546325683594, -0.022654294967651367, -0.02187204360961914, -0.021089792251586914, -0.020307540893554688, -0.01952528953552246, -0.018743038177490234, -0.017960786819458008, -0.01717853546142578, -0.016396284103393555, -0.015614032745361328, -0.014831781387329102, -0.014049530029296875, -0.013267278671264648, -0.012485027313232422, -0.011702775955200195, -0.010920524597167969, -0.010138273239135742, -0.009356021881103516, -0.008573770523071289, -0.0077915191650390625, -0.007009267807006836, -0.006227016448974609, -0.005444765090942383, -0.004662513732910156, -0.0038802623748779297, -0.003098011016845703, -0.0023157596588134766, -0.00153350830078125, -0.0007512569427490234, 3.0994415283203125e-05, 0.0008132457733154297, 0.0015954971313476562, 0.002377748489379883, 0.0031599998474121094, 0.003942251205444336, 0.0047245025634765625, 0.005506753921508789, 0.006289005279541016, 0.007071256637573242, 0.007853507995605469, 0.008635759353637695, 0.009418010711669922, 0.010200262069702148, 0.010982513427734375, 0.011764764785766602, 0.012547016143798828, 0.013329267501831055, 0.014111518859863281, 0.014893770217895508, 0.015676021575927734, 0.01645827293395996, 0.017240524291992188, 0.018022775650024414, 0.01880502700805664, 0.019587278366088867, 0.020369529724121094, 0.02115178108215332, 0.021934032440185547, 0.022716283798217773, 0.02349853515625]}, "gradients/decoder.transformer.h.19.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 3.0, 2.0, 7.0, 6.0, 7.0, 7.0, 10.0, 7.0, 9.0, 17.0, 29.0, 22.0, 15.0, 31.0, 31.0, 31.0, 34.0, 29.0, 29.0, 28.0, 43.0, 86.0, 194.0, 577.0, 2765.0, 26183.0, 2057325.0, 7346.0, 1412.0, 319.0, 153.0, 47.0, 26.0, 29.0, 34.0, 22.0, 37.0, 19.0, 31.0, 18.0, 23.0, 15.0, 11.0, 13.0, 19.0, 12.0, 10.0, 8.0, 3.0, 2.0, 3.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6106834411621094e-05, -2.524442970752716e-05, -2.4382025003433228e-05, -2.3519620299339294e-05, -2.265721559524536e-05, -2.1794810891151428e-05, -2.0932406187057495e-05, -2.0070001482963562e-05, -1.920759677886963e-05, -1.8345192074775696e-05, -1.7482787370681763e-05, -1.662038266658783e-05, -1.5757977962493896e-05, -1.4895573258399963e-05, -1.403316855430603e-05, -1.3170763850212097e-05, -1.2308359146118164e-05, -1.1445954442024231e-05, -1.0583549737930298e-05, -9.721145033836365e-06, -8.858740329742432e-06, -7.996335625648499e-06, -7.1339309215545654e-06, -6.271526217460632e-06, -5.409121513366699e-06, -4.546716809272766e-06, -3.684312105178833e-06, -2.8219074010849e-06, -1.959502696990967e-06, -1.0970979928970337e-06, -2.3469328880310059e-07, 6.277114152908325e-07, 1.4901161193847656e-06, 2.3525208234786987e-06, 3.214925527572632e-06, 4.077330231666565e-06, 4.939734935760498e-06, 5.802139639854431e-06, 6.664544343948364e-06, 7.526949048042297e-06, 8.38935375213623e-06, 9.251758456230164e-06, 1.0114163160324097e-05, 1.097656786441803e-05, 1.1838972568511963e-05, 1.2701377272605896e-05, 1.3563781976699829e-05, 1.4426186680793762e-05, 1.5288591384887695e-05, 1.615099608898163e-05, 1.701340079307556e-05, 1.7875805497169495e-05, 1.8738210201263428e-05, 1.960061490535736e-05, 2.0463019609451294e-05, 2.1325424313545227e-05, 2.218782901763916e-05, 2.3050233721733093e-05, 2.3912638425827026e-05, 2.477504312992096e-05, 2.5637447834014893e-05, 2.6499852538108826e-05, 2.736225724220276e-05, 2.8224661946296692e-05, 2.9087066650390625e-05]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.bias": {"_type": "histogram", "values": [1023.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [0.0, 9.313225746154785e-10, 1.862645149230957e-09, 2.7939677238464355e-09, 3.725290298461914e-09, 4.6566128730773926e-09, 5.587935447692871e-09, 6.51925802230835e-09, 7.450580596923828e-09, 8.381903171539307e-09, 9.313225746154785e-09, 1.0244548320770264e-08, 1.1175870895385742e-08, 1.210719347000122e-08, 1.30385160446167e-08, 1.3969838619232178e-08, 1.4901161193847656e-08, 1.5832483768463135e-08, 1.6763806343078613e-08, 1.7695128917694092e-08, 1.862645149230957e-08, 1.955777406692505e-08, 2.0489096641540527e-08, 2.1420419216156006e-08, 2.2351741790771484e-08, 2.3283064365386963e-08, 2.421438694000244e-08, 2.514570951461792e-08, 2.60770320892334e-08, 2.7008354663848877e-08, 2.7939677238464355e-08, 2.8870999813079834e-08, 2.9802322387695312e-08, 3.073364496231079e-08, 3.166496753692627e-08, 3.259629011154175e-08, 3.3527612686157227e-08, 3.4458935260772705e-08, 3.5390257835388184e-08, 3.632158041000366e-08, 3.725290298461914e-08, 3.818422555923462e-08, 3.91155481338501e-08, 4.0046870708465576e-08, 4.0978193283081055e-08, 4.190951585769653e-08, 4.284083843231201e-08, 4.377216100692749e-08, 4.470348358154297e-08, 4.563480615615845e-08, 4.6566128730773926e-08, 4.7497451305389404e-08, 4.842877388000488e-08, 4.936009645462036e-08, 5.029141902923584e-08, 5.122274160385132e-08, 5.21540641784668e-08, 5.3085386753082275e-08, 5.4016709327697754e-08, 5.494803190231323e-08, 5.587935447692871e-08, 5.681067705154419e-08, 5.774199962615967e-08, 5.8673322200775146e-08, 5.960464477539063e-08]}, "gradients/decoder.transformer.h.19.crossattention.q_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 10.0, 0.0, 201.0, 0.0, 1048147.0, 0.0, 200.0, 0.0, 0.0, 9.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-9.5367431640625e-07, -9.275972843170166e-07, -9.015202522277832e-07, -8.754432201385498e-07, -8.493661880493164e-07, -8.23289155960083e-07, -7.972121238708496e-07, -7.711350917816162e-07, -7.450580596923828e-07, -7.189810276031494e-07, -6.92903995513916e-07, -6.668269634246826e-07, -6.407499313354492e-07, -6.146728992462158e-07, -5.885958671569824e-07, -5.62518835067749e-07, -5.364418029785156e-07, -5.103647708892822e-07, -4.842877388000488e-07, -4.5821070671081543e-07, -4.3213367462158203e-07, -4.0605664253234863e-07, -3.7997961044311523e-07, -3.5390257835388184e-07, -3.2782554626464844e-07, -3.0174851417541504e-07, -2.7567148208618164e-07, -2.4959444999694824e-07, -2.2351741790771484e-07, -1.9744038581848145e-07, -1.7136335372924805e-07, -1.4528632164001465e-07, -1.1920928955078125e-07, -9.313225746154785e-08, -6.705522537231445e-08, -4.0978193283081055e-08, -1.4901161193847656e-08, 1.1175870895385742e-08, 3.725290298461914e-08, 6.332993507385254e-08, 8.940696716308594e-08, 1.1548399925231934e-07, 1.4156103134155273e-07, 1.6763806343078613e-07, 1.9371509552001953e-07, 2.1979212760925293e-07, 2.4586915969848633e-07, 2.7194619178771973e-07, 2.980232238769531e-07, 3.241002559661865e-07, 3.501772880554199e-07, 3.762543201446533e-07, 4.023313522338867e-07, 4.284083843231201e-07, 4.544854164123535e-07, 4.805624485015869e-07, 5.066394805908203e-07, 5.327165126800537e-07, 5.587935447692871e-07, 5.848705768585205e-07, 6.109476089477539e-07, 6.370246410369873e-07, 6.631016731262207e-07, 6.891787052154541e-07, 7.152557373046875e-07]}, "gradients/decoder.transformer.h.19.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.19.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 3.0, 2.0, 3.0, 6.0, 6.0, 7.0, 10.0, 12.0, 12.0, 29.0, 25.0, 32.0, 39.0, 58.0, 52.0, 60.0, 56.0, 62.0, 68.0, 63.0, 55.0, 59.0, 48.0, 47.0, 36.0, 41.0, 29.0, 15.0, 15.0, 10.0, 14.0, 8.0, 10.0, 1.0, 5.0, 1.0, 4.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.023834228515625, -0.023079633712768555, -0.02232503890991211, -0.021570444107055664, -0.02081584930419922, -0.020061254501342773, -0.019306659698486328, -0.018552064895629883, -0.017797470092773438, -0.017042875289916992, -0.016288280487060547, -0.015533685684204102, -0.014779090881347656, -0.014024496078491211, -0.013269901275634766, -0.01251530647277832, -0.011760711669921875, -0.01100611686706543, -0.010251522064208984, -0.009496927261352539, -0.008742332458496094, -0.007987737655639648, -0.007233142852783203, -0.006478548049926758, -0.0057239532470703125, -0.004969358444213867, -0.004214763641357422, -0.0034601688385009766, -0.0027055740356445312, -0.001950979232788086, -0.0011963844299316406, -0.0004417896270751953, 0.00031280517578125, 0.0010673999786376953, 0.0018219947814941406, 0.002576589584350586, 0.0033311843872070312, 0.0040857791900634766, 0.004840373992919922, 0.005594968795776367, 0.0063495635986328125, 0.007104158401489258, 0.007858753204345703, 0.008613348007202148, 0.009367942810058594, 0.010122537612915039, 0.010877132415771484, 0.01163172721862793, 0.012386322021484375, 0.01314091682434082, 0.013895511627197266, 0.014650106430053711, 0.015404701232910156, 0.0161592960357666, 0.016913890838623047, 0.017668485641479492, 0.018423080444335938, 0.019177675247192383, 0.019932270050048828, 0.020686864852905273, 0.02144145965576172, 0.022196054458618164, 0.02295064926147461, 0.023705244064331055, 0.0244598388671875]}, "gradients/decoder.transformer.h.19.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 5.0, 2.0, 11.0, 7.0, 12.0, 23.0, 14.0, 29.0, 45.0, 65.0, 90.0, 126.0, 192.0, 247.0, 386.0, 652.0, 1090.0, 1999.0, 4922.0, 18491.0, 117799.0, 766782.0, 108220.0, 17650.0, 4806.0, 1931.0, 1082.0, 648.0, 392.0, 255.0, 175.0, 126.0, 88.0, 57.0, 45.0, 25.0, 19.0, 17.0, 11.0, 10.0, 2.0, 8.0, 4.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.08544921875, -0.08273506164550781, -0.08002090454101562, -0.07730674743652344, -0.07459259033203125, -0.07187843322753906, -0.06916427612304688, -0.06645011901855469, -0.0637359619140625, -0.06102180480957031, -0.058307647705078125, -0.05559349060058594, -0.05287933349609375, -0.05016517639160156, -0.047451019287109375, -0.04473686218261719, -0.042022705078125, -0.03930854797363281, -0.036594390869140625, -0.03388023376464844, -0.03116607666015625, -0.028451919555664062, -0.025737762451171875, -0.023023605346679688, -0.0203094482421875, -0.017595291137695312, -0.014881134033203125, -0.012166976928710938, -0.00945281982421875, -0.0067386627197265625, -0.004024505615234375, -0.0013103485107421875, 0.00140380859375, 0.0041179656982421875, 0.006832122802734375, 0.009546279907226562, 0.01226043701171875, 0.014974594116210938, 0.017688751220703125, 0.020402908325195312, 0.0231170654296875, 0.025831222534179688, 0.028545379638671875, 0.03125953674316406, 0.03397369384765625, 0.03668785095214844, 0.039402008056640625, 0.04211616516113281, 0.044830322265625, 0.04754447937011719, 0.050258636474609375, 0.05297279357910156, 0.05568695068359375, 0.05840110778808594, 0.061115264892578125, 0.06382942199707031, 0.0665435791015625, 0.06925773620605469, 0.07197189331054688, 0.07468605041503906, 0.07740020751953125, 0.08011436462402344, 0.08282852172851562, 0.08554267883300781, 0.0882568359375]}, "gradients/decoder.transformer.h.19.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 3.0, 4.0, 1.0, 2.0, 8.0, 4.0, 8.0, 6.0, 10.0, 4.0, 13.0, 6.0, 15.0, 19.0, 21.0, 30.0, 23.0, 30.0, 30.0, 40.0, 44.0, 50.0, 67.0, 75.0, 119.0, 258.0, 1372.0, 176.0, 115.0, 67.0, 58.0, 53.0, 38.0, 30.0, 28.0, 31.0, 34.0, 33.0, 16.0, 16.0, 17.0, 17.0, 11.0, 8.0, 11.0, 10.0, 7.0, 8.0, 4.0, 3.0, 2.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0], "bins": [-0.06707763671875, -0.06506061553955078, -0.06304359436035156, -0.061026573181152344, -0.059009552001953125, -0.056992530822753906, -0.05497550964355469, -0.05295848846435547, -0.05094146728515625, -0.04892444610595703, -0.04690742492675781, -0.044890403747558594, -0.042873382568359375, -0.040856361389160156, -0.03883934020996094, -0.03682231903076172, -0.0348052978515625, -0.03278827667236328, -0.030771255493164062, -0.028754234313964844, -0.026737213134765625, -0.024720191955566406, -0.022703170776367188, -0.02068614959716797, -0.01866912841796875, -0.01665210723876953, -0.014635086059570312, -0.012618064880371094, -0.010601043701171875, -0.008584022521972656, -0.0065670013427734375, -0.004549980163574219, -0.002532958984375, -0.0005159378051757812, 0.0015010833740234375, 0.0035181045532226562, 0.005535125732421875, 0.007552146911621094, 0.009569168090820312, 0.011586189270019531, 0.01360321044921875, 0.015620231628417969, 0.017637252807617188, 0.019654273986816406, 0.021671295166015625, 0.023688316345214844, 0.025705337524414062, 0.02772235870361328, 0.0297393798828125, 0.03175640106201172, 0.03377342224121094, 0.035790443420410156, 0.037807464599609375, 0.039824485778808594, 0.04184150695800781, 0.04385852813720703, 0.04587554931640625, 0.04789257049560547, 0.04990959167480469, 0.051926612854003906, 0.053943634033203125, 0.055960655212402344, 0.05797767639160156, 0.05999469757080078, 0.06201171875]}, "gradients/decoder.transformer.h.19.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 4.0, 4.0, 9.0, 6.0, 7.0, 7.0, 15.0, 22.0, 15.0, 24.0, 16.0, 42.0, 66.0, 74.0, 111.0, 184.0, 316.0, 568.0, 1303.0, 3185.0, 10082.0, 43381.0, 343637.0, 2517879.0, 183486.0, 29145.0, 7397.0, 2403.0, 1045.0, 468.0, 270.0, 162.0, 103.0, 66.0, 47.0, 42.0, 29.0, 19.0, 9.0, 14.0, 12.0, 11.0, 4.0, 7.0, 4.0, 4.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.0908203125, -0.0878305435180664, -0.08484077453613281, -0.08185100555419922, -0.07886123657226562, -0.07587146759033203, -0.07288169860839844, -0.06989192962646484, -0.06690216064453125, -0.06391239166259766, -0.06092262268066406, -0.05793285369873047, -0.054943084716796875, -0.05195331573486328, -0.04896354675292969, -0.045973777770996094, -0.0429840087890625, -0.039994239807128906, -0.03700447082519531, -0.03401470184326172, -0.031024932861328125, -0.02803516387939453, -0.025045394897460938, -0.022055625915527344, -0.01906585693359375, -0.016076087951660156, -0.013086318969726562, -0.010096549987792969, -0.007106781005859375, -0.004117012023925781, -0.0011272430419921875, 0.0018625259399414062, 0.004852294921875, 0.007842063903808594, 0.010831832885742188, 0.013821601867675781, 0.016811370849609375, 0.01980113983154297, 0.022790908813476562, 0.025780677795410156, 0.02877044677734375, 0.031760215759277344, 0.03474998474121094, 0.03773975372314453, 0.040729522705078125, 0.04371929168701172, 0.04670906066894531, 0.049698829650878906, 0.0526885986328125, 0.055678367614746094, 0.05866813659667969, 0.06165790557861328, 0.06464767456054688, 0.06763744354248047, 0.07062721252441406, 0.07361698150634766, 0.07660675048828125, 0.07959651947021484, 0.08258628845214844, 0.08557605743408203, 0.08856582641601562, 0.09155559539794922, 0.09454536437988281, 0.0975351333618164, 0.10052490234375]}, "gradients/decoder.transformer.h.19.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 33.0, 187.0, 422.0, 286.0, 69.0, 12.0, 4.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0225926637649536, -0.9961286187171936, -0.9696646332740784, -0.9432005882263184, -0.9167365431785583, -0.8902724981307983, -0.8638085126876831, -0.8373444676399231, -0.8108804225921631, -0.7844163775444031, -0.7579523921012878, -0.7314883470535278, -0.7050243020057678, -0.6785602569580078, -0.6520962715148926, -0.6256322264671326, -0.5991682410240173, -0.5727041959762573, -0.5462402105331421, -0.5197761654853821, -0.49331212043762207, -0.46684810519218445, -0.4403840899467468, -0.4139200448989868, -0.3874560296535492, -0.3609920144081116, -0.33452796936035156, -0.30806395411491394, -0.2815999388694763, -0.2551358938217163, -0.2286718785762787, -0.20220784842967987, -0.17574387788772583, -0.14927984774112701, -0.1228158250451088, -0.09635180234909058, -0.06988777220249176, -0.043423742055892944, -0.016959726810455322, 0.009504303336143494, 0.03596833348274231, 0.06243235990405083, 0.08889638632535934, 0.11536040902137756, 0.14182443916797638, 0.1682884693145752, 0.19475248456001282, 0.22121651470661163, 0.24768054485321045, 0.27414456009864807, 0.3006086051464081, 0.3270726203918457, 0.3535366654396057, 0.38000068068504333, 0.40646469593048096, 0.43292874097824097, 0.4593927562236786, 0.4858567714691162, 0.5123208165168762, 0.5387848615646362, 0.5652488470077515, 0.5917128920555115, 0.6181769371032715, 0.6446409225463867, 0.6711049675941467]}, "gradients/decoder.transformer.h.19.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 3.0, 6.0, 10.0, 6.0, 4.0, 11.0, 17.0, 15.0, 9.0, 23.0, 21.0, 27.0, 23.0, 23.0, 31.0, 33.0, 36.0, 49.0, 33.0, 53.0, 43.0, 38.0, 40.0, 42.0, 32.0, 41.0, 29.0, 36.0, 37.0, 38.0, 33.0, 27.0, 24.0, 18.0, 17.0, 12.0, 16.0, 18.0, 9.0, 6.0, 4.0, 6.0, 6.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2657018303871155, -0.2571311295032501, -0.24856042861938477, -0.2399897426366806, -0.23141904175281525, -0.2228483408689499, -0.21427765488624573, -0.20570695400238037, -0.19713625311851501, -0.18856555223464966, -0.1799948513507843, -0.17142416536808014, -0.16285346448421478, -0.15428276360034943, -0.14571207761764526, -0.1371413767337799, -0.12857067584991455, -0.1199999749660492, -0.11142928153276443, -0.10285858809947968, -0.09428788721561432, -0.08571718633174896, -0.0771464928984642, -0.06857579946517944, -0.06000509858131409, -0.05143440142273903, -0.04286370426416397, -0.03429300710558891, -0.025722309947013855, -0.017151612788438797, -0.008580915629863739, -1.021847128868103e-05, 0.008560478687286377, 0.017131175845861435, 0.025701873004436493, 0.03427257016301155, 0.04284326732158661, 0.05141396448016167, 0.059984661638736725, 0.06855535507202148, 0.07712605595588684, 0.0856967568397522, 0.09426745027303696, 0.10283814370632172, 0.11140884459018707, 0.11997954547405243, 0.1285502314567566, 0.13712093234062195, 0.1456916332244873, 0.15426233410835266, 0.16283303499221802, 0.17140372097492218, 0.17997442185878754, 0.1885451227426529, 0.19711580872535706, 0.2056865096092224, 0.21425721049308777, 0.22282791137695312, 0.23139861226081848, 0.23996929824352264, 0.248539999127388, 0.25711068511009216, 0.2656813859939575, 0.2742520868778229, 0.28282278776168823]}, "gradients/decoder.transformer.h.18.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 4.0, 3.0, 1.0, 6.0, 8.0, 6.0, 9.0, 20.0, 11.0, 24.0, 30.0, 35.0, 40.0, 48.0, 58.0, 61.0, 72.0, 65.0, 67.0, 53.0, 55.0, 49.0, 47.0, 44.0, 39.0, 40.0, 27.0, 15.0, 16.0, 14.0, 9.0, 14.0, 4.0, 3.0, 4.0, 3.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0242462158203125, -0.02347254753112793, -0.02269887924194336, -0.02192521095275879, -0.02115154266357422, -0.02037787437438965, -0.019604206085205078, -0.018830537796020508, -0.018056869506835938, -0.017283201217651367, -0.016509532928466797, -0.015735864639282227, -0.014962196350097656, -0.014188528060913086, -0.013414859771728516, -0.012641191482543945, -0.011867523193359375, -0.011093854904174805, -0.010320186614990234, -0.009546518325805664, -0.008772850036621094, -0.007999181747436523, -0.007225513458251953, -0.006451845169067383, -0.0056781768798828125, -0.004904508590698242, -0.004130840301513672, -0.0033571720123291016, -0.0025835037231445312, -0.001809835433959961, -0.0010361671447753906, -0.0002624988555908203, 0.00051116943359375, 0.0012848377227783203, 0.0020585060119628906, 0.002832174301147461, 0.0036058425903320312, 0.0043795108795166016, 0.005153179168701172, 0.005926847457885742, 0.0067005157470703125, 0.007474184036254883, 0.008247852325439453, 0.009021520614624023, 0.009795188903808594, 0.010568857192993164, 0.011342525482177734, 0.012116193771362305, 0.012889862060546875, 0.013663530349731445, 0.014437198638916016, 0.015210866928100586, 0.015984535217285156, 0.016758203506469727, 0.017531871795654297, 0.018305540084838867, 0.019079208374023438, 0.019852876663208008, 0.020626544952392578, 0.02140021324157715, 0.02217388153076172, 0.02294754981994629, 0.02372121810913086, 0.02449488639831543, 0.0252685546875]}, "gradients/decoder.transformer.h.18.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 7.0, 7.0, 7.0, 16.0, 17.0, 22.0, 35.0, 40.0, 84.0, 99.0, 178.0, 262.0, 421.0, 783.0, 1581.0, 4059.0, 20104.0, 357202.0, 3626837.0, 163097.0, 12668.0, 3219.0, 1363.0, 785.0, 459.0, 308.0, 192.0, 127.0, 92.0, 57.0, 41.0, 31.0, 22.0, 14.0, 8.0, 7.0, 10.0, 7.0, 5.0, 5.0, 1.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.11676025390625, -0.11304092407226562, -0.10932159423828125, -0.10560226440429688, -0.1018829345703125, -0.09816360473632812, -0.09444427490234375, -0.09072494506835938, -0.087005615234375, -0.08328628540039062, -0.07956695556640625, -0.07584762573242188, -0.0721282958984375, -0.06840896606445312, -0.06468963623046875, -0.060970306396484375, -0.0572509765625, -0.053531646728515625, -0.04981231689453125, -0.046092987060546875, -0.0423736572265625, -0.038654327392578125, -0.03493499755859375, -0.031215667724609375, -0.027496337890625, -0.023777008056640625, -0.02005767822265625, -0.016338348388671875, -0.0126190185546875, -0.008899688720703125, -0.00518035888671875, -0.001461029052734375, 0.00225830078125, 0.005977630615234375, 0.00969696044921875, 0.013416290283203125, 0.0171356201171875, 0.020854949951171875, 0.02457427978515625, 0.028293609619140625, 0.032012939453125, 0.035732269287109375, 0.03945159912109375, 0.043170928955078125, 0.0468902587890625, 0.050609588623046875, 0.05432891845703125, 0.058048248291015625, 0.061767578125, 0.06548690795898438, 0.06920623779296875, 0.07292556762695312, 0.0766448974609375, 0.08036422729492188, 0.08408355712890625, 0.08780288696289062, 0.091522216796875, 0.09524154663085938, 0.09896087646484375, 0.10268020629882812, 0.1063995361328125, 0.11011886596679688, 0.11383819580078125, 0.11755752563476562, 0.12127685546875]}, "gradients/decoder.transformer.h.18.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 1.0, 2.0, 1.0, 3.0, 4.0, 7.0, 12.0, 11.0, 7.0, 9.0, 13.0, 14.0, 35.0, 29.0, 60.0, 65.0, 82.0, 109.0, 159.0, 240.0, 345.0, 422.0, 531.0, 467.0, 390.0, 303.0, 216.0, 152.0, 94.0, 67.0, 58.0, 43.0, 29.0, 19.0, 12.0, 16.0, 7.0, 10.0, 10.0, 1.0, 4.0, 5.0, 7.0, 4.0, 0.0, 3.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.058319091796875, -0.056586265563964844, -0.05485343933105469, -0.05312061309814453, -0.051387786865234375, -0.04965496063232422, -0.04792213439941406, -0.046189308166503906, -0.04445648193359375, -0.042723655700683594, -0.04099082946777344, -0.03925800323486328, -0.037525177001953125, -0.03579235076904297, -0.03405952453613281, -0.032326698303222656, -0.0305938720703125, -0.028861045837402344, -0.027128219604492188, -0.02539539337158203, -0.023662567138671875, -0.02192974090576172, -0.020196914672851562, -0.018464088439941406, -0.01673126220703125, -0.014998435974121094, -0.013265609741210938, -0.011532783508300781, -0.009799957275390625, -0.008067131042480469, -0.0063343048095703125, -0.004601478576660156, -0.00286865234375, -0.0011358261108398438, 0.0005970001220703125, 0.0023298263549804688, 0.004062652587890625, 0.005795478820800781, 0.0075283050537109375, 0.009261131286621094, 0.01099395751953125, 0.012726783752441406, 0.014459609985351562, 0.01619243621826172, 0.017925262451171875, 0.01965808868408203, 0.021390914916992188, 0.023123741149902344, 0.0248565673828125, 0.026589393615722656, 0.028322219848632812, 0.03005504608154297, 0.031787872314453125, 0.03352069854736328, 0.03525352478027344, 0.036986351013183594, 0.03871917724609375, 0.040452003479003906, 0.04218482971191406, 0.04391765594482422, 0.045650482177734375, 0.04738330841064453, 0.04911613464355469, 0.050848960876464844, 0.052581787109375]}, "gradients/decoder.transformer.h.18.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 4.0, 1.0, 12.0, 7.0, 8.0, 23.0, 35.0, 40.0, 73.0, 110.0, 213.0, 333.0, 625.0, 1285.0, 2598.0, 5920.0, 15427.0, 54321.0, 308347.0, 2570911.0, 1057634.0, 129596.0, 29147.0, 9679.0, 3974.0, 1886.0, 921.0, 473.0, 276.0, 151.0, 82.0, 67.0, 35.0, 23.0, 15.0, 10.0, 9.0, 6.0, 2.0, 2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0927734375, -0.08954906463623047, -0.08632469177246094, -0.0831003189086914, -0.07987594604492188, -0.07665157318115234, -0.07342720031738281, -0.07020282745361328, -0.06697845458984375, -0.06375408172607422, -0.06052970886230469, -0.057305335998535156, -0.054080963134765625, -0.050856590270996094, -0.04763221740722656, -0.04440784454345703, -0.0411834716796875, -0.03795909881591797, -0.03473472595214844, -0.031510353088378906, -0.028285980224609375, -0.025061607360839844, -0.021837234497070312, -0.01861286163330078, -0.01538848876953125, -0.012164115905761719, -0.008939743041992188, -0.005715370178222656, -0.002490997314453125, 0.0007333755493164062, 0.0039577484130859375, 0.007182121276855469, 0.010406494140625, 0.013630867004394531, 0.016855239868164062, 0.020079612731933594, 0.023303985595703125, 0.026528358459472656, 0.029752731323242188, 0.03297710418701172, 0.03620147705078125, 0.03942584991455078, 0.04265022277832031, 0.045874595642089844, 0.049098968505859375, 0.052323341369628906, 0.05554771423339844, 0.05877208709716797, 0.0619964599609375, 0.06522083282470703, 0.06844520568847656, 0.0716695785522461, 0.07489395141601562, 0.07811832427978516, 0.08134269714355469, 0.08456707000732422, 0.08779144287109375, 0.09101581573486328, 0.09424018859863281, 0.09746456146240234, 0.10068893432617188, 0.1039133071899414, 0.10713768005371094, 0.11036205291748047, 0.11358642578125]}, "gradients/decoder.transformer.h.18.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 8.0, 9.0, 43.0, 118.0, 251.0, 289.0, 198.0, 70.0, 21.0, 8.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0983195304870605, -1.0679928064346313, -1.0376660823822021, -1.0073392391204834, -0.9770125150680542, -0.946685791015625, -0.916359007358551, -0.886032223701477, -0.8557054996490479, -0.8253787755966187, -0.7950519919395447, -0.7647252082824707, -0.7343984842300415, -0.7040717601776123, -0.6737449765205383, -0.6434181928634644, -0.6130914688110352, -0.582764744758606, -0.552437961101532, -0.522111177444458, -0.4917844533920288, -0.4614576995372772, -0.43113094568252563, -0.40080419182777405, -0.37047743797302246, -0.3401506841182709, -0.3098239302635193, -0.2794971764087677, -0.2491704225540161, -0.21884366869926453, -0.18851691484451294, -0.15819016098976135, -0.12786340713500977, -0.09753665328025818, -0.06720989942550659, -0.036883145570755005, -0.006556391716003418, 0.02377036213874817, 0.054097115993499756, 0.08442386984825134, 0.11475062370300293, 0.14507737755775452, 0.1754041314125061, 0.2057308852672577, 0.23605763912200928, 0.26638439297676086, 0.29671114683151245, 0.32703790068626404, 0.3573646545410156, 0.3876914083957672, 0.4180181622505188, 0.4483449161052704, 0.478671669960022, 0.5089983940124512, 0.5393251776695251, 0.5696519613265991, 0.5999786853790283, 0.6303054094314575, 0.6606321930885315, 0.6909589767456055, 0.7212857007980347, 0.7516124248504639, 0.7819392085075378, 0.8122659921646118, 0.842592716217041]}, "gradients/decoder.transformer.h.18.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 4.0, 7.0, 4.0, 13.0, 5.0, 10.0, 17.0, 16.0, 20.0, 19.0, 38.0, 29.0, 25.0, 35.0, 30.0, 36.0, 48.0, 38.0, 39.0, 50.0, 48.0, 42.0, 50.0, 47.0, 45.0, 36.0, 40.0, 36.0, 33.0, 22.0, 22.0, 14.0, 13.0, 17.0, 14.0, 7.0, 11.0, 6.0, 12.0, 3.0, 5.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.23634248971939087, -0.22932204604148865, -0.22230160236358643, -0.2152811586856842, -0.20826071500778198, -0.20124027132987976, -0.19421982765197754, -0.18719938397407532, -0.1801789402961731, -0.17315849661827087, -0.16613805294036865, -0.15911760926246643, -0.1520971655845642, -0.145076721906662, -0.13805627822875977, -0.13103583455085754, -0.12401539087295532, -0.1169949471950531, -0.10997450351715088, -0.10295405983924866, -0.09593361616134644, -0.08891317248344421, -0.08189272880554199, -0.07487228512763977, -0.06785184144973755, -0.06083139777183533, -0.053810954093933105, -0.046790510416030884, -0.03977006673812866, -0.03274962306022644, -0.02572917938232422, -0.018708735704421997, -0.011688292026519775, -0.004667848348617554, 0.002352595329284668, 0.00937303900718689, 0.01639348268508911, 0.023413926362991333, 0.030434370040893555, 0.037454813718795776, 0.044475257396698, 0.05149570107460022, 0.05851614475250244, 0.06553658843040466, 0.07255703210830688, 0.0795774757862091, 0.08659791946411133, 0.09361836314201355, 0.10063880681991577, 0.107659250497818, 0.11467969417572021, 0.12170013785362244, 0.12872058153152466, 0.13574102520942688, 0.1427614688873291, 0.14978191256523132, 0.15680235624313354, 0.16382279992103577, 0.170843243598938, 0.1778636872768402, 0.18488413095474243, 0.19190457463264465, 0.19892501831054688, 0.2059454619884491, 0.21296590566635132]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 3.0, 3.0, 1.0, 2.0, 1.0, 7.0, 7.0, 7.0, 8.0, 16.0, 16.0, 20.0, 16.0, 29.0, 32.0, 45.0, 38.0, 48.0, 55.0, 49.0, 56.0, 55.0, 47.0, 51.0, 45.0, 46.0, 58.0, 32.0, 31.0, 35.0, 28.0, 24.0, 13.0, 18.0, 13.0, 14.0, 6.0, 12.0, 8.0, 2.0, 5.0, 4.0, 2.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0202789306640625, -0.019606590270996094, -0.018934249877929688, -0.01826190948486328, -0.017589569091796875, -0.01691722869873047, -0.016244888305664062, -0.015572547912597656, -0.01490020751953125, -0.014227867126464844, -0.013555526733398438, -0.012883186340332031, -0.012210845947265625, -0.011538505554199219, -0.010866165161132812, -0.010193824768066406, -0.009521484375, -0.008849143981933594, -0.008176803588867188, -0.007504463195800781, -0.006832122802734375, -0.006159782409667969, -0.0054874420166015625, -0.004815101623535156, -0.00414276123046875, -0.0034704208374023438, -0.0027980804443359375, -0.0021257400512695312, -0.001453399658203125, -0.0007810592651367188, -0.0001087188720703125, 0.0005636215209960938, 0.0012359619140625, 0.0019083023071289062, 0.0025806427001953125, 0.0032529830932617188, 0.003925323486328125, 0.004597663879394531, 0.0052700042724609375, 0.005942344665527344, 0.00661468505859375, 0.007287025451660156, 0.007959365844726562, 0.008631706237792969, 0.009304046630859375, 0.009976387023925781, 0.010648727416992188, 0.011321067810058594, 0.011993408203125, 0.012665748596191406, 0.013338088989257812, 0.014010429382324219, 0.014682769775390625, 0.015355110168457031, 0.016027450561523438, 0.016699790954589844, 0.01737213134765625, 0.018044471740722656, 0.018716812133789062, 0.01938915252685547, 0.020061492919921875, 0.02073383331298828, 0.021406173706054688, 0.022078514099121094, 0.0227508544921875]}, "gradients/decoder.transformer.h.18.crossattention.c_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 5.0, 1.0, 0.0, 6.0, 6.0, 7.0, 9.0, 14.0, 25.0, 42.0, 35.0, 45.0, 71.0, 102.0, 157.0, 233.0, 339.0, 482.0, 726.0, 1090.0, 1701.0, 2636.0, 4231.0, 6990.0, 11823.0, 20699.0, 37317.0, 73620.0, 163336.0, 402184.0, 160050.0, 72503.0, 37316.0, 20338.0, 11681.0, 6923.0, 4173.0, 2671.0, 1629.0, 1067.0, 714.0, 482.0, 323.0, 227.0, 161.0, 117.0, 66.0, 62.0, 39.0, 25.0, 17.0, 11.0, 14.0, 7.0, 9.0, 5.0, 2.0, 4.0, 0.0, 0.0, 0.0, 4.0], "bins": [-0.0001983642578125, -0.0001920647919178009, -0.0001857653260231018, -0.0001794658601284027, -0.0001731663942337036, -0.00016686692833900452, -0.00016056746244430542, -0.00015426799654960632, -0.00014796853065490723, -0.00014166906476020813, -0.00013536959886550903, -0.00012907013297080994, -0.00012277066707611084, -0.00011647120118141174, -0.00011017173528671265, -0.00010387226939201355, -9.757280349731445e-05, -9.127333760261536e-05, -8.497387170791626e-05, -7.867440581321716e-05, -7.237493991851807e-05, -6.607547402381897e-05, -5.977600812911987e-05, -5.3476542234420776e-05, -4.717707633972168e-05, -4.087761044502258e-05, -3.4578144550323486e-05, -2.827867865562439e-05, -2.1979212760925293e-05, -1.5679746866226196e-05, -9.3802809715271e-06, -3.080815076828003e-06, 3.2186508178710938e-06, 9.51811671257019e-06, 1.5817582607269287e-05, 2.2117048501968384e-05, 2.841651439666748e-05, 3.471598029136658e-05, 4.1015446186065674e-05, 4.731491208076477e-05, 5.361437797546387e-05, 5.9913843870162964e-05, 6.621330976486206e-05, 7.251277565956116e-05, 7.881224155426025e-05, 8.511170744895935e-05, 9.141117334365845e-05, 9.771063923835754e-05, 0.00010401010513305664, 0.00011030957102775574, 0.00011660903692245483, 0.00012290850281715393, 0.00012920796871185303, 0.00013550743460655212, 0.00014180690050125122, 0.00014810636639595032, 0.00015440583229064941, 0.0001607052981853485, 0.0001670047640800476, 0.0001733042299747467, 0.0001796036958694458, 0.0001859031617641449, 0.000192202627658844, 0.0001985020935535431, 0.0002048015594482422]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 3.0, 4.0, 4.0, 12.0, 13.0, 13.0, 17.0, 21.0, 12.0, 14.0, 25.0, 15.0, 18.0, 21.0, 20.0, 22.0, 23.0, 30.0, 36.0, 24.0, 26.0, 30.0, 29.0, 39.0, 21.0, 1051.0, 28.0, 27.0, 33.0, 31.0, 33.0, 24.0, 32.0, 31.0, 26.0, 26.0, 29.0, 25.0, 14.0, 15.0, 16.0, 12.0, 14.0, 15.0, 14.0, 10.0, 10.0, 5.0, 5.0, 7.0, 5.0, 6.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.018707275390625, -0.018071889877319336, -0.017436504364013672, -0.016801118850708008, -0.016165733337402344, -0.01553034782409668, -0.014894962310791016, -0.014259576797485352, -0.013624191284179688, -0.012988805770874023, -0.01235342025756836, -0.011718034744262695, -0.011082649230957031, -0.010447263717651367, -0.009811878204345703, -0.009176492691040039, -0.008541107177734375, -0.007905721664428711, -0.007270336151123047, -0.006634950637817383, -0.005999565124511719, -0.005364179611206055, -0.004728794097900391, -0.0040934085845947266, -0.0034580230712890625, -0.0028226375579833984, -0.0021872520446777344, -0.0015518665313720703, -0.0009164810180664062, -0.0002810955047607422, 0.0003542900085449219, 0.000989675521850586, 0.00162506103515625, 0.002260446548461914, 0.002895832061767578, 0.003531217575073242, 0.004166603088378906, 0.00480198860168457, 0.005437374114990234, 0.0060727596282958984, 0.0067081451416015625, 0.0073435306549072266, 0.00797891616821289, 0.008614301681518555, 0.009249687194824219, 0.009885072708129883, 0.010520458221435547, 0.011155843734741211, 0.011791229248046875, 0.012426614761352539, 0.013062000274658203, 0.013697385787963867, 0.014332771301269531, 0.014968156814575195, 0.01560354232788086, 0.016238927841186523, 0.016874313354492188, 0.01750969886779785, 0.018145084381103516, 0.01878046989440918, 0.019415855407714844, 0.020051240921020508, 0.020686626434326172, 0.021322011947631836, 0.0219573974609375]}, "gradients/decoder.transformer.h.18.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 5.0, 4.0, 10.0, 3.0, 8.0, 8.0, 10.0, 9.0, 14.0, 16.0, 15.0, 14.0, 13.0, 16.0, 29.0, 24.0, 27.0, 30.0, 30.0, 26.0, 36.0, 82.0, 181.0, 470.0, 2014.0, 9965.0, 2068530.0, 12405.0, 2056.0, 455.0, 194.0, 82.0, 37.0, 39.0, 28.0, 27.0, 17.0, 21.0, 21.0, 17.0, 16.0, 23.0, 14.0, 16.0, 17.0, 17.0, 15.0, 10.0, 11.0, 5.0, 4.0, 2.0, 6.0, 0.0, 1.0, 1.0], "bins": [-2.396106719970703e-05, -2.32672318816185e-05, -2.2573396563529968e-05, -2.1879561245441437e-05, -2.1185725927352905e-05, -2.0491890609264374e-05, -1.9798055291175842e-05, -1.910421997308731e-05, -1.841038465499878e-05, -1.7716549336910248e-05, -1.7022714018821716e-05, -1.6328878700733185e-05, -1.5635043382644653e-05, -1.4941208064556122e-05, -1.424737274646759e-05, -1.3553537428379059e-05, -1.2859702110290527e-05, -1.2165866792201996e-05, -1.1472031474113464e-05, -1.0778196156024933e-05, -1.0084360837936401e-05, -9.39052551984787e-06, -8.696690201759338e-06, -8.002854883670807e-06, -7.309019565582275e-06, -6.615184247493744e-06, -5.921348929405212e-06, -5.227513611316681e-06, -4.533678293228149e-06, -3.839842975139618e-06, -3.1460076570510864e-06, -2.452172338962555e-06, -1.7583370208740234e-06, -1.064501702785492e-06, -3.7066638469696045e-07, 3.2316893339157104e-07, 1.0170042514801025e-06, 1.710839569568634e-06, 2.4046748876571655e-06, 3.098510205745697e-06, 3.7923455238342285e-06, 4.48618084192276e-06, 5.1800161600112915e-06, 5.873851478099823e-06, 6.5676867961883545e-06, 7.261522114276886e-06, 7.955357432365417e-06, 8.649192750453949e-06, 9.34302806854248e-06, 1.0036863386631012e-05, 1.0730698704719543e-05, 1.1424534022808075e-05, 1.2118369340896606e-05, 1.2812204658985138e-05, 1.350603997707367e-05, 1.4199875295162201e-05, 1.4893710613250732e-05, 1.5587545931339264e-05, 1.6281381249427795e-05, 1.6975216567516327e-05, 1.766905188560486e-05, 1.836288720369339e-05, 1.905672252178192e-05, 1.9750557839870453e-05, 2.0444393157958984e-05]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.18.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 3.0, 3.0, 1.0, 2.0, 1.0, 7.0, 7.0, 7.0, 8.0, 16.0, 16.0, 20.0, 16.0, 29.0, 32.0, 45.0, 38.0, 48.0, 55.0, 49.0, 56.0, 55.0, 47.0, 51.0, 45.0, 46.0, 58.0, 32.0, 31.0, 35.0, 28.0, 24.0, 13.0, 18.0, 13.0, 14.0, 6.0, 12.0, 8.0, 2.0, 5.0, 4.0, 2.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0202789306640625, -0.019606590270996094, -0.018934249877929688, -0.01826190948486328, -0.017589569091796875, -0.01691722869873047, -0.016244888305664062, -0.015572547912597656, -0.01490020751953125, -0.014227867126464844, -0.013555526733398438, -0.012883186340332031, -0.012210845947265625, -0.011538505554199219, -0.010866165161132812, -0.010193824768066406, -0.009521484375, -0.008849143981933594, -0.008176803588867188, -0.007504463195800781, -0.006832122802734375, -0.006159782409667969, -0.0054874420166015625, -0.004815101623535156, -0.00414276123046875, -0.0034704208374023438, -0.0027980804443359375, -0.0021257400512695312, -0.001453399658203125, -0.0007810592651367188, -0.0001087188720703125, 0.0005636215209960938, 0.0012359619140625, 0.0019083023071289062, 0.0025806427001953125, 0.0032529830932617188, 0.003925323486328125, 0.004597663879394531, 0.0052700042724609375, 0.005942344665527344, 0.00661468505859375, 0.007287025451660156, 0.007959365844726562, 0.008631706237792969, 0.009304046630859375, 0.009976387023925781, 0.010648727416992188, 0.011321067810058594, 0.011993408203125, 0.012665748596191406, 0.013338088989257812, 0.014010429382324219, 0.014682769775390625, 0.015355110168457031, 0.016027450561523438, 0.016699790954589844, 0.01737213134765625, 0.018044471740722656, 0.018716812133789062, 0.01938915252685547, 0.020061492919921875, 0.02073383331298828, 0.021406173706054688, 0.022078514099121094, 0.0227508544921875]}, "gradients/decoder.transformer.h.18.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 4.0, 8.0, 3.0, 7.0, 7.0, 11.0, 12.0, 18.0, 19.0, 30.0, 27.0, 59.0, 66.0, 93.0, 109.0, 210.0, 244.0, 408.0, 636.0, 1150.0, 2527.0, 6070.0, 18157.0, 69998.0, 599459.0, 279287.0, 47090.0, 13323.0, 4734.0, 2028.0, 1032.0, 542.0, 349.0, 222.0, 155.0, 112.0, 87.0, 61.0, 59.0, 35.0, 19.0, 20.0, 26.0, 13.0, 9.0, 7.0, 3.0, 5.0, 4.0, 3.0, 2.0, 0.0, 2.0, 2.0, 0.0, 3.0], "bins": [-0.068359375, -0.06627941131591797, -0.06419944763183594, -0.062119483947753906, -0.060039520263671875, -0.057959556579589844, -0.05587959289550781, -0.05379962921142578, -0.05171966552734375, -0.04963970184326172, -0.04755973815917969, -0.045479774475097656, -0.043399810791015625, -0.041319847106933594, -0.03923988342285156, -0.03715991973876953, -0.0350799560546875, -0.03299999237060547, -0.030920028686523438, -0.028840065002441406, -0.026760101318359375, -0.024680137634277344, -0.022600173950195312, -0.02052021026611328, -0.01844024658203125, -0.01636028289794922, -0.014280319213867188, -0.012200355529785156, -0.010120391845703125, -0.008040428161621094, -0.0059604644775390625, -0.0038805007934570312, -0.001800537109375, 0.00027942657470703125, 0.0023593902587890625, 0.004439353942871094, 0.006519317626953125, 0.008599281311035156, 0.010679244995117188, 0.012759208679199219, 0.01483917236328125, 0.01691913604736328, 0.018999099731445312, 0.021079063415527344, 0.023159027099609375, 0.025238990783691406, 0.027318954467773438, 0.02939891815185547, 0.0314788818359375, 0.03355884552001953, 0.03563880920410156, 0.037718772888183594, 0.039798736572265625, 0.041878700256347656, 0.04395866394042969, 0.04603862762451172, 0.04811859130859375, 0.05019855499267578, 0.05227851867675781, 0.054358482360839844, 0.056438446044921875, 0.058518409729003906, 0.06059837341308594, 0.06267833709716797, 0.06475830078125]}, "gradients/decoder.transformer.h.18.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 1.0, 5.0, 3.0, 9.0, 6.0, 7.0, 14.0, 14.0, 11.0, 17.0, 18.0, 22.0, 35.0, 37.0, 39.0, 55.0, 47.0, 59.0, 83.0, 151.0, 1598.0, 280.0, 100.0, 62.0, 69.0, 59.0, 37.0, 41.0, 35.0, 37.0, 21.0, 15.0, 14.0, 18.0, 11.0, 14.0, 7.0, 3.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0], "bins": [-0.093994140625, -0.09143733978271484, -0.08888053894042969, -0.08632373809814453, -0.08376693725585938, -0.08121013641357422, -0.07865333557128906, -0.0760965347290039, -0.07353973388671875, -0.0709829330444336, -0.06842613220214844, -0.06586933135986328, -0.06331253051757812, -0.06075572967529297, -0.05819892883300781, -0.055642127990722656, -0.0530853271484375, -0.050528526306152344, -0.04797172546386719, -0.04541492462158203, -0.042858123779296875, -0.04030132293701172, -0.03774452209472656, -0.035187721252441406, -0.03263092041015625, -0.030074119567871094, -0.027517318725585938, -0.02496051788330078, -0.022403717041015625, -0.01984691619873047, -0.017290115356445312, -0.014733314514160156, -0.012176513671875, -0.009619712829589844, -0.0070629119873046875, -0.004506111145019531, -0.001949310302734375, 0.0006074905395507812, 0.0031642913818359375, 0.005721092224121094, 0.00827789306640625, 0.010834693908691406, 0.013391494750976562, 0.01594829559326172, 0.018505096435546875, 0.02106189727783203, 0.023618698120117188, 0.026175498962402344, 0.0287322998046875, 0.031289100646972656, 0.03384590148925781, 0.03640270233154297, 0.038959503173828125, 0.04151630401611328, 0.04407310485839844, 0.046629905700683594, 0.04918670654296875, 0.051743507385253906, 0.05430030822753906, 0.05685710906982422, 0.059413909912109375, 0.06197071075439453, 0.06452751159667969, 0.06708431243896484, 0.06964111328125]}, "gradients/decoder.transformer.h.18.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 6.0, 8.0, 12.0, 9.0, 19.0, 18.0, 25.0, 48.0, 69.0, 95.0, 128.0, 293.0, 749.0, 2971.0, 20156.0, 521212.0, 2558790.0, 34899.0, 4355.0, 953.0, 374.0, 180.0, 103.0, 65.0, 47.0, 21.0, 25.0, 14.0, 14.0, 12.0, 13.0, 9.0, 6.0, 9.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1328125, -0.1279144287109375, -0.123016357421875, -0.1181182861328125, -0.11322021484375, -0.1083221435546875, -0.103424072265625, -0.0985260009765625, -0.0936279296875, -0.0887298583984375, -0.083831787109375, -0.0789337158203125, -0.07403564453125, -0.0691375732421875, -0.064239501953125, -0.0593414306640625, -0.054443359375, -0.0495452880859375, -0.044647216796875, -0.0397491455078125, -0.03485107421875, -0.0299530029296875, -0.025054931640625, -0.0201568603515625, -0.0152587890625, -0.0103607177734375, -0.005462646484375, -0.0005645751953125, 0.00433349609375, 0.0092315673828125, 0.014129638671875, 0.0190277099609375, 0.02392578125, 0.0288238525390625, 0.033721923828125, 0.0386199951171875, 0.04351806640625, 0.0484161376953125, 0.053314208984375, 0.0582122802734375, 0.0631103515625, 0.0680084228515625, 0.072906494140625, 0.0778045654296875, 0.08270263671875, 0.0876007080078125, 0.092498779296875, 0.0973968505859375, 0.102294921875, 0.1071929931640625, 0.112091064453125, 0.1169891357421875, 0.12188720703125, 0.1267852783203125, 0.131683349609375, 0.1365814208984375, 0.1414794921875, 0.1463775634765625, 0.151275634765625, 0.1561737060546875, 0.16107177734375, 0.1659698486328125, 0.170867919921875, 0.1757659912109375, 0.1806640625]}, "gradients/decoder.transformer.h.18.ln_1.weight": {"_type": "histogram", "values": [2.0, 2.0, 9.0, 13.0, 49.0, 93.0, 186.0, 238.0, 244.0, 105.0, 45.0, 16.0, 9.0, 7.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10366681963205338, -0.09019280225038528, -0.0767187774181366, -0.0632447600364685, -0.049770742654800415, -0.036296725273132324, -0.022822700440883636, -0.009348683059215546, 0.004125334322452545, 0.017599353566765785, 0.031073372811079025, 0.044547393918037415, 0.058021411299705505, 0.0714954286813736, 0.08496945351362228, 0.09844347089529037, 0.11191748827695847, 0.12539151310920715, 0.13886553049087524, 0.15233954787254333, 0.16581356525421143, 0.17928758263587952, 0.1927616000175476, 0.2062356173992157, 0.2197096347808838, 0.23318365216255188, 0.24665766954421997, 0.26013168692588806, 0.27360570430755615, 0.28707972168922424, 0.30055373907089233, 0.3140277862548828, 0.3275017738342285, 0.3409757912158966, 0.3544498085975647, 0.3679238259792328, 0.3813978433609009, 0.39487186074256897, 0.40834587812423706, 0.42181992530822754, 0.43529391288757324, 0.44876793026924133, 0.4622419476509094, 0.4757159650325775, 0.4891899824142456, 0.5026640295982361, 0.5161380171775818, 0.5296120643615723, 0.543086051940918, 0.5565600991249084, 0.5700340867042542, 0.5835081338882446, 0.5969821214675903, 0.6104561686515808, 0.6239301562309265, 0.637404203414917, 0.6508782505989075, 0.664352297782898, 0.6778262853622437, 0.6913003325462341, 0.7047743201255798, 0.7182483673095703, 0.731722354888916, 0.7451964020729065, 0.7586703896522522]}, "gradients/decoder.transformer.h.18.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 3.0, 3.0, 4.0, 2.0, 3.0, 3.0, 9.0, 7.0, 14.0, 8.0, 17.0, 13.0, 16.0, 9.0, 16.0, 22.0, 22.0, 27.0, 22.0, 26.0, 29.0, 32.0, 48.0, 36.0, 49.0, 41.0, 42.0, 41.0, 40.0, 43.0, 34.0, 40.0, 35.0, 31.0, 22.0, 22.0, 29.0, 14.0, 23.0, 25.0, 12.0, 15.0, 4.0, 13.0, 8.0, 9.0, 8.0, 7.0, 3.0, 2.0, 3.0, 4.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0], "bins": [-0.23962193727493286, -0.23234041035175323, -0.2250588834285736, -0.21777737140655518, -0.21049584448337555, -0.20321431756019592, -0.1959327906370163, -0.18865126371383667, -0.18136975169181824, -0.1740882247686386, -0.16680669784545898, -0.15952518582344055, -0.15224365890026093, -0.1449621319770813, -0.13768060505390167, -0.13039907813072205, -0.12311755120754242, -0.11583602428436279, -0.10855450481176376, -0.10127297788858414, -0.09399145841598511, -0.08670993149280548, -0.07942840456962585, -0.07214687764644623, -0.0648653581738472, -0.05758383497595787, -0.05030231177806854, -0.043020784854888916, -0.03573926165699959, -0.02845773845911026, -0.021176211535930634, -0.013894688338041306, -0.0066131651401519775, 0.0006683589890599251, 0.007949883118271828, 0.015231408178806305, 0.022512931376695633, 0.02979445457458496, 0.03707598149776459, 0.044357504695653915, 0.05163902789354324, 0.05892055109143257, 0.0662020742893219, 0.07348360121250153, 0.08076512813568115, 0.08804664760828018, 0.09532817453145981, 0.10260969400405884, 0.10989122092723846, 0.11717274785041809, 0.12445426732301712, 0.13173580169677734, 0.13901731371879578, 0.1462988406419754, 0.15358036756515503, 0.16086189448833466, 0.16814342141151428, 0.1754249483346939, 0.18270647525787354, 0.18998798727989197, 0.1972695142030716, 0.20455104112625122, 0.21183256804943085, 0.21911409497261047, 0.2263956069946289]}, "gradients/decoder.transformer.h.17.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 3.0, 2.0, 3.0, 2.0, 4.0, 6.0, 4.0, 9.0, 16.0, 16.0, 14.0, 23.0, 25.0, 33.0, 34.0, 44.0, 47.0, 39.0, 54.0, 54.0, 61.0, 54.0, 50.0, 40.0, 54.0, 42.0, 43.0, 33.0, 35.0, 23.0, 20.0, 24.0, 18.0, 20.0, 10.0, 12.0, 9.0, 8.0, 7.0, 5.0, 4.0, 2.0, 4.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.020843505859375, -0.02016139030456543, -0.01947927474975586, -0.01879715919494629, -0.01811504364013672, -0.01743292808532715, -0.016750812530517578, -0.016068696975708008, -0.015386581420898438, -0.014704465866088867, -0.014022350311279297, -0.013340234756469727, -0.012658119201660156, -0.011976003646850586, -0.011293888092041016, -0.010611772537231445, -0.009929656982421875, -0.009247541427612305, -0.008565425872802734, -0.007883310317993164, -0.007201194763183594, -0.0065190792083740234, -0.005836963653564453, -0.005154848098754883, -0.0044727325439453125, -0.003790616989135742, -0.003108501434326172, -0.0024263858795166016, -0.0017442703247070312, -0.001062154769897461, -0.0003800392150878906, 0.0003020763397216797, 0.00098419189453125, 0.0016663074493408203, 0.0023484230041503906, 0.003030538558959961, 0.0037126541137695312, 0.0043947696685791016, 0.005076885223388672, 0.005759000778198242, 0.0064411163330078125, 0.007123231887817383, 0.007805347442626953, 0.008487462997436523, 0.009169578552246094, 0.009851694107055664, 0.010533809661865234, 0.011215925216674805, 0.011898040771484375, 0.012580156326293945, 0.013262271881103516, 0.013944387435913086, 0.014626502990722656, 0.015308618545532227, 0.015990734100341797, 0.016672849655151367, 0.017354965209960938, 0.018037080764770508, 0.018719196319580078, 0.01940131187438965, 0.02008342742919922, 0.02076554298400879, 0.02144765853881836, 0.02212977409362793, 0.0228118896484375]}, "gradients/decoder.transformer.h.17.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 6.0, 10.0, 7.0, 20.0, 12.0, 30.0, 35.0, 56.0, 69.0, 126.0, 167.0, 261.0, 391.0, 671.0, 1121.0, 2319.0, 5944.0, 22062.0, 146034.0, 2200656.0, 1673311.0, 112387.0, 17895.0, 5203.0, 2148.0, 1188.0, 644.0, 460.0, 334.0, 205.0, 155.0, 106.0, 63.0, 52.0, 49.0, 23.0, 19.0, 16.0, 7.0, 10.0, 4.0, 5.0, 2.0, 3.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.07171630859375, -0.06923866271972656, -0.06676101684570312, -0.06428337097167969, -0.06180572509765625, -0.05932807922363281, -0.056850433349609375, -0.05437278747558594, -0.0518951416015625, -0.04941749572753906, -0.046939849853515625, -0.04446220397949219, -0.04198455810546875, -0.03950691223144531, -0.037029266357421875, -0.03455162048339844, -0.032073974609375, -0.029596328735351562, -0.027118682861328125, -0.024641036987304688, -0.02216339111328125, -0.019685745239257812, -0.017208099365234375, -0.014730453491210938, -0.0122528076171875, -0.009775161743164062, -0.007297515869140625, -0.0048198699951171875, -0.00234222412109375, 0.0001354217529296875, 0.002613067626953125, 0.0050907135009765625, 0.007568359375, 0.010046005249023438, 0.012523651123046875, 0.015001296997070312, 0.01747894287109375, 0.019956588745117188, 0.022434234619140625, 0.024911880493164062, 0.0273895263671875, 0.029867172241210938, 0.032344818115234375, 0.03482246398925781, 0.03730010986328125, 0.03977775573730469, 0.042255401611328125, 0.04473304748535156, 0.047210693359375, 0.04968833923339844, 0.052165985107421875, 0.05464363098144531, 0.05712127685546875, 0.05959892272949219, 0.062076568603515625, 0.06455421447753906, 0.0670318603515625, 0.06950950622558594, 0.07198715209960938, 0.07446479797363281, 0.07694244384765625, 0.07942008972167969, 0.08189773559570312, 0.08437538146972656, 0.08685302734375]}, "gradients/decoder.transformer.h.17.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 3.0, 8.0, 11.0, 10.0, 10.0, 30.0, 39.0, 54.0, 103.0, 165.0, 282.0, 465.0, 700.0, 860.0, 531.0, 303.0, 209.0, 112.0, 65.0, 42.0, 34.0, 18.0, 12.0, 7.0, 6.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10528564453125, -0.10245037078857422, -0.09961509704589844, -0.09677982330322266, -0.09394454956054688, -0.0911092758178711, -0.08827400207519531, -0.08543872833251953, -0.08260345458984375, -0.07976818084716797, -0.07693290710449219, -0.0740976333618164, -0.07126235961914062, -0.06842708587646484, -0.06559181213378906, -0.06275653839111328, -0.0599212646484375, -0.05708599090576172, -0.05425071716308594, -0.051415443420410156, -0.048580169677734375, -0.045744895935058594, -0.04290962219238281, -0.04007434844970703, -0.03723907470703125, -0.03440380096435547, -0.03156852722167969, -0.028733253479003906, -0.025897979736328125, -0.023062705993652344, -0.020227432250976562, -0.01739215850830078, -0.014556884765625, -0.011721611022949219, -0.008886337280273438, -0.006051063537597656, -0.003215789794921875, -0.00038051605224609375, 0.0024547576904296875, 0.005290031433105469, 0.00812530517578125, 0.010960578918457031, 0.013795852661132812, 0.016631126403808594, 0.019466400146484375, 0.022301673889160156, 0.025136947631835938, 0.02797222137451172, 0.0308074951171875, 0.03364276885986328, 0.03647804260253906, 0.039313316345214844, 0.042148590087890625, 0.044983863830566406, 0.04781913757324219, 0.05065441131591797, 0.05348968505859375, 0.05632495880126953, 0.05916023254394531, 0.061995506286621094, 0.06483078002929688, 0.06766605377197266, 0.07050132751464844, 0.07333660125732422, 0.076171875]}, "gradients/decoder.transformer.h.17.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 2.0, 5.0, 4.0, 16.0, 12.0, 17.0, 28.0, 37.0, 55.0, 86.0, 152.0, 269.0, 508.0, 1222.0, 3250.0, 12159.0, 71101.0, 978666.0, 2899386.0, 194335.0, 24117.0, 5437.0, 1822.0, 707.0, 357.0, 190.0, 122.0, 78.0, 48.0, 25.0, 21.0, 23.0, 9.0, 5.0, 5.0, 4.0, 2.0, 5.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1075439453125, -0.10327911376953125, -0.0990142822265625, -0.09474945068359375, -0.090484619140625, -0.08621978759765625, -0.0819549560546875, -0.07769012451171875, -0.07342529296875, -0.06916046142578125, -0.0648956298828125, -0.06063079833984375, -0.056365966796875, -0.05210113525390625, -0.0478363037109375, -0.04357147216796875, -0.039306640625, -0.03504180908203125, -0.0307769775390625, -0.02651214599609375, -0.022247314453125, -0.01798248291015625, -0.0137176513671875, -0.00945281982421875, -0.00518798828125, -0.00092315673828125, 0.0033416748046875, 0.00760650634765625, 0.011871337890625, 0.01613616943359375, 0.0204010009765625, 0.02466583251953125, 0.0289306640625, 0.03319549560546875, 0.0374603271484375, 0.04172515869140625, 0.045989990234375, 0.05025482177734375, 0.0545196533203125, 0.05878448486328125, 0.06304931640625, 0.06731414794921875, 0.0715789794921875, 0.07584381103515625, 0.080108642578125, 0.08437347412109375, 0.0886383056640625, 0.09290313720703125, 0.09716796875, 0.10143280029296875, 0.1056976318359375, 0.10996246337890625, 0.114227294921875, 0.11849212646484375, 0.1227569580078125, 0.12702178955078125, 0.13128662109375, 0.13555145263671875, 0.1398162841796875, 0.14408111572265625, 0.148345947265625, 0.15261077880859375, 0.1568756103515625, 0.16114044189453125, 0.1654052734375]}, "gradients/decoder.transformer.h.17.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 3.0, 5.0, 10.0, 12.0, 16.0, 27.0, 43.0, 40.0, 64.0, 73.0, 106.0, 107.0, 102.0, 94.0, 78.0, 82.0, 42.0, 36.0, 23.0, 15.0, 14.0, 6.0, 4.0, 4.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.4603995978832245, -0.4501684904098511, -0.43993738293647766, -0.42970627546310425, -0.41947513818740845, -0.40924403071403503, -0.3990129232406616, -0.3887818157672882, -0.3785507082939148, -0.3683196008205414, -0.35808849334716797, -0.34785738587379456, -0.33762627840042114, -0.32739514112472534, -0.31716403365135193, -0.3069329261779785, -0.2967018187046051, -0.2864707112312317, -0.2762396037578583, -0.26600849628448486, -0.25577735900878906, -0.24554626643657684, -0.23531514406204224, -0.22508403658866882, -0.2148529291152954, -0.204621821641922, -0.19439071416854858, -0.18415959179401398, -0.17392848432064056, -0.16369737684726715, -0.15346625447273254, -0.14323514699935913, -0.1330040693283081, -0.12277296185493469, -0.11254184693098068, -0.10231073200702667, -0.09207962453365326, -0.08184851706027985, -0.07161740213632584, -0.061386287212371826, -0.05115517973899841, -0.0409240685403347, -0.03069295734167099, -0.02046184614300728, -0.010230734944343567, 3.762543201446533e-07, 0.010231487452983856, 0.020462602376937866, 0.03069370985031128, 0.04092482104897499, 0.0511559322476387, 0.061387043446302414, 0.07161815464496613, 0.08184926211833954, 0.09208037704229355, 0.10231149196624756, 0.11254259943962097, 0.12277370691299438, 0.1330048143863678, 0.1432359367609024, 0.15346704423427582, 0.16369815170764923, 0.17392927408218384, 0.18416038155555725, 0.19439148902893066]}, "gradients/decoder.transformer.h.17.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 0.0, 3.0, 1.0, 2.0, 5.0, 6.0, 10.0, 12.0, 17.0, 10.0, 17.0, 16.0, 23.0, 30.0, 25.0, 25.0, 33.0, 39.0, 42.0, 41.0, 57.0, 40.0, 45.0, 51.0, 46.0, 43.0, 47.0, 31.0, 47.0, 32.0, 26.0, 22.0, 20.0, 24.0, 20.0, 24.0, 12.0, 9.0, 16.0, 8.0, 8.0, 7.0, 2.0, 3.0, 5.0, 2.0, 2.0, 2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.21918004751205444, -0.21244901418685913, -0.20571796596050262, -0.1989869326353073, -0.1922558844089508, -0.1855248510837555, -0.17879381775856018, -0.17206276953220367, -0.16533172130584717, -0.15860068798065186, -0.15186963975429535, -0.14513860642910004, -0.13840755820274353, -0.13167652487754822, -0.12494548410177231, -0.1182144433259964, -0.11148341000080109, -0.10475236922502518, -0.09802132844924927, -0.09129029512405396, -0.08455924689769745, -0.07782821357250214, -0.07109717279672623, -0.06436613202095032, -0.05763509124517441, -0.0509040504693985, -0.04417300969362259, -0.03744197264313698, -0.03071093186736107, -0.02397989109158516, -0.01724885404109955, -0.010517813265323639, -0.0037867724895477295, 0.0029442673549056053, 0.00967530719935894, 0.0164063461124897, 0.02313738688826561, 0.02986842766404152, 0.03659946471452713, 0.04333050549030304, 0.05006154626607895, 0.05679258704185486, 0.06352362781763077, 0.07025466859340668, 0.07698570191860199, 0.0837167501449585, 0.09044778347015381, 0.09717882424592972, 0.10390986502170563, 0.11064090579748154, 0.11737194657325745, 0.12410297989845276, 0.13083402812480927, 0.13756506145000458, 0.14429610967636108, 0.1510271430015564, 0.1577581763267517, 0.16448920965194702, 0.17122025787830353, 0.17795129120349884, 0.18468233942985535, 0.19141337275505066, 0.19814440608024597, 0.20487545430660248, 0.21160650253295898]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 1.0, 3.0, 3.0, 2.0, 2.0, 6.0, 5.0, 1.0, 6.0, 14.0, 9.0, 11.0, 11.0, 22.0, 23.0, 27.0, 36.0, 35.0, 44.0, 40.0, 48.0, 46.0, 60.0, 41.0, 49.0, 49.0, 44.0, 47.0, 42.0, 43.0, 33.0, 33.0, 29.0, 20.0, 18.0, 22.0, 15.0, 17.0, 10.0, 5.0, 13.0, 10.0, 6.0, 5.0, 4.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0188751220703125, -0.018213272094726562, -0.017551422119140625, -0.016889572143554688, -0.01622772216796875, -0.015565872192382812, -0.014904022216796875, -0.014242172241210938, -0.013580322265625, -0.012918472290039062, -0.012256622314453125, -0.011594772338867188, -0.01093292236328125, -0.010271072387695312, -0.009609222412109375, -0.008947372436523438, -0.0082855224609375, -0.0076236724853515625, -0.006961822509765625, -0.0062999725341796875, -0.00563812255859375, -0.0049762725830078125, -0.004314422607421875, -0.0036525726318359375, -0.00299072265625, -0.0023288726806640625, -0.001667022705078125, -0.0010051727294921875, -0.00034332275390625, 0.0003185272216796875, 0.000980377197265625, 0.0016422271728515625, 0.0023040771484375, 0.0029659271240234375, 0.003627777099609375, 0.0042896270751953125, 0.00495147705078125, 0.0056133270263671875, 0.006275177001953125, 0.0069370269775390625, 0.007598876953125, 0.008260726928710938, 0.008922576904296875, 0.009584426879882812, 0.01024627685546875, 0.010908126831054688, 0.011569976806640625, 0.012231826782226562, 0.0128936767578125, 0.013555526733398438, 0.014217376708984375, 0.014879226684570312, 0.01554107666015625, 0.016202926635742188, 0.016864776611328125, 0.017526626586914062, 0.0181884765625, 0.018850326538085938, 0.019512176513671875, 0.020174026489257812, 0.02083587646484375, 0.021497726440429688, 0.022159576416015625, 0.022821426391601562, 0.0234832763671875]}, "gradients/decoder.transformer.h.17.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 4.0, 1.0, 4.0, 2.0, 10.0, 7.0, 15.0, 22.0, 29.0, 57.0, 77.0, 93.0, 142.0, 209.0, 266.0, 436.0, 625.0, 1003.0, 1511.0, 2329.0, 3770.0, 6161.0, 10480.0, 18132.0, 32519.0, 62215.0, 130149.0, 378724.0, 205535.0, 88684.0, 45587.0, 24579.0, 13825.0, 8052.0, 4725.0, 2932.0, 1849.0, 1234.0, 807.0, 548.0, 408.0, 249.0, 183.0, 123.0, 85.0, 50.0, 38.0, 30.0, 9.0, 15.0, 7.0, 9.0, 3.0, 4.0, 2.0, 4.0, 3.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.00015664100646972656, -0.00015137717127799988, -0.0001461133360862732, -0.0001408495008945465, -0.00013558566570281982, -0.00013032183051109314, -0.00012505799531936646, -0.00011979416012763977, -0.00011453032493591309, -0.0001092664897441864, -0.00010400265455245972, -9.873881936073303e-05, -9.347498416900635e-05, -8.821114897727966e-05, -8.294731378555298e-05, -7.76834785938263e-05, -7.241964340209961e-05, -6.715580821037292e-05, -6.189197301864624e-05, -5.6628137826919556e-05, -5.136430263519287e-05, -4.6100467443466187e-05, -4.08366322517395e-05, -3.557279706001282e-05, -3.0308961868286133e-05, -2.5045126676559448e-05, -1.9781291484832764e-05, -1.4517456293106079e-05, -9.253621101379395e-06, -3.98978590965271e-06, 1.2740492820739746e-06, 6.537884473800659e-06, 1.1801719665527344e-05, 1.706555485725403e-05, 2.2329390048980713e-05, 2.7593225240707397e-05, 3.285706043243408e-05, 3.8120895624160767e-05, 4.338473081588745e-05, 4.8648566007614136e-05, 5.391240119934082e-05, 5.9176236391067505e-05, 6.444007158279419e-05, 6.970390677452087e-05, 7.496774196624756e-05, 8.023157715797424e-05, 8.549541234970093e-05, 9.075924754142761e-05, 9.60230827331543e-05, 0.00010128691792488098, 0.00010655075311660767, 0.00011181458830833435, 0.00011707842350006104, 0.00012234225869178772, 0.0001276060938835144, 0.0001328699290752411, 0.00013813376426696777, 0.00014339759945869446, 0.00014866143465042114, 0.00015392526984214783, 0.0001591891050338745, 0.0001644529402256012, 0.00016971677541732788, 0.00017498061060905457, 0.00018024444580078125]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 3.0, 1.0, 1.0, 3.0, 4.0, 16.0, 6.0, 10.0, 9.0, 16.0, 22.0, 25.0, 30.0, 22.0, 26.0, 21.0, 33.0, 37.0, 26.0, 34.0, 36.0, 41.0, 39.0, 1065.0, 34.0, 46.0, 34.0, 33.0, 48.0, 37.0, 31.0, 26.0, 30.0, 41.0, 20.0, 18.0, 21.0, 13.0, 20.0, 12.0, 10.0, 8.0, 9.0, 7.0, 3.0, 5.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0223846435546875, -0.021657228469848633, -0.020929813385009766, -0.0202023983001709, -0.01947498321533203, -0.018747568130493164, -0.018020153045654297, -0.01729273796081543, -0.016565322875976562, -0.015837907791137695, -0.015110492706298828, -0.014383077621459961, -0.013655662536621094, -0.012928247451782227, -0.01220083236694336, -0.011473417282104492, -0.010746002197265625, -0.010018587112426758, -0.00929117202758789, -0.008563756942749023, -0.007836341857910156, -0.007108926773071289, -0.006381511688232422, -0.005654096603393555, -0.0049266815185546875, -0.00419926643371582, -0.003471851348876953, -0.002744436264038086, -0.0020170211791992188, -0.0012896060943603516, -0.0005621910095214844, 0.0001652240753173828, 0.00089263916015625, 0.0016200542449951172, 0.0023474693298339844, 0.0030748844146728516, 0.0038022994995117188, 0.004529714584350586, 0.005257129669189453, 0.00598454475402832, 0.0067119598388671875, 0.007439374923706055, 0.008166790008544922, 0.008894205093383789, 0.009621620178222656, 0.010349035263061523, 0.01107645034790039, 0.011803865432739258, 0.012531280517578125, 0.013258695602416992, 0.01398611068725586, 0.014713525772094727, 0.015440940856933594, 0.01616835594177246, 0.016895771026611328, 0.017623186111450195, 0.018350601196289062, 0.01907801628112793, 0.019805431365966797, 0.020532846450805664, 0.02126026153564453, 0.0219876766204834, 0.022715091705322266, 0.023442506790161133, 0.024169921875]}, "gradients/decoder.transformer.h.17.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 5.0, 3.0, 5.0, 10.0, 9.0, 10.0, 13.0, 15.0, 16.0, 21.0, 16.0, 25.0, 36.0, 29.0, 28.0, 36.0, 38.0, 74.0, 131.0, 424.0, 2029.0, 19450.0, 2068331.0, 4944.0, 813.0, 221.0, 80.0, 39.0, 39.0, 33.0, 21.0, 25.0, 21.0, 34.0, 21.0, 25.0, 11.0, 11.0, 11.0, 10.0, 9.0, 5.0, 4.0, 1.0, 1.0, 4.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.6524066925048828e-05, -2.5725923478603363e-05, -2.4927780032157898e-05, -2.4129636585712433e-05, -2.3331493139266968e-05, -2.2533349692821503e-05, -2.1735206246376038e-05, -2.0937062799930573e-05, -2.0138919353485107e-05, -1.9340775907039642e-05, -1.8542632460594177e-05, -1.7744489014148712e-05, -1.6946345567703247e-05, -1.6148202121257782e-05, -1.5350058674812317e-05, -1.4551915228366852e-05, -1.3753771781921387e-05, -1.2955628335475922e-05, -1.2157484889030457e-05, -1.1359341442584991e-05, -1.0561197996139526e-05, -9.763054549694061e-06, -8.964911103248596e-06, -8.166767656803131e-06, -7.368624210357666e-06, -6.570480763912201e-06, -5.772337317466736e-06, -4.974193871021271e-06, -4.176050424575806e-06, -3.3779069781303406e-06, -2.5797635316848755e-06, -1.7816200852394104e-06, -9.834766387939453e-07, -1.8533319234848022e-07, 6.128102540969849e-07, 1.41095370054245e-06, 2.209097146987915e-06, 3.00724059343338e-06, 3.8053840398788452e-06, 4.60352748632431e-06, 5.401670932769775e-06, 6.1998143792152405e-06, 6.9979578256607056e-06, 7.79610127210617e-06, 8.594244718551636e-06, 9.3923881649971e-06, 1.0190531611442566e-05, 1.0988675057888031e-05, 1.1786818504333496e-05, 1.2584961950778961e-05, 1.3383105397224426e-05, 1.4181248843669891e-05, 1.4979392290115356e-05, 1.577753573656082e-05, 1.6575679183006287e-05, 1.7373822629451752e-05, 1.8171966075897217e-05, 1.8970109522342682e-05, 1.9768252968788147e-05, 2.0566396415233612e-05, 2.1364539861679077e-05, 2.2162683308124542e-05, 2.2960826754570007e-05, 2.3758970201015472e-05, 2.4557113647460938e-05]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.17.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 1.0, 3.0, 3.0, 2.0, 2.0, 6.0, 5.0, 1.0, 6.0, 14.0, 9.0, 11.0, 11.0, 22.0, 23.0, 27.0, 36.0, 35.0, 44.0, 40.0, 48.0, 46.0, 60.0, 41.0, 49.0, 49.0, 44.0, 47.0, 42.0, 43.0, 33.0, 33.0, 29.0, 20.0, 18.0, 22.0, 15.0, 17.0, 10.0, 5.0, 13.0, 10.0, 6.0, 5.0, 4.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0188751220703125, -0.018213272094726562, -0.017551422119140625, -0.016889572143554688, -0.01622772216796875, -0.015565872192382812, -0.014904022216796875, -0.014242172241210938, -0.013580322265625, -0.012918472290039062, -0.012256622314453125, -0.011594772338867188, -0.01093292236328125, -0.010271072387695312, -0.009609222412109375, -0.008947372436523438, -0.0082855224609375, -0.0076236724853515625, -0.006961822509765625, -0.0062999725341796875, -0.00563812255859375, -0.0049762725830078125, -0.004314422607421875, -0.0036525726318359375, -0.00299072265625, -0.0023288726806640625, -0.001667022705078125, -0.0010051727294921875, -0.00034332275390625, 0.0003185272216796875, 0.000980377197265625, 0.0016422271728515625, 0.0023040771484375, 0.0029659271240234375, 0.003627777099609375, 0.0042896270751953125, 0.00495147705078125, 0.0056133270263671875, 0.006275177001953125, 0.0069370269775390625, 0.007598876953125, 0.008260726928710938, 0.008922576904296875, 0.009584426879882812, 0.01024627685546875, 0.010908126831054688, 0.011569976806640625, 0.012231826782226562, 0.0128936767578125, 0.013555526733398438, 0.014217376708984375, 0.014879226684570312, 0.01554107666015625, 0.016202926635742188, 0.016864776611328125, 0.017526626586914062, 0.0181884765625, 0.018850326538085938, 0.019512176513671875, 0.020174026489257812, 0.02083587646484375, 0.021497726440429688, 0.022159576416015625, 0.022821426391601562, 0.0234832763671875]}, "gradients/decoder.transformer.h.17.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 6.0, 2.0, 2.0, 2.0, 11.0, 6.0, 7.0, 7.0, 16.0, 19.0, 18.0, 34.0, 48.0, 56.0, 76.0, 152.0, 211.0, 373.0, 731.0, 1717.0, 5117.0, 20073.0, 119188.0, 803219.0, 76009.0, 14497.0, 3960.0, 1364.0, 645.0, 363.0, 197.0, 121.0, 82.0, 50.0, 47.0, 29.0, 28.0, 15.0, 18.0, 10.0, 11.0, 3.0, 9.0, 3.0, 3.0, 4.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.08990478515625, -0.08729076385498047, -0.08467674255371094, -0.0820627212524414, -0.07944869995117188, -0.07683467864990234, -0.07422065734863281, -0.07160663604736328, -0.06899261474609375, -0.06637859344482422, -0.06376457214355469, -0.061150550842285156, -0.058536529541015625, -0.055922508239746094, -0.05330848693847656, -0.05069446563720703, -0.0480804443359375, -0.04546642303466797, -0.04285240173339844, -0.040238380432128906, -0.037624359130859375, -0.035010337829589844, -0.03239631652832031, -0.02978229522705078, -0.02716827392578125, -0.02455425262451172, -0.021940231323242188, -0.019326210021972656, -0.016712188720703125, -0.014098167419433594, -0.011484146118164062, -0.008870124816894531, -0.006256103515625, -0.0036420822143554688, -0.0010280609130859375, 0.0015859603881835938, 0.004199981689453125, 0.006814002990722656, 0.009428024291992188, 0.012042045593261719, 0.01465606689453125, 0.01727008819580078, 0.019884109497070312, 0.022498130798339844, 0.025112152099609375, 0.027726173400878906, 0.030340194702148438, 0.03295421600341797, 0.0355682373046875, 0.03818225860595703, 0.04079627990722656, 0.043410301208496094, 0.046024322509765625, 0.048638343811035156, 0.05125236511230469, 0.05386638641357422, 0.05648040771484375, 0.05909442901611328, 0.06170845031738281, 0.06432247161865234, 0.06693649291992188, 0.0695505142211914, 0.07216453552246094, 0.07477855682373047, 0.077392578125]}, "gradients/decoder.transformer.h.17.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 4.0, 3.0, 9.0, 7.0, 6.0, 9.0, 9.0, 18.0, 16.0, 19.0, 16.0, 23.0, 22.0, 20.0, 30.0, 27.0, 41.0, 46.0, 52.0, 79.0, 106.0, 339.0, 1517.0, 126.0, 82.0, 51.0, 48.0, 34.0, 24.0, 32.0, 29.0, 31.0, 20.0, 22.0, 24.0, 21.0, 13.0, 19.0, 12.0, 8.0, 10.0, 6.0, 4.0, 9.0, 3.0, 0.0, 5.0, 2.0, 3.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.06707763671875, -0.06505012512207031, -0.06302261352539062, -0.06099510192871094, -0.05896759033203125, -0.05694007873535156, -0.054912567138671875, -0.05288505554199219, -0.0508575439453125, -0.04883003234863281, -0.046802520751953125, -0.04477500915527344, -0.04274749755859375, -0.04071998596191406, -0.038692474365234375, -0.03666496276855469, -0.034637451171875, -0.03260993957519531, -0.030582427978515625, -0.028554916381835938, -0.02652740478515625, -0.024499893188476562, -0.022472381591796875, -0.020444869995117188, -0.0184173583984375, -0.016389846801757812, -0.014362335205078125, -0.012334823608398438, -0.01030731201171875, -0.008279800415039062, -0.006252288818359375, -0.0042247772216796875, -0.002197265625, -0.0001697540283203125, 0.001857757568359375, 0.0038852691650390625, 0.00591278076171875, 0.007940292358398438, 0.009967803955078125, 0.011995315551757812, 0.0140228271484375, 0.016050338745117188, 0.018077850341796875, 0.020105361938476562, 0.02213287353515625, 0.024160385131835938, 0.026187896728515625, 0.028215408325195312, 0.030242919921875, 0.03227043151855469, 0.034297943115234375, 0.03632545471191406, 0.03835296630859375, 0.04038047790527344, 0.042407989501953125, 0.04443550109863281, 0.0464630126953125, 0.04849052429199219, 0.050518035888671875, 0.05254554748535156, 0.05457305908203125, 0.05660057067871094, 0.058628082275390625, 0.06065559387207031, 0.06268310546875]}, "gradients/decoder.transformer.h.17.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 3.0, 7.0, 5.0, 8.0, 12.0, 8.0, 9.0, 16.0, 17.0, 19.0, 32.0, 35.0, 46.0, 56.0, 80.0, 88.0, 140.0, 187.0, 379.0, 860.0, 3762.0, 25766.0, 601832.0, 2462824.0, 41603.0, 5573.0, 1183.0, 428.0, 202.0, 124.0, 95.0, 67.0, 51.0, 41.0, 34.0, 23.0, 16.0, 18.0, 18.0, 10.0, 6.0, 5.0, 9.0, 6.0, 2.0, 1.0, 4.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.110595703125, -0.10692214965820312, -0.10324859619140625, -0.09957504272460938, -0.0959014892578125, -0.09222793579101562, -0.08855438232421875, -0.08488082885742188, -0.081207275390625, -0.07753372192382812, -0.07386016845703125, -0.07018661499023438, -0.0665130615234375, -0.06283950805664062, -0.05916595458984375, -0.055492401123046875, -0.05181884765625, -0.048145294189453125, -0.04447174072265625, -0.040798187255859375, -0.0371246337890625, -0.033451080322265625, -0.02977752685546875, -0.026103973388671875, -0.022430419921875, -0.018756866455078125, -0.01508331298828125, -0.011409759521484375, -0.0077362060546875, -0.004062652587890625, -0.00038909912109375, 0.003284454345703125, 0.0069580078125, 0.010631561279296875, 0.01430511474609375, 0.017978668212890625, 0.0216522216796875, 0.025325775146484375, 0.02899932861328125, 0.032672882080078125, 0.036346435546875, 0.040019989013671875, 0.04369354248046875, 0.047367095947265625, 0.0510406494140625, 0.054714202880859375, 0.05838775634765625, 0.062061309814453125, 0.06573486328125, 0.06940841674804688, 0.07308197021484375, 0.07675552368164062, 0.0804290771484375, 0.08410263061523438, 0.08777618408203125, 0.09144973754882812, 0.095123291015625, 0.09879684448242188, 0.10247039794921875, 0.10614395141601562, 0.1098175048828125, 0.11349105834960938, 0.11716461181640625, 0.12083816528320312, 0.12451171875]}, "gradients/decoder.transformer.h.17.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 20.0, 390.0, 567.0, 40.0, 2.0], "bins": [-2.2334580421447754, -2.196892499923706, -2.1603269577026367, -2.1237611770629883, -2.087195634841919, -2.0506300926208496, -2.0140645503997803, -1.9774988889694214, -1.940933346748352, -1.9043678045272827, -1.8678021430969238, -1.8312366008758545, -1.7946709394454956, -1.7581053972244263, -1.7215397357940674, -1.684974193572998, -1.6484086513519287, -1.6118431091308594, -1.5752774477005005, -1.5387119054794312, -1.5021462440490723, -1.465580701828003, -1.4290151596069336, -1.3924494981765747, -1.3558838367462158, -1.3193182945251465, -1.2827526330947876, -1.2461870908737183, -1.2096214294433594, -1.17305588722229, -1.1364903450012207, -1.0999246835708618, -1.063359022140503, -1.0267934799194336, -0.9902278184890747, -0.9536622762680054, -0.9170966744422913, -0.8805310726165771, -0.843965470790863, -0.8073998689651489, -0.7708343267440796, -0.7342687249183655, -0.6977031230926514, -0.661137580871582, -0.6245719790458679, -0.5880063772201538, -0.5514407753944397, -0.5148751735687256, -0.4783095717430115, -0.44174396991729736, -0.40517839789390564, -0.36861279606819153, -0.3320472240447998, -0.2954816222190857, -0.2589160203933716, -0.22235044836997986, -0.18578484654426575, -0.14921925961971283, -0.11265366524457932, -0.0760880708694458, -0.03952248394489288, -0.002956897020339966, 0.033608704805374146, 0.07017427682876587, 0.10673987120389938]}, "gradients/decoder.transformer.h.17.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 5.0, 3.0, 1.0, 3.0, 7.0, 4.0, 6.0, 4.0, 16.0, 12.0, 14.0, 17.0, 24.0, 17.0, 32.0, 26.0, 32.0, 26.0, 28.0, 25.0, 24.0, 36.0, 43.0, 31.0, 38.0, 33.0, 29.0, 32.0, 49.0, 32.0, 43.0, 31.0, 31.0, 32.0, 29.0, 27.0, 15.0, 16.0, 21.0, 16.0, 17.0, 18.0, 10.0, 8.0, 7.0, 6.0, 9.0, 7.0, 3.0, 5.0, 2.0, 3.0, 4.0, 3.0, 1.0, 2.0, 2.0], "bins": [-0.19160425662994385, -0.18571051955223083, -0.17981676757335663, -0.17392301559448242, -0.1680292785167694, -0.1621355414390564, -0.1562417894601822, -0.15034803748130798, -0.14445430040359497, -0.13856056332588196, -0.13266681134700775, -0.12677305936813354, -0.12087932229042053, -0.11498557776212692, -0.10909183323383331, -0.1031980887055397, -0.0973043441772461, -0.09141059964895248, -0.08551685512065887, -0.07962311059236526, -0.07372936606407166, -0.06783562153577805, -0.061941877007484436, -0.056048132479190826, -0.05015438795089722, -0.04426064342260361, -0.03836689889431, -0.03247315436601639, -0.02657940983772278, -0.02068566530942917, -0.014791920781135559, -0.00889817625284195, -0.00300443172454834, 0.0028893128037452698, 0.00878305733203888, 0.014676801860332489, 0.0205705463886261, 0.026464290916919708, 0.03235803544521332, 0.03825177997350693, 0.04414552450180054, 0.05003926903009415, 0.055933013558387756, 0.061826758086681366, 0.06772050261497498, 0.07361424714326859, 0.0795079916715622, 0.0854017361998558, 0.09129548072814941, 0.09718922525644302, 0.10308296978473663, 0.10897671431303024, 0.11487045884132385, 0.12076420336961746, 0.12665794789791107, 0.13255169987678528, 0.1384454369544983, 0.1443391740322113, 0.1502329260110855, 0.15612667798995972, 0.16202041506767273, 0.16791415214538574, 0.17380790412425995, 0.17970165610313416, 0.18559539318084717]}, "gradients/decoder.transformer.h.16.mlp.c_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 3.0, 2.0, 3.0, 3.0, 1.0, 4.0, 2.0, 3.0, 5.0, 8.0, 13.0, 11.0, 13.0, 10.0, 17.0, 27.0, 34.0, 33.0, 23.0, 40.0, 39.0, 54.0, 53.0, 45.0, 49.0, 47.0, 38.0, 42.0, 38.0, 44.0, 41.0, 37.0, 33.0, 32.0, 16.0, 20.0, 22.0, 20.0, 14.0, 13.0, 13.0, 10.0, 10.0, 10.0, 5.0, 5.0, 5.0, 2.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0183868408203125, -0.017747879028320312, -0.017108917236328125, -0.016469955444335938, -0.01583099365234375, -0.015192031860351562, -0.014553070068359375, -0.013914108276367188, -0.013275146484375, -0.012636184692382812, -0.011997222900390625, -0.011358261108398438, -0.01071929931640625, -0.010080337524414062, -0.009441375732421875, -0.008802413940429688, -0.0081634521484375, -0.0075244903564453125, -0.006885528564453125, -0.0062465667724609375, -0.00560760498046875, -0.0049686431884765625, -0.004329681396484375, -0.0036907196044921875, -0.0030517578125, -0.0024127960205078125, -0.001773834228515625, -0.0011348724365234375, -0.00049591064453125, 0.0001430511474609375, 0.000782012939453125, 0.0014209747314453125, 0.0020599365234375, 0.0026988983154296875, 0.003337860107421875, 0.0039768218994140625, 0.00461578369140625, 0.0052547454833984375, 0.005893707275390625, 0.0065326690673828125, 0.007171630859375, 0.0078105926513671875, 0.008449554443359375, 0.009088516235351562, 0.00972747802734375, 0.010366439819335938, 0.011005401611328125, 0.011644363403320312, 0.0122833251953125, 0.012922286987304688, 0.013561248779296875, 0.014200210571289062, 0.01483917236328125, 0.015478134155273438, 0.016117095947265625, 0.016756057739257812, 0.01739501953125, 0.018033981323242188, 0.018672943115234375, 0.019311904907226562, 0.01995086669921875, 0.020589828491210938, 0.021228790283203125, 0.021867752075195312, 0.0225067138671875]}, "gradients/decoder.transformer.h.16.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 4.0, 3.0, 3.0, 2.0, 5.0, 15.0, 6.0, 14.0, 23.0, 22.0, 18.0, 36.0, 49.0, 99.0, 154.0, 239.0, 442.0, 897.0, 2006.0, 6335.0, 37782.0, 619649.0, 3306483.0, 194349.0, 18198.0, 4026.0, 1535.0, 738.0, 394.0, 272.0, 135.0, 99.0, 49.0, 67.0, 30.0, 25.0, 23.0, 10.0, 9.0, 9.0, 9.0, 12.0, 4.0, 1.0, 3.0, 3.0, 4.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.09393310546875, -0.0907297134399414, -0.08752632141113281, -0.08432292938232422, -0.08111953735351562, -0.07791614532470703, -0.07471275329589844, -0.07150936126708984, -0.06830596923828125, -0.06510257720947266, -0.06189918518066406, -0.05869579315185547, -0.055492401123046875, -0.05228900909423828, -0.04908561706542969, -0.045882225036621094, -0.0426788330078125, -0.039475440979003906, -0.03627204895019531, -0.03306865692138672, -0.029865264892578125, -0.02666187286376953, -0.023458480834960938, -0.020255088806152344, -0.01705169677734375, -0.013848304748535156, -0.010644912719726562, -0.007441520690917969, -0.004238128662109375, -0.0010347366333007812, 0.0021686553955078125, 0.005372047424316406, 0.008575439453125, 0.011778831481933594, 0.014982223510742188, 0.01818561553955078, 0.021389007568359375, 0.02459239959716797, 0.027795791625976562, 0.030999183654785156, 0.03420257568359375, 0.037405967712402344, 0.04060935974121094, 0.04381275177001953, 0.047016143798828125, 0.05021953582763672, 0.05342292785644531, 0.056626319885253906, 0.0598297119140625, 0.0630331039428711, 0.06623649597167969, 0.06943988800048828, 0.07264328002929688, 0.07584667205810547, 0.07905006408691406, 0.08225345611572266, 0.08545684814453125, 0.08866024017333984, 0.09186363220214844, 0.09506702423095703, 0.09827041625976562, 0.10147380828857422, 0.10467720031738281, 0.1078805923461914, 0.111083984375]}, "gradients/decoder.transformer.h.16.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 0.0, 2.0, 4.0, 3.0, 8.0, 12.0, 12.0, 16.0, 28.0, 51.0, 62.0, 80.0, 145.0, 232.0, 336.0, 453.0, 619.0, 612.0, 448.0, 321.0, 196.0, 143.0, 100.0, 60.0, 49.0, 31.0, 22.0, 15.0, 10.0, 5.0, 3.0, 2.0, 2.0, 4.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08734130859375, -0.0850987434387207, -0.0828561782836914, -0.08061361312866211, -0.07837104797363281, -0.07612848281860352, -0.07388591766357422, -0.07164335250854492, -0.06940078735351562, -0.06715822219848633, -0.06491565704345703, -0.06267309188842773, -0.06043052673339844, -0.05818796157836914, -0.055945396423339844, -0.05370283126831055, -0.05146026611328125, -0.04921770095825195, -0.046975135803222656, -0.04473257064819336, -0.04249000549316406, -0.040247440338134766, -0.03800487518310547, -0.03576231002807617, -0.033519744873046875, -0.03127717971801758, -0.02903461456298828, -0.026792049407958984, -0.024549484252929688, -0.02230691909790039, -0.020064353942871094, -0.017821788787841797, -0.0155792236328125, -0.013336658477783203, -0.011094093322753906, -0.00885152816772461, -0.0066089630126953125, -0.004366397857666016, -0.0021238327026367188, 0.00011873245239257812, 0.002361297607421875, 0.004603862762451172, 0.006846427917480469, 0.009088993072509766, 0.011331558227539062, 0.01357412338256836, 0.015816688537597656, 0.018059253692626953, 0.02030181884765625, 0.022544384002685547, 0.024786949157714844, 0.02702951431274414, 0.029272079467773438, 0.031514644622802734, 0.03375720977783203, 0.03599977493286133, 0.038242340087890625, 0.04048490524291992, 0.04272747039794922, 0.044970035552978516, 0.04721260070800781, 0.04945516586303711, 0.051697731018066406, 0.0539402961730957, 0.056182861328125]}, "gradients/decoder.transformer.h.16.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 4.0, 3.0, 3.0, 14.0, 12.0, 10.0, 17.0, 33.0, 41.0, 57.0, 92.0, 148.0, 235.0, 474.0, 1057.0, 3323.0, 16341.0, 153590.0, 2811565.0, 1129927.0, 64600.0, 8950.0, 2165.0, 761.0, 335.0, 172.0, 117.0, 70.0, 49.0, 37.0, 20.0, 20.0, 7.0, 12.0, 9.0, 7.0, 5.0, 2.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.1298828125, -0.1252155303955078, -0.12054824829101562, -0.11588096618652344, -0.11121368408203125, -0.10654640197753906, -0.10187911987304688, -0.09721183776855469, -0.0925445556640625, -0.08787727355957031, -0.08320999145507812, -0.07854270935058594, -0.07387542724609375, -0.06920814514160156, -0.06454086303710938, -0.05987358093261719, -0.055206298828125, -0.05053901672363281, -0.045871734619140625, -0.04120445251464844, -0.03653717041015625, -0.03186988830566406, -0.027202606201171875, -0.022535324096679688, -0.0178680419921875, -0.013200759887695312, -0.008533477783203125, -0.0038661956787109375, 0.00080108642578125, 0.0054683685302734375, 0.010135650634765625, 0.014802932739257812, 0.01947021484375, 0.024137496948242188, 0.028804779052734375, 0.03347206115722656, 0.03813934326171875, 0.04280662536621094, 0.047473907470703125, 0.05214118957519531, 0.0568084716796875, 0.06147575378417969, 0.06614303588867188, 0.07081031799316406, 0.07547760009765625, 0.08014488220214844, 0.08481216430664062, 0.08947944641113281, 0.094146728515625, 0.09881401062011719, 0.10348129272460938, 0.10814857482910156, 0.11281585693359375, 0.11748313903808594, 0.12215042114257812, 0.1268177032470703, 0.1314849853515625, 0.1361522674560547, 0.14081954956054688, 0.14548683166503906, 0.15015411376953125, 0.15482139587402344, 0.15948867797851562, 0.1641559600830078, 0.1688232421875]}, "gradients/decoder.transformer.h.16.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 7.0, 13.0, 17.0, 43.0, 77.0, 116.0, 137.0, 154.0, 148.0, 130.0, 68.0, 45.0, 27.0, 11.0, 7.0, 10.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.44310566782951355, -0.4269859492778778, -0.41086623072624207, -0.3947465121746063, -0.3786267936229706, -0.36250707507133484, -0.3463873565196991, -0.33026763796806335, -0.3141479194164276, -0.29802820086479187, -0.28190848231315613, -0.2657887637615204, -0.24966904520988464, -0.2335493266582489, -0.21742960810661316, -0.20130988955497742, -0.18519017100334167, -0.16907045245170593, -0.1529507339000702, -0.13683101534843445, -0.1207112967967987, -0.10459157824516296, -0.08847185969352722, -0.07235214114189148, -0.05623242259025574, -0.040112704038619995, -0.023992985486984253, -0.00787326693534851, 0.008246451616287231, 0.024366170167922974, 0.040485888719558716, 0.05660560727119446, 0.07272535562515259, 0.08884507417678833, 0.10496479272842407, 0.12108451128005981, 0.13720422983169556, 0.1533239483833313, 0.16944366693496704, 0.18556338548660278, 0.20168310403823853, 0.21780282258987427, 0.23392254114151, 0.25004225969314575, 0.2661619782447815, 0.28228169679641724, 0.298401415348053, 0.3145211338996887, 0.33064085245132446, 0.3467605710029602, 0.36288028955459595, 0.3790000081062317, 0.39511972665786743, 0.4112394452095032, 0.4273591637611389, 0.44347888231277466, 0.4595986008644104, 0.47571831941604614, 0.4918380379676819, 0.5079577565193176, 0.5240774750709534, 0.5401971936225891, 0.5563169121742249, 0.5724366307258606, 0.5885563492774963]}, "gradients/decoder.transformer.h.16.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 3.0, 4.0, 4.0, 6.0, 16.0, 13.0, 7.0, 5.0, 20.0, 23.0, 16.0, 14.0, 30.0, 20.0, 28.0, 31.0, 18.0, 33.0, 39.0, 39.0, 28.0, 36.0, 36.0, 37.0, 28.0, 47.0, 37.0, 42.0, 30.0, 39.0, 22.0, 21.0, 21.0, 30.0, 24.0, 29.0, 20.0, 17.0, 14.0, 18.0, 13.0, 9.0, 7.0, 10.0, 8.0, 4.0, 6.0, 2.0, 4.0, 2.0, 1.0, 1.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.18214499950408936, -0.17648553848266602, -0.17082609236240387, -0.16516663134098053, -0.15950718522071838, -0.15384772419929504, -0.1481882631778717, -0.14252880215644836, -0.13686935603618622, -0.13120989501476288, -0.12555044889450073, -0.11989098787307739, -0.11423153430223465, -0.1085720807313919, -0.10291261970996857, -0.09725316613912582, -0.09159371256828308, -0.08593425899744034, -0.0802748054265976, -0.07461534440517426, -0.06895589083433151, -0.06329643726348877, -0.05763697996735573, -0.05197752267122269, -0.046318069100379944, -0.0406586155295372, -0.03499915823340416, -0.029339702799916267, -0.023680247366428375, -0.018020791932940483, -0.012361336499452591, -0.0067018792033195496, -0.0010424256324768066, 0.0046170298010110855, 0.010276485234498978, 0.01593594066798687, 0.021595396101474762, 0.027254851534962654, 0.032914306968450546, 0.03857376426458359, 0.04423321783542633, 0.049892671406269073, 0.055552128702402115, 0.061211585998535156, 0.0668710395693779, 0.07253049314022064, 0.07818995416164398, 0.08384940773248672, 0.08950886130332947, 0.09516831487417221, 0.10082776844501495, 0.1064872294664383, 0.11214668303728104, 0.11780613660812378, 0.12346559762954712, 0.12912505865097046, 0.1347845047712326, 0.14044396579265594, 0.1461034119129181, 0.15176287293434143, 0.15742233395576477, 0.16308178007602692, 0.16874124109745026, 0.1744006872177124, 0.18006014823913574]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 5.0, 7.0, 4.0, 6.0, 7.0, 5.0, 8.0, 12.0, 21.0, 13.0, 24.0, 20.0, 31.0, 30.0, 28.0, 42.0, 42.0, 36.0, 43.0, 52.0, 49.0, 45.0, 44.0, 33.0, 45.0, 39.0, 42.0, 39.0, 31.0, 17.0, 21.0, 25.0, 18.0, 27.0, 14.0, 9.0, 11.0, 14.0, 2.0, 12.0, 10.0, 9.0, 2.0, 3.0, 5.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.01959228515625, -0.01897287368774414, -0.01835346221923828, -0.017734050750732422, -0.017114639282226562, -0.016495227813720703, -0.015875816345214844, -0.015256404876708984, -0.014636993408203125, -0.014017581939697266, -0.013398170471191406, -0.012778759002685547, -0.012159347534179688, -0.011539936065673828, -0.010920524597167969, -0.01030111312866211, -0.00968170166015625, -0.00906229019165039, -0.008442878723144531, -0.007823467254638672, -0.0072040557861328125, -0.006584644317626953, -0.005965232849121094, -0.005345821380615234, -0.004726409912109375, -0.004106998443603516, -0.0034875869750976562, -0.002868175506591797, -0.0022487640380859375, -0.0016293525695800781, -0.0010099411010742188, -0.0003905296325683594, 0.0002288818359375, 0.0008482933044433594, 0.0014677047729492188, 0.002087116241455078, 0.0027065277099609375, 0.003325939178466797, 0.003945350646972656, 0.004564762115478516, 0.005184173583984375, 0.005803585052490234, 0.006422996520996094, 0.007042407989501953, 0.0076618194580078125, 0.008281230926513672, 0.008900642395019531, 0.00952005386352539, 0.01013946533203125, 0.01075887680053711, 0.011378288269042969, 0.011997699737548828, 0.012617111206054688, 0.013236522674560547, 0.013855934143066406, 0.014475345611572266, 0.015094757080078125, 0.015714168548583984, 0.016333580017089844, 0.016952991485595703, 0.017572402954101562, 0.018191814422607422, 0.01881122589111328, 0.01943063735961914, 0.020050048828125]}, "gradients/decoder.transformer.h.16.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 4.0, 4.0, 6.0, 6.0, 10.0, 14.0, 22.0, 33.0, 33.0, 56.0, 92.0, 107.0, 149.0, 208.0, 311.0, 420.0, 658.0, 1008.0, 1451.0, 2060.0, 3088.0, 4709.0, 7138.0, 10710.0, 16679.0, 26946.0, 45639.0, 81978.0, 167677.0, 367332.0, 135270.0, 68367.0, 38819.0, 23572.0, 15161.0, 9717.0, 6289.0, 4189.0, 2704.0, 1834.0, 1219.0, 883.0, 621.0, 410.0, 281.0, 185.0, 153.0, 102.0, 76.0, 54.0, 33.0, 27.0, 16.0, 11.0, 4.0, 6.0, 5.0, 4.0, 3.0, 4.0, 4.0], "bins": [-0.0001442432403564453, -0.00013978593051433563, -0.00013532862067222595, -0.00013087131083011627, -0.0001264140009880066, -0.00012195669114589691, -0.00011749938130378723, -0.00011304207146167755, -0.00010858476161956787, -0.00010412745177745819, -9.967014193534851e-05, -9.521283209323883e-05, -9.075552225112915e-05, -8.629821240901947e-05, -8.184090256690979e-05, -7.738359272480011e-05, -7.292628288269043e-05, -6.846897304058075e-05, -6.401166319847107e-05, -5.955435335636139e-05, -5.509704351425171e-05, -5.063973367214203e-05, -4.618242383003235e-05, -4.172511398792267e-05, -3.726780414581299e-05, -3.281049430370331e-05, -2.8353184461593628e-05, -2.3895874619483948e-05, -1.9438564777374268e-05, -1.4981254935264587e-05, -1.0523945093154907e-05, -6.066635251045227e-06, -1.6093254089355469e-06, 2.8479844331741333e-06, 7.3052942752838135e-06, 1.1762604117393494e-05, 1.6219913959503174e-05, 2.0677223801612854e-05, 2.5134533643722534e-05, 2.9591843485832214e-05, 3.4049153327941895e-05, 3.8506463170051575e-05, 4.2963773012161255e-05, 4.7421082854270935e-05, 5.1878392696380615e-05, 5.6335702538490295e-05, 6.0793012380599976e-05, 6.525032222270966e-05, 6.970763206481934e-05, 7.416494190692902e-05, 7.86222517490387e-05, 8.307956159114838e-05, 8.753687143325806e-05, 9.199418127536774e-05, 9.645149111747742e-05, 0.0001009088009595871, 0.00010536611080169678, 0.00010982342064380646, 0.00011428073048591614, 0.00011873804032802582, 0.0001231953501701355, 0.00012765266001224518, 0.00013210996985435486, 0.00013656727969646454, 0.00014102458953857422]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 2.0, 0.0, 3.0, 3.0, 4.0, 4.0, 6.0, 9.0, 9.0, 9.0, 19.0, 15.0, 18.0, 19.0, 15.0, 27.0, 23.0, 29.0, 26.0, 22.0, 33.0, 29.0, 37.0, 31.0, 31.0, 35.0, 33.0, 1048.0, 34.0, 25.0, 28.0, 37.0, 29.0, 29.0, 36.0, 30.0, 32.0, 28.0, 22.0, 25.0, 19.0, 26.0, 15.0, 12.0, 15.0, 10.0, 11.0, 9.0, 5.0, 7.0, 1.0, 6.0, 4.0, 4.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0], "bins": [-0.019439697265625, -0.018823862075805664, -0.018208026885986328, -0.017592191696166992, -0.016976356506347656, -0.01636052131652832, -0.015744686126708984, -0.015128850936889648, -0.014513015747070312, -0.013897180557250977, -0.01328134536743164, -0.012665510177612305, -0.012049674987792969, -0.011433839797973633, -0.010818004608154297, -0.010202169418334961, -0.009586334228515625, -0.008970499038696289, -0.008354663848876953, -0.007738828659057617, -0.007122993469238281, -0.006507158279418945, -0.005891323089599609, -0.0052754878997802734, -0.0046596527099609375, -0.0040438175201416016, -0.0034279823303222656, -0.0028121471405029297, -0.0021963119506835938, -0.0015804767608642578, -0.0009646415710449219, -0.00034880638122558594, 0.00026702880859375, 0.0008828639984130859, 0.0014986991882324219, 0.002114534378051758, 0.0027303695678710938, 0.0033462047576904297, 0.003962039947509766, 0.0045778751373291016, 0.0051937103271484375, 0.0058095455169677734, 0.006425380706787109, 0.007041215896606445, 0.007657051086425781, 0.008272886276245117, 0.008888721466064453, 0.009504556655883789, 0.010120391845703125, 0.010736227035522461, 0.011352062225341797, 0.011967897415161133, 0.012583732604980469, 0.013199567794799805, 0.01381540298461914, 0.014431238174438477, 0.015047073364257812, 0.01566290855407715, 0.016278743743896484, 0.01689457893371582, 0.017510414123535156, 0.018126249313354492, 0.018742084503173828, 0.019357919692993164, 0.0199737548828125]}, "gradients/decoder.transformer.h.16.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 3.0, 0.0, 0.0, 3.0, 5.0, 5.0, 3.0, 5.0, 7.0, 5.0, 14.0, 7.0, 14.0, 18.0, 13.0, 23.0, 23.0, 17.0, 27.0, 28.0, 27.0, 34.0, 38.0, 46.0, 70.0, 175.0, 492.0, 2101.0, 14130.0, 2070035.0, 7564.0, 1335.0, 351.0, 140.0, 57.0, 38.0, 34.0, 23.0, 25.0, 28.0, 27.0, 25.0, 14.0, 20.0, 17.0, 15.0, 16.0, 10.0, 10.0, 9.0, 4.0, 5.0, 2.0, 4.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-2.181529998779297e-05, -2.1141022443771362e-05, -2.0466744899749756e-05, -1.979246735572815e-05, -1.9118189811706543e-05, -1.8443912267684937e-05, -1.776963472366333e-05, -1.7095357179641724e-05, -1.6421079635620117e-05, -1.574680209159851e-05, -1.5072524547576904e-05, -1.4398247003555298e-05, -1.3723969459533691e-05, -1.3049691915512085e-05, -1.2375414371490479e-05, -1.1701136827468872e-05, -1.1026859283447266e-05, -1.035258173942566e-05, -9.678304195404053e-06, -9.004026651382446e-06, -8.32974910736084e-06, -7.655471563339233e-06, -6.981194019317627e-06, -6.3069164752960205e-06, -5.632638931274414e-06, -4.958361387252808e-06, -4.284083843231201e-06, -3.6098062992095947e-06, -2.9355287551879883e-06, -2.261251211166382e-06, -1.5869736671447754e-06, -9.126961231231689e-07, -2.384185791015625e-07, 4.3585896492004395e-07, 1.1101365089416504e-06, 1.7844140529632568e-06, 2.4586915969848633e-06, 3.1329691410064697e-06, 3.807246685028076e-06, 4.481524229049683e-06, 5.155801773071289e-06, 5.8300793170928955e-06, 6.504356861114502e-06, 7.178634405136108e-06, 7.852911949157715e-06, 8.527189493179321e-06, 9.201467037200928e-06, 9.875744581222534e-06, 1.055002212524414e-05, 1.1224299669265747e-05, 1.1898577213287354e-05, 1.257285475730896e-05, 1.3247132301330566e-05, 1.3921409845352173e-05, 1.459568738937378e-05, 1.5269964933395386e-05, 1.5944242477416992e-05, 1.66185200214386e-05, 1.7292797565460205e-05, 1.796707510948181e-05, 1.8641352653503418e-05, 1.9315630197525024e-05, 1.998990774154663e-05, 2.0664185285568237e-05, 2.1338462829589844e-05]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.16.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 5.0, 7.0, 4.0, 6.0, 7.0, 5.0, 8.0, 12.0, 21.0, 13.0, 24.0, 20.0, 31.0, 30.0, 28.0, 42.0, 42.0, 36.0, 43.0, 52.0, 49.0, 45.0, 44.0, 33.0, 45.0, 39.0, 42.0, 39.0, 31.0, 17.0, 21.0, 25.0, 18.0, 27.0, 14.0, 9.0, 11.0, 14.0, 2.0, 12.0, 10.0, 9.0, 2.0, 3.0, 5.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.01959228515625, -0.01897287368774414, -0.01835346221923828, -0.017734050750732422, -0.017114639282226562, -0.016495227813720703, -0.015875816345214844, -0.015256404876708984, -0.014636993408203125, -0.014017581939697266, -0.013398170471191406, -0.012778759002685547, -0.012159347534179688, -0.011539936065673828, -0.010920524597167969, -0.01030111312866211, -0.00968170166015625, -0.00906229019165039, -0.008442878723144531, -0.007823467254638672, -0.0072040557861328125, -0.006584644317626953, -0.005965232849121094, -0.005345821380615234, -0.004726409912109375, -0.004106998443603516, -0.0034875869750976562, -0.002868175506591797, -0.0022487640380859375, -0.0016293525695800781, -0.0010099411010742188, -0.0003905296325683594, 0.0002288818359375, 0.0008482933044433594, 0.0014677047729492188, 0.002087116241455078, 0.0027065277099609375, 0.003325939178466797, 0.003945350646972656, 0.004564762115478516, 0.005184173583984375, 0.005803585052490234, 0.006422996520996094, 0.007042407989501953, 0.0076618194580078125, 0.008281230926513672, 0.008900642395019531, 0.00952005386352539, 0.01013946533203125, 0.01075887680053711, 0.011378288269042969, 0.011997699737548828, 0.012617111206054688, 0.013236522674560547, 0.013855934143066406, 0.014475345611572266, 0.015094757080078125, 0.015714168548583984, 0.016333580017089844, 0.016952991485595703, 0.017572402954101562, 0.018191814422607422, 0.01881122589111328, 0.01943063735961914, 0.020050048828125]}, "gradients/decoder.transformer.h.16.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 4.0, 0.0, 3.0, 7.0, 1.0, 12.0, 9.0, 15.0, 16.0, 16.0, 24.0, 34.0, 55.0, 61.0, 82.0, 117.0, 190.0, 341.0, 603.0, 1399.0, 3318.0, 9507.0, 29593.0, 99384.0, 714340.0, 133385.0, 36881.0, 11766.0, 4028.0, 1617.0, 686.0, 397.0, 181.0, 140.0, 94.0, 70.0, 55.0, 32.0, 22.0, 22.0, 21.0, 12.0, 6.0, 9.0, 1.0, 4.0, 3.0, 0.0, 3.0, 1.0, 0.0, 0.0, 3.0], "bins": [-0.078125, -0.07593011856079102, -0.07373523712158203, -0.07154035568237305, -0.06934547424316406, -0.06715059280395508, -0.0649557113647461, -0.06276082992553711, -0.060565948486328125, -0.05837106704711914, -0.056176185607910156, -0.05398130416870117, -0.05178642272949219, -0.0495915412902832, -0.04739665985107422, -0.045201778411865234, -0.04300689697265625, -0.040812015533447266, -0.03861713409423828, -0.0364222526550293, -0.03422737121582031, -0.03203248977661133, -0.029837608337402344, -0.02764272689819336, -0.025447845458984375, -0.02325296401977539, -0.021058082580566406, -0.018863201141357422, -0.016668319702148438, -0.014473438262939453, -0.012278556823730469, -0.010083675384521484, -0.0078887939453125, -0.005693912506103516, -0.0034990310668945312, -0.0013041496276855469, 0.0008907318115234375, 0.003085613250732422, 0.005280494689941406, 0.007475376129150391, 0.009670257568359375, 0.01186513900756836, 0.014060020446777344, 0.016254901885986328, 0.018449783325195312, 0.020644664764404297, 0.02283954620361328, 0.025034427642822266, 0.02722930908203125, 0.029424190521240234, 0.03161907196044922, 0.0338139533996582, 0.03600883483886719, 0.03820371627807617, 0.040398597717285156, 0.04259347915649414, 0.044788360595703125, 0.04698324203491211, 0.049178123474121094, 0.05137300491333008, 0.05356788635253906, 0.05576276779174805, 0.05795764923095703, 0.060152530670166016, 0.062347412109375]}, "gradients/decoder.transformer.h.16.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 4.0, 2.0, 4.0, 5.0, 9.0, 16.0, 7.0, 12.0, 18.0, 13.0, 24.0, 22.0, 34.0, 46.0, 39.0, 46.0, 46.0, 68.0, 87.0, 203.0, 1489.0, 262.0, 129.0, 70.0, 66.0, 49.0, 49.0, 51.0, 29.0, 18.0, 25.0, 25.0, 17.0, 12.0, 13.0, 18.0, 8.0, 9.0, 7.0, 2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 3.0], "bins": [-0.09759521484375, -0.09507465362548828, -0.09255409240722656, -0.09003353118896484, -0.08751296997070312, -0.0849924087524414, -0.08247184753417969, -0.07995128631591797, -0.07743072509765625, -0.07491016387939453, -0.07238960266113281, -0.0698690414428711, -0.06734848022460938, -0.06482791900634766, -0.06230735778808594, -0.05978679656982422, -0.0572662353515625, -0.05474567413330078, -0.05222511291503906, -0.049704551696777344, -0.047183990478515625, -0.044663429260253906, -0.04214286804199219, -0.03962230682373047, -0.03710174560546875, -0.03458118438720703, -0.03206062316894531, -0.029540061950683594, -0.027019500732421875, -0.024498939514160156, -0.021978378295898438, -0.01945781707763672, -0.016937255859375, -0.014416694641113281, -0.011896133422851562, -0.009375572204589844, -0.006855010986328125, -0.004334449768066406, -0.0018138885498046875, 0.0007066726684570312, 0.00322723388671875, 0.005747795104980469, 0.008268356323242188, 0.010788917541503906, 0.013309478759765625, 0.015830039978027344, 0.018350601196289062, 0.02087116241455078, 0.0233917236328125, 0.02591228485107422, 0.028432846069335938, 0.030953407287597656, 0.033473968505859375, 0.035994529724121094, 0.03851509094238281, 0.04103565216064453, 0.04355621337890625, 0.04607677459716797, 0.04859733581542969, 0.051117897033691406, 0.053638458251953125, 0.056159019470214844, 0.05867958068847656, 0.06120014190673828, 0.063720703125]}, "gradients/decoder.transformer.h.16.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 4.0, 1.0, 7.0, 7.0, 8.0, 23.0, 27.0, 66.0, 80.0, 141.0, 299.0, 868.0, 8948.0, 2243600.0, 883065.0, 7178.0, 783.0, 277.0, 133.0, 75.0, 49.0, 29.0, 18.0, 20.0, 5.0, 4.0, 1.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1959228515625, -0.1873912811279297, -0.17885971069335938, -0.17032814025878906, -0.16179656982421875, -0.15326499938964844, -0.14473342895507812, -0.1362018585205078, -0.1276702880859375, -0.11913871765136719, -0.11060714721679688, -0.10207557678222656, -0.09354400634765625, -0.08501243591308594, -0.07648086547851562, -0.06794929504394531, -0.059417724609375, -0.05088615417480469, -0.042354583740234375, -0.03382301330566406, -0.02529144287109375, -0.016759872436523438, -0.008228302001953125, 0.0003032684326171875, 0.0088348388671875, 0.017366409301757812, 0.025897979736328125, 0.03442955017089844, 0.04296112060546875, 0.05149269104003906, 0.060024261474609375, 0.06855583190917969, 0.07708740234375, 0.08561897277832031, 0.09415054321289062, 0.10268211364746094, 0.11121368408203125, 0.11974525451660156, 0.12827682495117188, 0.1368083953857422, 0.1453399658203125, 0.1538715362548828, 0.16240310668945312, 0.17093467712402344, 0.17946624755859375, 0.18799781799316406, 0.19652938842773438, 0.2050609588623047, 0.213592529296875, 0.2221240997314453, 0.23065567016601562, 0.23918724060058594, 0.24771881103515625, 0.25625038146972656, 0.2647819519042969, 0.2733135223388672, 0.2818450927734375, 0.2903766632080078, 0.2989082336425781, 0.30743980407714844, 0.31597137451171875, 0.32450294494628906, 0.3330345153808594, 0.3415660858154297, 0.35009765625]}, "gradients/decoder.transformer.h.16.ln_1.weight": {"_type": "histogram", "values": [1.0, 2.0, 29.0, 307.0, 525.0, 141.0, 12.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.16215606033802032, -0.12446756660938263, -0.08677906543016434, -0.049090564250946045, -0.01140207052230835, 0.026286423206329346, 0.06397493183612823, 0.10166342556476593, 0.13935191929340363, 0.17704041302204132, 0.2147289216518402, 0.2524174153804779, 0.2901059091091156, 0.3277944028377533, 0.3654829263687134, 0.4031714200973511, 0.44085991382598877, 0.47854840755462646, 0.5162369012832642, 0.5539253950119019, 0.5916138887405396, 0.6293023824691772, 0.6669908761978149, 0.7046793699264526, 0.7423678636550903, 0.780056357383728, 0.8177448511123657, 0.8554333448410034, 0.8931218385696411, 0.9308103322982788, 0.9684988260269165, 1.0061873197555542, 1.043875813484192, 1.0815643072128296, 1.1192528009414673, 1.156941294670105, 1.1946297883987427, 1.2323182821273804, 1.270006775856018, 1.3076952695846558, 1.3453837633132935, 1.3830722570419312, 1.4207607507705688, 1.4584492444992065, 1.4961377382278442, 1.533826231956482, 1.5715147256851196, 1.6092032194137573, 1.6468918323516846, 1.6845803260803223, 1.72226881980896, 1.7599573135375977, 1.7976458072662354, 1.835334300994873, 1.8730227947235107, 1.9107112884521484, 1.9483997821807861, 1.9860882759094238, 2.0237767696380615, 2.061465263366699, 2.099153757095337, 2.1368422508239746, 2.1745307445526123, 2.21221923828125, 2.2499077320098877]}, "gradients/decoder.transformer.h.16.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 0.0, 0.0, 3.0, 6.0, 2.0, 3.0, 4.0, 8.0, 7.0, 8.0, 14.0, 16.0, 16.0, 26.0, 18.0, 22.0, 19.0, 29.0, 30.0, 38.0, 31.0, 36.0, 34.0, 40.0, 36.0, 46.0, 34.0, 33.0, 30.0, 37.0, 51.0, 27.0, 49.0, 35.0, 30.0, 25.0, 21.0, 19.0, 21.0, 16.0, 18.0, 16.0, 16.0, 5.0, 7.0, 3.0, 6.0, 7.0, 3.0, 5.0, 1.0, 2.0, 3.0, 2.0], "bins": [-0.2579754590988159, -0.25080764293670654, -0.24363981187343597, -0.2364719957113266, -0.22930416464805603, -0.22213634848594666, -0.21496853232383728, -0.2078007161617279, -0.20063288509845734, -0.19346506893634796, -0.1862972378730774, -0.17912942171096802, -0.17196160554885864, -0.16479377448558807, -0.1576259583234787, -0.15045812726020813, -0.14329031109809875, -0.13612249493598938, -0.1289546638727188, -0.12178684771060944, -0.11461902409791946, -0.10745120048522949, -0.10028338432312012, -0.09311556071043015, -0.08594773709774017, -0.0787799134850502, -0.07161208987236023, -0.06444427371025085, -0.05727645009756088, -0.05010862648487091, -0.04294080659747124, -0.035772986710071564, -0.028605163097381592, -0.02143734134733677, -0.014269519597291946, -0.007101697847247124, 6.612390279769897e-05, 0.007233947515487671, 0.014401767402887344, 0.021569587290287018, 0.02873741090297699, 0.03590523451566696, 0.043073054403066635, 0.05024087429046631, 0.05740869790315628, 0.06457652151584625, 0.07174433767795563, 0.0789121612906456, 0.08607998490333557, 0.09324780851602554, 0.10041563212871552, 0.10758344829082489, 0.11475127190351486, 0.12191909551620483, 0.1290869116783142, 0.13625472784042358, 0.14342255890369415, 0.15059037506580353, 0.1577582061290741, 0.16492602229118347, 0.17209383845329285, 0.17926166951656342, 0.1864294856786728, 0.19359731674194336, 0.20076513290405273]}, "gradients/decoder.transformer.h.15.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 5.0, 3.0, 5.0, 5.0, 4.0, 4.0, 6.0, 5.0, 21.0, 17.0, 21.0, 16.0, 16.0, 29.0, 33.0, 38.0, 36.0, 31.0, 39.0, 52.0, 42.0, 42.0, 55.0, 43.0, 46.0, 36.0, 40.0, 45.0, 40.0, 25.0, 23.0, 21.0, 17.0, 29.0, 20.0, 12.0, 15.0, 10.0, 9.0, 14.0, 10.0, 9.0, 5.0, 6.0, 3.0, 5.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.02154541015625, -0.02089095115661621, -0.020236492156982422, -0.019582033157348633, -0.018927574157714844, -0.018273115158081055, -0.017618656158447266, -0.016964197158813477, -0.016309738159179688, -0.0156552791595459, -0.01500082015991211, -0.01434636116027832, -0.013691902160644531, -0.013037443161010742, -0.012382984161376953, -0.011728525161743164, -0.011074066162109375, -0.010419607162475586, -0.009765148162841797, -0.009110689163208008, -0.008456230163574219, -0.00780177116394043, -0.007147312164306641, -0.0064928531646728516, -0.0058383941650390625, -0.0051839351654052734, -0.004529476165771484, -0.0038750171661376953, -0.0032205581665039062, -0.002566099166870117, -0.0019116401672363281, -0.001257181167602539, -0.00060272216796875, 5.173683166503906e-05, 0.0007061958312988281, 0.0013606548309326172, 0.0020151138305664062, 0.0026695728302001953, 0.0033240318298339844, 0.0039784908294677734, 0.0046329498291015625, 0.0052874088287353516, 0.005941867828369141, 0.00659632682800293, 0.007250785827636719, 0.007905244827270508, 0.008559703826904297, 0.009214162826538086, 0.009868621826171875, 0.010523080825805664, 0.011177539825439453, 0.011831998825073242, 0.012486457824707031, 0.01314091682434082, 0.01379537582397461, 0.014449834823608398, 0.015104293823242188, 0.015758752822875977, 0.016413211822509766, 0.017067670822143555, 0.017722129821777344, 0.018376588821411133, 0.019031047821044922, 0.01968550682067871, 0.0203399658203125]}, "gradients/decoder.transformer.h.15.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 4.0, 5.0, 4.0, 2.0, 8.0, 10.0, 27.0, 28.0, 41.0, 95.0, 159.0, 269.0, 603.0, 1434.0, 4292.0, 20249.0, 194541.0, 3195471.0, 717997.0, 46909.0, 7875.0, 2305.0, 932.0, 427.0, 221.0, 126.0, 85.0, 53.0, 35.0, 18.0, 13.0, 6.0, 10.0, 8.0, 6.0, 4.0, 4.0, 0.0, 2.0, 2.0, 2.0, 4.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.09002685546875, -0.08689117431640625, -0.0837554931640625, -0.08061981201171875, -0.077484130859375, -0.07434844970703125, -0.0712127685546875, -0.06807708740234375, -0.06494140625, -0.06180572509765625, -0.0586700439453125, -0.05553436279296875, -0.052398681640625, -0.04926300048828125, -0.0461273193359375, -0.04299163818359375, -0.03985595703125, -0.03672027587890625, -0.0335845947265625, -0.03044891357421875, -0.027313232421875, -0.02417755126953125, -0.0210418701171875, -0.01790618896484375, -0.0147705078125, -0.01163482666015625, -0.0084991455078125, -0.00536346435546875, -0.002227783203125, 0.00090789794921875, 0.0040435791015625, 0.00717926025390625, 0.01031494140625, 0.01345062255859375, 0.0165863037109375, 0.01972198486328125, 0.022857666015625, 0.02599334716796875, 0.0291290283203125, 0.03226470947265625, 0.035400390625, 0.03853607177734375, 0.0416717529296875, 0.04480743408203125, 0.047943115234375, 0.05107879638671875, 0.0542144775390625, 0.05735015869140625, 0.06048583984375, 0.06362152099609375, 0.0667572021484375, 0.06989288330078125, 0.073028564453125, 0.07616424560546875, 0.0792999267578125, 0.08243560791015625, 0.0855712890625, 0.08870697021484375, 0.0918426513671875, 0.09497833251953125, 0.098114013671875, 0.10124969482421875, 0.1043853759765625, 0.10752105712890625, 0.11065673828125]}, "gradients/decoder.transformer.h.15.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 1.0, 2.0, 2.0, 4.0, 4.0, 2.0, 3.0, 4.0, 3.0, 13.0, 12.0, 21.0, 31.0, 44.0, 56.0, 82.0, 125.0, 165.0, 253.0, 325.0, 484.0, 562.0, 534.0, 393.0, 311.0, 199.0, 116.0, 89.0, 80.0, 52.0, 28.0, 30.0, 16.0, 12.0, 6.0, 5.0, 4.0, 4.0, 7.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.071044921875, -0.06911230087280273, -0.06717967987060547, -0.0652470588684082, -0.06331443786621094, -0.06138181686401367, -0.059449195861816406, -0.05751657485961914, -0.055583953857421875, -0.05365133285522461, -0.051718711853027344, -0.04978609085083008, -0.04785346984863281, -0.04592084884643555, -0.04398822784423828, -0.042055606842041016, -0.04012298583984375, -0.038190364837646484, -0.03625774383544922, -0.03432512283325195, -0.03239250183105469, -0.030459880828857422, -0.028527259826660156, -0.02659463882446289, -0.024662017822265625, -0.02272939682006836, -0.020796775817871094, -0.018864154815673828, -0.016931533813476562, -0.014998912811279297, -0.013066291809082031, -0.011133670806884766, -0.0092010498046875, -0.007268428802490234, -0.005335807800292969, -0.003403186798095703, -0.0014705657958984375, 0.0004620552062988281, 0.0023946762084960938, 0.004327297210693359, 0.006259918212890625, 0.00819253921508789, 0.010125160217285156, 0.012057781219482422, 0.013990402221679688, 0.015923023223876953, 0.01785564422607422, 0.019788265228271484, 0.02172088623046875, 0.023653507232666016, 0.02558612823486328, 0.027518749237060547, 0.029451370239257812, 0.03138399124145508, 0.033316612243652344, 0.03524923324584961, 0.037181854248046875, 0.03911447525024414, 0.041047096252441406, 0.04297971725463867, 0.04491233825683594, 0.0468449592590332, 0.04877758026123047, 0.050710201263427734, 0.052642822265625]}, "gradients/decoder.transformer.h.15.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 5.0, 6.0, 9.0, 6.0, 7.0, 15.0, 16.0, 23.0, 32.0, 59.0, 93.0, 144.0, 249.0, 491.0, 984.0, 2585.0, 8126.0, 35115.0, 220176.0, 2144236.0, 1579928.0, 163366.0, 27479.0, 6820.0, 2312.0, 929.0, 428.0, 215.0, 163.0, 81.0, 50.0, 36.0, 31.0, 16.0, 14.0, 6.0, 7.0, 7.0, 6.0, 6.0, 3.0, 3.0, 2.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.08978271484375, -0.08656787872314453, -0.08335304260253906, -0.0801382064819336, -0.07692337036132812, -0.07370853424072266, -0.07049369812011719, -0.06727886199951172, -0.06406402587890625, -0.06084918975830078, -0.05763435363769531, -0.054419517517089844, -0.051204681396484375, -0.047989845275878906, -0.04477500915527344, -0.04156017303466797, -0.0383453369140625, -0.03513050079345703, -0.03191566467285156, -0.028700828552246094, -0.025485992431640625, -0.022271156311035156, -0.019056320190429688, -0.01584148406982422, -0.01262664794921875, -0.009411811828613281, -0.0061969757080078125, -0.0029821395874023438, 0.000232696533203125, 0.0034475326538085938, 0.0066623687744140625, 0.009877204895019531, 0.013092041015625, 0.01630687713623047, 0.019521713256835938, 0.022736549377441406, 0.025951385498046875, 0.029166221618652344, 0.03238105773925781, 0.03559589385986328, 0.03881072998046875, 0.04202556610107422, 0.04524040222167969, 0.048455238342285156, 0.051670074462890625, 0.054884910583496094, 0.05809974670410156, 0.06131458282470703, 0.0645294189453125, 0.06774425506591797, 0.07095909118652344, 0.0741739273071289, 0.07738876342773438, 0.08060359954833984, 0.08381843566894531, 0.08703327178955078, 0.09024810791015625, 0.09346294403076172, 0.09667778015136719, 0.09989261627197266, 0.10310745239257812, 0.1063222885131836, 0.10953712463378906, 0.11275196075439453, 0.115966796875]}, "gradients/decoder.transformer.h.15.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 8.0, 4.0, 10.0, 19.0, 26.0, 39.0, 56.0, 74.0, 86.0, 114.0, 115.0, 113.0, 90.0, 79.0, 61.0, 38.0, 35.0, 14.0, 8.0, 10.0, 8.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.43380752205848694, -0.4228914678096771, -0.4119754135608673, -0.4010593295097351, -0.3901432752609253, -0.3792272210121155, -0.36831116676330566, -0.35739511251449585, -0.34647902846336365, -0.33556297421455383, -0.324646919965744, -0.3137308359146118, -0.302814781665802, -0.2918987274169922, -0.2809826731681824, -0.27006661891937256, -0.25915056467056274, -0.24823451042175293, -0.23731844127178192, -0.2264023870229721, -0.2154863178730011, -0.20457026362419128, -0.19365420937538147, -0.18273814022541046, -0.17182207107543945, -0.16090601682662964, -0.14998994767665863, -0.13907389342784882, -0.1281578242778778, -0.117241770029068, -0.10632570832967758, -0.09540964663028717, -0.08449357748031616, -0.07357751578092575, -0.06266145408153534, -0.051745396107435226, -0.040829334408044815, -0.029913272708654404, -0.01899721473455429, -0.00808115303516388, 0.002834908664226532, 0.013750969432294369, 0.024667030200362206, 0.03558309003710747, 0.04649915173649788, 0.05741521343588829, 0.0683312714099884, 0.07924733310937881, 0.09016339480876923, 0.10107945650815964, 0.11199551820755005, 0.12291157245635986, 0.13382764160633087, 0.14474369585514069, 0.1556597650051117, 0.1665758192539215, 0.17749187350273132, 0.18840792775154114, 0.19932399690151215, 0.21024005115032196, 0.22115612030029297, 0.23207217454910278, 0.2429882287979126, 0.2539042830467224, 0.2648203670978546]}, "gradients/decoder.transformer.h.15.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 2.0, 2.0, 5.0, 3.0, 3.0, 11.0, 5.0, 9.0, 10.0, 9.0, 10.0, 20.0, 19.0, 18.0, 26.0, 20.0, 31.0, 41.0, 31.0, 37.0, 36.0, 49.0, 35.0, 35.0, 38.0, 32.0, 39.0, 39.0, 52.0, 39.0, 38.0, 25.0, 36.0, 36.0, 20.0, 22.0, 17.0, 27.0, 16.0, 14.0, 9.0, 9.0, 9.0, 9.0, 4.0, 4.0, 1.0, 2.0, 3.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.19575464725494385, -0.1900361329317093, -0.18431761860847473, -0.17859910428524017, -0.17288058996200562, -0.16716207563877106, -0.1614435613155365, -0.15572506189346313, -0.15000653266906738, -0.14428801834583282, -0.13856950402259827, -0.1328509896993637, -0.12713247537612915, -0.12141396105289459, -0.11569545418024063, -0.10997693985700607, -0.10425843298435211, -0.09853991866111755, -0.092821404337883, -0.08710289001464844, -0.08138437569141388, -0.07566586136817932, -0.06994735449552536, -0.0642288401722908, -0.058510325849056244, -0.052791811525821686, -0.04707329720258713, -0.04135478660464287, -0.03563627228140831, -0.029917757958173752, -0.024199247360229492, -0.018480733036994934, -0.012762218713760376, -0.0070437053218483925, -0.001325191929936409, 0.004393320530653, 0.010111834853887558, 0.015830349177122116, 0.021548859775066376, 0.027267374098300934, 0.03298588842153549, 0.03870440274477005, 0.04442291706800461, 0.05014142766594887, 0.055859941989183426, 0.061578456312417984, 0.06729696691036224, 0.0730154812335968, 0.07873399555683136, 0.08445250988006592, 0.09017102420330048, 0.09588953852653503, 0.10160805284976959, 0.10732656717300415, 0.11304507404565811, 0.11876358836889267, 0.12448210269212723, 0.1302006095647812, 0.13591912388801575, 0.1416376382112503, 0.14735615253448486, 0.15307466685771942, 0.15879318118095398, 0.16451169550418854, 0.1702302098274231]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 2.0, 6.0, 7.0, 1.0, 5.0, 4.0, 13.0, 15.0, 17.0, 13.0, 22.0, 32.0, 30.0, 30.0, 35.0, 32.0, 49.0, 31.0, 57.0, 50.0, 57.0, 46.0, 51.0, 46.0, 46.0, 48.0, 31.0, 33.0, 32.0, 20.0, 18.0, 26.0, 16.0, 14.0, 13.0, 14.0, 7.0, 10.0, 9.0, 8.0, 6.0, 5.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0235748291015625, -0.022864818572998047, -0.022154808044433594, -0.02144479751586914, -0.020734786987304688, -0.020024776458740234, -0.01931476593017578, -0.018604755401611328, -0.017894744873046875, -0.017184734344482422, -0.01647472381591797, -0.015764713287353516, -0.015054702758789062, -0.01434469223022461, -0.013634681701660156, -0.012924671173095703, -0.01221466064453125, -0.011504650115966797, -0.010794639587402344, -0.01008462905883789, -0.009374618530273438, -0.008664608001708984, -0.007954597473144531, -0.007244586944580078, -0.006534576416015625, -0.005824565887451172, -0.005114555358886719, -0.004404544830322266, -0.0036945343017578125, -0.0029845237731933594, -0.0022745132446289062, -0.0015645027160644531, -0.0008544921875, -0.00014448165893554688, 0.0005655288696289062, 0.0012755393981933594, 0.0019855499267578125, 0.0026955604553222656, 0.0034055709838867188, 0.004115581512451172, 0.004825592041015625, 0.005535602569580078, 0.006245613098144531, 0.006955623626708984, 0.0076656341552734375, 0.00837564468383789, 0.009085655212402344, 0.009795665740966797, 0.01050567626953125, 0.011215686798095703, 0.011925697326660156, 0.01263570785522461, 0.013345718383789062, 0.014055728912353516, 0.014765739440917969, 0.015475749969482422, 0.016185760498046875, 0.016895771026611328, 0.01760578155517578, 0.018315792083740234, 0.019025802612304688, 0.01973581314086914, 0.020445823669433594, 0.021155834197998047, 0.0218658447265625]}, "gradients/decoder.transformer.h.15.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 3.0, 7.0, 7.0, 11.0, 15.0, 40.0, 37.0, 59.0, 96.0, 148.0, 237.0, 356.0, 537.0, 900.0, 1347.0, 2212.0, 3454.0, 5535.0, 9076.0, 14480.0, 23728.0, 39538.0, 68924.0, 131766.0, 347203.0, 185540.0, 87958.0, 49580.0, 29156.0, 17823.0, 10712.0, 6656.0, 4313.0, 2515.0, 1628.0, 1050.0, 687.0, 435.0, 289.0, 167.0, 121.0, 60.0, 61.0, 31.0, 28.0, 12.0, 12.0, 5.0, 5.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00021660327911376953, -0.00020997971296310425, -0.00020335614681243896, -0.00019673258066177368, -0.0001901090145111084, -0.00018348544836044312, -0.00017686188220977783, -0.00017023831605911255, -0.00016361474990844727, -0.00015699118375778198, -0.0001503676176071167, -0.00014374405145645142, -0.00013712048530578613, -0.00013049691915512085, -0.00012387335300445557, -0.00011724978685379028, -0.000110626220703125, -0.00010400265455245972, -9.737908840179443e-05, -9.075552225112915e-05, -8.413195610046387e-05, -7.750838994979858e-05, -7.08848237991333e-05, -6.426125764846802e-05, -5.7637691497802734e-05, -5.101412534713745e-05, -4.439055919647217e-05, -3.7766993045806885e-05, -3.11434268951416e-05, -2.451986074447632e-05, -1.7896294593811035e-05, -1.1272728443145752e-05, -4.649162292480469e-06, 1.9744038581848145e-06, 8.597970008850098e-06, 1.5221536159515381e-05, 2.1845102310180664e-05, 2.8468668460845947e-05, 3.509223461151123e-05, 4.1715800762176514e-05, 4.83393669128418e-05, 5.496293306350708e-05, 6.158649921417236e-05, 6.821006536483765e-05, 7.483363151550293e-05, 8.145719766616821e-05, 8.80807638168335e-05, 9.470432996749878e-05, 0.00010132789611816406, 0.00010795146226882935, 0.00011457502841949463, 0.00012119859457015991, 0.0001278221607208252, 0.00013444572687149048, 0.00014106929302215576, 0.00014769285917282104, 0.00015431642532348633, 0.0001609399914741516, 0.0001675635576248169, 0.00017418712377548218, 0.00018081068992614746, 0.00018743425607681274, 0.00019405782222747803, 0.0002006813883781433, 0.0002073049545288086]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 2.0, 3.0, 6.0, 2.0, 7.0, 7.0, 4.0, 5.0, 10.0, 15.0, 21.0, 20.0, 18.0, 27.0, 22.0, 20.0, 26.0, 17.0, 28.0, 27.0, 25.0, 42.0, 34.0, 37.0, 25.0, 1067.0, 35.0, 25.0, 38.0, 48.0, 42.0, 26.0, 28.0, 34.0, 28.0, 22.0, 25.0, 20.0, 25.0, 25.0, 22.0, 18.0, 3.0, 16.0, 8.0, 7.0, 8.0, 7.0, 3.0, 3.0, 2.0, 0.0, 4.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0176849365234375, -0.01709437370300293, -0.01650381088256836, -0.01591324806213379, -0.015322685241699219, -0.014732122421264648, -0.014141559600830078, -0.013550996780395508, -0.012960433959960938, -0.012369871139526367, -0.011779308319091797, -0.011188745498657227, -0.010598182678222656, -0.010007619857788086, -0.009417057037353516, -0.008826494216918945, -0.008235931396484375, -0.007645368576049805, -0.007054805755615234, -0.006464242935180664, -0.005873680114746094, -0.0052831172943115234, -0.004692554473876953, -0.004101991653442383, -0.0035114288330078125, -0.002920866012573242, -0.002330303192138672, -0.0017397403717041016, -0.0011491775512695312, -0.0005586147308349609, 3.1948089599609375e-05, 0.0006225109100341797, 0.00121307373046875, 0.0018036365509033203, 0.0023941993713378906, 0.002984762191772461, 0.0035753250122070312, 0.0041658878326416016, 0.004756450653076172, 0.005347013473510742, 0.0059375762939453125, 0.006528139114379883, 0.007118701934814453, 0.0077092647552490234, 0.008299827575683594, 0.008890390396118164, 0.009480953216552734, 0.010071516036987305, 0.010662078857421875, 0.011252641677856445, 0.011843204498291016, 0.012433767318725586, 0.013024330139160156, 0.013614892959594727, 0.014205455780029297, 0.014796018600463867, 0.015386581420898438, 0.015977144241333008, 0.016567707061767578, 0.01715826988220215, 0.01774883270263672, 0.01833939552307129, 0.01892995834350586, 0.01952052116394043, 0.020111083984375]}, "gradients/decoder.transformer.h.15.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 3.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 5.0, 7.0, 8.0, 8.0, 7.0, 10.0, 12.0, 13.0, 24.0, 24.0, 20.0, 24.0, 21.0, 26.0, 33.0, 36.0, 30.0, 48.0, 116.0, 286.0, 799.0, 4754.0, 2045580.0, 41189.0, 2895.0, 570.0, 191.0, 75.0, 46.0, 30.0, 22.0, 22.0, 21.0, 26.0, 23.0, 23.0, 16.0, 26.0, 11.0, 13.0, 12.0, 4.0, 5.0, 8.0, 4.0, 2.0, 8.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-2.205371856689453e-05, -2.1401792764663696e-05, -2.074986696243286e-05, -2.0097941160202026e-05, -1.944601535797119e-05, -1.8794089555740356e-05, -1.814216375350952e-05, -1.7490237951278687e-05, -1.683831214904785e-05, -1.6186386346817017e-05, -1.553446054458618e-05, -1.4882534742355347e-05, -1.4230608940124512e-05, -1.3578683137893677e-05, -1.2926757335662842e-05, -1.2274831533432007e-05, -1.1622905731201172e-05, -1.0970979928970337e-05, -1.0319054126739502e-05, -9.667128324508667e-06, -9.015202522277832e-06, -8.363276720046997e-06, -7.711350917816162e-06, -7.059425115585327e-06, -6.407499313354492e-06, -5.755573511123657e-06, -5.103647708892822e-06, -4.451721906661987e-06, -3.7997961044311523e-06, -3.1478703022003174e-06, -2.4959444999694824e-06, -1.8440186977386475e-06, -1.1920928955078125e-06, -5.401670932769775e-07, 1.1175870895385742e-07, 7.636845111846924e-07, 1.4156103134155273e-06, 2.0675361156463623e-06, 2.7194619178771973e-06, 3.3713877201080322e-06, 4.023313522338867e-06, 4.675239324569702e-06, 5.327165126800537e-06, 5.979090929031372e-06, 6.631016731262207e-06, 7.282942533493042e-06, 7.934868335723877e-06, 8.586794137954712e-06, 9.238719940185547e-06, 9.890645742416382e-06, 1.0542571544647217e-05, 1.1194497346878052e-05, 1.1846423149108887e-05, 1.2498348951339722e-05, 1.3150274753570557e-05, 1.3802200555801392e-05, 1.4454126358032227e-05, 1.5106052160263062e-05, 1.5757977962493896e-05, 1.640990376472473e-05, 1.7061829566955566e-05, 1.77137553691864e-05, 1.8365681171417236e-05, 1.901760697364807e-05, 1.9669532775878906e-05]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.15.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 2.0, 6.0, 7.0, 1.0, 5.0, 4.0, 13.0, 15.0, 17.0, 13.0, 22.0, 32.0, 30.0, 30.0, 35.0, 32.0, 49.0, 31.0, 57.0, 50.0, 57.0, 46.0, 51.0, 46.0, 46.0, 48.0, 31.0, 33.0, 32.0, 20.0, 18.0, 26.0, 16.0, 14.0, 13.0, 14.0, 7.0, 10.0, 9.0, 8.0, 6.0, 5.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0235748291015625, -0.022864818572998047, -0.022154808044433594, -0.02144479751586914, -0.020734786987304688, -0.020024776458740234, -0.01931476593017578, -0.018604755401611328, -0.017894744873046875, -0.017184734344482422, -0.01647472381591797, -0.015764713287353516, -0.015054702758789062, -0.01434469223022461, -0.013634681701660156, -0.012924671173095703, -0.01221466064453125, -0.011504650115966797, -0.010794639587402344, -0.01008462905883789, -0.009374618530273438, -0.008664608001708984, -0.007954597473144531, -0.007244586944580078, -0.006534576416015625, -0.005824565887451172, -0.005114555358886719, -0.004404544830322266, -0.0036945343017578125, -0.0029845237731933594, -0.0022745132446289062, -0.0015645027160644531, -0.0008544921875, -0.00014448165893554688, 0.0005655288696289062, 0.0012755393981933594, 0.0019855499267578125, 0.0026955604553222656, 0.0034055709838867188, 0.004115581512451172, 0.004825592041015625, 0.005535602569580078, 0.006245613098144531, 0.006955623626708984, 0.0076656341552734375, 0.00837564468383789, 0.009085655212402344, 0.009795665740966797, 0.01050567626953125, 0.011215686798095703, 0.011925697326660156, 0.01263570785522461, 0.013345718383789062, 0.014055728912353516, 0.014765739440917969, 0.015475749969482422, 0.016185760498046875, 0.016895771026611328, 0.01760578155517578, 0.018315792083740234, 0.019025802612304688, 0.01973581314086914, 0.020445823669433594, 0.021155834197998047, 0.0218658447265625]}, "gradients/decoder.transformer.h.15.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 4.0, 0.0, 3.0, 4.0, 0.0, 2.0, 7.0, 13.0, 13.0, 20.0, 25.0, 44.0, 53.0, 75.0, 139.0, 206.0, 355.0, 580.0, 1063.0, 2067.0, 4149.0, 9167.0, 21192.0, 51777.0, 146531.0, 493033.0, 204003.0, 65556.0, 26545.0, 11358.0, 5094.0, 2434.0, 1272.0, 689.0, 392.0, 234.0, 151.0, 87.0, 84.0, 50.0, 32.0, 21.0, 18.0, 9.0, 3.0, 6.0, 4.0, 3.0, 5.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0560302734375, -0.054139137268066406, -0.05224800109863281, -0.05035686492919922, -0.048465728759765625, -0.04657459259033203, -0.04468345642089844, -0.042792320251464844, -0.04090118408203125, -0.039010047912597656, -0.03711891174316406, -0.03522777557373047, -0.033336639404296875, -0.03144550323486328, -0.029554367065429688, -0.027663230895996094, -0.0257720947265625, -0.023880958557128906, -0.021989822387695312, -0.02009868621826172, -0.018207550048828125, -0.01631641387939453, -0.014425277709960938, -0.012534141540527344, -0.01064300537109375, -0.008751869201660156, -0.0068607330322265625, -0.004969596862792969, -0.003078460693359375, -0.0011873245239257812, 0.0007038116455078125, 0.0025949478149414062, 0.004486083984375, 0.006377220153808594, 0.008268356323242188, 0.010159492492675781, 0.012050628662109375, 0.013941764831542969, 0.015832901000976562, 0.017724037170410156, 0.01961517333984375, 0.021506309509277344, 0.023397445678710938, 0.02528858184814453, 0.027179718017578125, 0.02907085418701172, 0.030961990356445312, 0.032853126525878906, 0.0347442626953125, 0.036635398864746094, 0.03852653503417969, 0.04041767120361328, 0.042308807373046875, 0.04419994354248047, 0.04609107971191406, 0.047982215881347656, 0.04987335205078125, 0.051764488220214844, 0.05365562438964844, 0.05554676055908203, 0.057437896728515625, 0.05932903289794922, 0.06122016906738281, 0.0631113052368164, 0.06500244140625]}, "gradients/decoder.transformer.h.15.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 5.0, 6.0, 6.0, 5.0, 7.0, 5.0, 10.0, 10.0, 16.0, 19.0, 18.0, 22.0, 25.0, 38.0, 28.0, 36.0, 55.0, 57.0, 71.0, 98.0, 146.0, 251.0, 1313.0, 204.0, 128.0, 89.0, 59.0, 38.0, 51.0, 29.0, 31.0, 38.0, 19.0, 16.0, 19.0, 14.0, 10.0, 16.0, 12.0, 9.0, 10.0, 6.0, 6.0, 4.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.07818603515625, -0.0757598876953125, -0.073333740234375, -0.0709075927734375, -0.0684814453125, -0.0660552978515625, -0.063629150390625, -0.0612030029296875, -0.05877685546875, -0.0563507080078125, -0.053924560546875, -0.0514984130859375, -0.049072265625, -0.0466461181640625, -0.044219970703125, -0.0417938232421875, -0.03936767578125, -0.0369415283203125, -0.034515380859375, -0.0320892333984375, -0.0296630859375, -0.0272369384765625, -0.024810791015625, -0.0223846435546875, -0.01995849609375, -0.0175323486328125, -0.015106201171875, -0.0126800537109375, -0.01025390625, -0.0078277587890625, -0.005401611328125, -0.0029754638671875, -0.00054931640625, 0.0018768310546875, 0.004302978515625, 0.0067291259765625, 0.0091552734375, 0.0115814208984375, 0.014007568359375, 0.0164337158203125, 0.01885986328125, 0.0212860107421875, 0.023712158203125, 0.0261383056640625, 0.028564453125, 0.0309906005859375, 0.033416748046875, 0.0358428955078125, 0.03826904296875, 0.0406951904296875, 0.043121337890625, 0.0455474853515625, 0.0479736328125, 0.0503997802734375, 0.052825927734375, 0.0552520751953125, 0.05767822265625, 0.0601043701171875, 0.062530517578125, 0.0649566650390625, 0.0673828125, 0.0698089599609375, 0.072235107421875, 0.0746612548828125, 0.07708740234375]}, "gradients/decoder.transformer.h.15.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 1.0, 4.0, 6.0, 10.0, 9.0, 14.0, 21.0, 21.0, 22.0, 27.0, 39.0, 48.0, 81.0, 127.0, 96.0, 179.0, 313.0, 716.0, 2535.0, 12971.0, 93620.0, 2036336.0, 925791.0, 60317.0, 9061.0, 1830.0, 585.0, 281.0, 181.0, 125.0, 71.0, 66.0, 46.0, 39.0, 33.0, 23.0, 18.0, 15.0, 9.0, 2.0, 6.0, 9.0, 8.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1319580078125, -0.1276874542236328, -0.12341690063476562, -0.11914634704589844, -0.11487579345703125, -0.11060523986816406, -0.10633468627929688, -0.10206413269042969, -0.0977935791015625, -0.09352302551269531, -0.08925247192382812, -0.08498191833496094, -0.08071136474609375, -0.07644081115722656, -0.07217025756835938, -0.06789970397949219, -0.063629150390625, -0.05935859680175781, -0.055088043212890625, -0.05081748962402344, -0.04654693603515625, -0.04227638244628906, -0.038005828857421875, -0.03373527526855469, -0.0294647216796875, -0.025194168090820312, -0.020923614501953125, -0.016653060913085938, -0.01238250732421875, -0.008111953735351562, -0.003841400146484375, 0.0004291534423828125, 0.00469970703125, 0.008970260620117188, 0.013240814208984375, 0.017511367797851562, 0.02178192138671875, 0.026052474975585938, 0.030323028564453125, 0.03459358215332031, 0.0388641357421875, 0.04313468933105469, 0.047405242919921875, 0.05167579650878906, 0.05594635009765625, 0.06021690368652344, 0.06448745727539062, 0.06875801086425781, 0.073028564453125, 0.07729911804199219, 0.08156967163085938, 0.08584022521972656, 0.09011077880859375, 0.09438133239746094, 0.09865188598632812, 0.10292243957519531, 0.1071929931640625, 0.11146354675292969, 0.11573410034179688, 0.12000465393066406, 0.12427520751953125, 0.12854576110839844, 0.13281631469726562, 0.1370868682861328, 0.141357421875]}, "gradients/decoder.transformer.h.15.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 7.0, 32.0, 125.0, 280.0, 331.0, 181.0, 48.0, 10.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1880842000246048, -0.16207018494606018, -0.13605618476867676, -0.11004216969013214, -0.08402815461158752, -0.05801413953304291, -0.032000139355659485, -0.005986124277114868, 0.02002789080142975, 0.04604190215468407, 0.07205591350793839, 0.0980699211359024, 0.12408393621444702, 0.15009795129299164, 0.17611195147037506, 0.20212596654891968, 0.2281399816274643, 0.2541539967060089, 0.28016799688339233, 0.30618202686309814, 0.33219602704048157, 0.358210027217865, 0.3842240571975708, 0.4102380573749542, 0.43625205755233765, 0.46226605772972107, 0.4882800877094269, 0.5142940878868103, 0.5403081178665161, 0.5663220882415771, 0.592336118221283, 0.6183501482009888, 0.6443641185760498, 0.6703781485557556, 0.6963921189308167, 0.7224061489105225, 0.7484201788902283, 0.7744342088699341, 0.8004481792449951, 0.8264622092247009, 0.8524762392044067, 0.8784902691841125, 0.9045042395591736, 0.9305182695388794, 0.9565322995185852, 0.982546329498291, 1.008560299873352, 1.034574270248413, 1.0605883598327637, 1.0866023302078247, 1.1126164197921753, 1.1386303901672363, 1.1646443605422974, 1.190658450126648, 1.216672420501709, 1.24268639087677, 1.268700361251831, 1.294714331626892, 1.3207284212112427, 1.3467423915863037, 1.3727563619613647, 1.3987704515457153, 1.4247844219207764, 1.4507983922958374, 1.476812481880188]}, "gradients/decoder.transformer.h.15.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 4.0, 4.0, 1.0, 4.0, 3.0, 8.0, 7.0, 10.0, 10.0, 15.0, 14.0, 22.0, 28.0, 31.0, 35.0, 39.0, 37.0, 47.0, 33.0, 42.0, 45.0, 47.0, 48.0, 51.0, 64.0, 54.0, 35.0, 42.0, 28.0, 41.0, 36.0, 13.0, 27.0, 17.0, 13.0, 13.0, 8.0, 9.0, 11.0, 2.0, 6.0, 2.0, 0.0, 3.0, 4.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.2821810841560364, -0.27400457859039307, -0.26582804322242737, -0.25765153765678406, -0.24947500228881836, -0.24129848182201385, -0.23312196135520935, -0.22494545578956604, -0.21676892042160034, -0.20859239995479584, -0.20041587948799133, -0.19223935902118683, -0.18406283855438232, -0.17588631808757782, -0.16770979762077332, -0.15953329205513, -0.1513567715883255, -0.143180251121521, -0.1350037306547165, -0.126827210187912, -0.11865068972110748, -0.11047416925430298, -0.10229765623807907, -0.09412113577127457, -0.08594461530447006, -0.07776809483766556, -0.06959157437086105, -0.06141505762934685, -0.05323853716254234, -0.04506201669573784, -0.03688549995422363, -0.02870897948741913, -0.020532459020614624, -0.012355939485132694, -0.0041794199496507645, 0.003997098654508591, 0.012173619121313095, 0.0203501395881176, 0.028526656329631805, 0.03670317679643631, 0.044879697263240814, 0.05305621773004532, 0.06123273819684982, 0.06940925121307373, 0.07758577167987823, 0.08576229214668274, 0.09393881261348724, 0.10211533308029175, 0.11029185354709625, 0.11846837401390076, 0.12664489448070526, 0.13482141494750977, 0.14299793541431427, 0.15117445588111877, 0.15935096144676208, 0.16752749681472778, 0.1757040023803711, 0.1838805228471756, 0.1920570433139801, 0.2002335637807846, 0.2084100842475891, 0.21658660471439362, 0.22476312518119812, 0.23293963074684143, 0.24111616611480713]}, "gradients/decoder.transformer.h.14.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 2.0, 1.0, 5.0, 7.0, 6.0, 6.0, 9.0, 4.0, 14.0, 18.0, 19.0, 27.0, 31.0, 31.0, 31.0, 31.0, 26.0, 40.0, 43.0, 41.0, 55.0, 49.0, 53.0, 50.0, 42.0, 44.0, 45.0, 43.0, 33.0, 17.0, 29.0, 20.0, 21.0, 22.0, 17.0, 12.0, 9.0, 9.0, 8.0, 5.0, 13.0, 6.0, 3.0, 5.0, 5.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.0251922607421875, -0.02447652816772461, -0.02376079559326172, -0.023045063018798828, -0.022329330444335938, -0.021613597869873047, -0.020897865295410156, -0.020182132720947266, -0.019466400146484375, -0.018750667572021484, -0.018034934997558594, -0.017319202423095703, -0.016603469848632812, -0.015887737274169922, -0.015172004699707031, -0.01445627212524414, -0.01374053955078125, -0.01302480697631836, -0.012309074401855469, -0.011593341827392578, -0.010877609252929688, -0.010161876678466797, -0.009446144104003906, -0.008730411529541016, -0.008014678955078125, -0.007298946380615234, -0.006583213806152344, -0.005867481231689453, -0.0051517486572265625, -0.004436016082763672, -0.0037202835083007812, -0.0030045509338378906, -0.002288818359375, -0.0015730857849121094, -0.0008573532104492188, -0.00014162063598632812, 0.0005741119384765625, 0.0012898445129394531, 0.0020055770874023438, 0.0027213096618652344, 0.003437042236328125, 0.004152774810791016, 0.004868507385253906, 0.005584239959716797, 0.0062999725341796875, 0.007015705108642578, 0.007731437683105469, 0.00844717025756836, 0.00916290283203125, 0.00987863540649414, 0.010594367980957031, 0.011310100555419922, 0.012025833129882812, 0.012741565704345703, 0.013457298278808594, 0.014173030853271484, 0.014888763427734375, 0.015604496002197266, 0.016320228576660156, 0.017035961151123047, 0.017751693725585938, 0.018467426300048828, 0.01918315887451172, 0.01989889144897461, 0.0206146240234375]}, "gradients/decoder.transformer.h.14.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 3.0, 6.0, 8.0, 9.0, 3.0, 12.0, 15.0, 17.0, 28.0, 38.0, 64.0, 78.0, 87.0, 162.0, 276.0, 445.0, 836.0, 1925.0, 4532.0, 13594.0, 53482.0, 319520.0, 2475964.0, 1144897.0, 135536.0, 28259.0, 8172.0, 3079.0, 1366.0, 715.0, 389.0, 218.0, 147.0, 110.0, 70.0, 46.0, 42.0, 26.0, 24.0, 17.0, 19.0, 12.0, 7.0, 11.0, 8.0, 6.0, 3.0, 0.0, 3.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.070556640625, -0.06846809387207031, -0.06637954711914062, -0.06429100036621094, -0.06220245361328125, -0.06011390686035156, -0.058025360107421875, -0.05593681335449219, -0.0538482666015625, -0.05175971984863281, -0.049671173095703125, -0.04758262634277344, -0.04549407958984375, -0.04340553283691406, -0.041316986083984375, -0.03922843933105469, -0.037139892578125, -0.03505134582519531, -0.032962799072265625, -0.030874252319335938, -0.02878570556640625, -0.026697158813476562, -0.024608612060546875, -0.022520065307617188, -0.0204315185546875, -0.018342971801757812, -0.016254425048828125, -0.014165878295898438, -0.01207733154296875, -0.009988784790039062, -0.007900238037109375, -0.0058116912841796875, -0.00372314453125, -0.0016345977783203125, 0.000453948974609375, 0.0025424957275390625, 0.00463104248046875, 0.0067195892333984375, 0.008808135986328125, 0.010896682739257812, 0.0129852294921875, 0.015073776245117188, 0.017162322998046875, 0.019250869750976562, 0.02133941650390625, 0.023427963256835938, 0.025516510009765625, 0.027605056762695312, 0.029693603515625, 0.03178215026855469, 0.033870697021484375, 0.03595924377441406, 0.03804779052734375, 0.04013633728027344, 0.042224884033203125, 0.04431343078613281, 0.0464019775390625, 0.04849052429199219, 0.050579071044921875, 0.05266761779785156, 0.05475616455078125, 0.05684471130371094, 0.058933258056640625, 0.06102180480957031, 0.0631103515625]}, "gradients/decoder.transformer.h.14.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 4.0, 2.0, 4.0, 5.0, 10.0, 10.0, 16.0, 28.0, 28.0, 56.0, 66.0, 87.0, 96.0, 155.0, 202.0, 312.0, 350.0, 473.0, 440.0, 435.0, 328.0, 278.0, 162.0, 152.0, 89.0, 80.0, 61.0, 45.0, 29.0, 20.0, 14.0, 12.0, 8.0, 5.0, 4.0, 3.0, 5.0, 3.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.049468994140625, -0.04777956008911133, -0.046090126037597656, -0.044400691986083984, -0.04271125793457031, -0.04102182388305664, -0.03933238983154297, -0.0376429557800293, -0.035953521728515625, -0.03426408767700195, -0.03257465362548828, -0.03088521957397461, -0.029195785522460938, -0.027506351470947266, -0.025816917419433594, -0.024127483367919922, -0.02243804931640625, -0.020748615264892578, -0.019059181213378906, -0.017369747161865234, -0.015680313110351562, -0.01399087905883789, -0.012301445007324219, -0.010612010955810547, -0.008922576904296875, -0.007233142852783203, -0.005543708801269531, -0.0038542747497558594, -0.0021648406982421875, -0.0004754066467285156, 0.0012140274047851562, 0.002903461456298828, 0.0045928955078125, 0.006282329559326172, 0.007971763610839844, 0.009661197662353516, 0.011350631713867188, 0.01304006576538086, 0.014729499816894531, 0.016418933868408203, 0.018108367919921875, 0.019797801971435547, 0.02148723602294922, 0.02317667007446289, 0.024866104125976562, 0.026555538177490234, 0.028244972229003906, 0.029934406280517578, 0.03162384033203125, 0.03331327438354492, 0.035002708435058594, 0.036692142486572266, 0.03838157653808594, 0.04007101058959961, 0.04176044464111328, 0.04344987869262695, 0.045139312744140625, 0.0468287467956543, 0.04851818084716797, 0.05020761489868164, 0.05189704895019531, 0.053586483001708984, 0.055275917053222656, 0.05696535110473633, 0.05865478515625]}, "gradients/decoder.transformer.h.14.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 4.0, 1.0, 3.0, 3.0, 2.0, 5.0, 5.0, 8.0, 11.0, 17.0, 25.0, 35.0, 59.0, 78.0, 135.0, 212.0, 317.0, 787.0, 1771.0, 5744.0, 27702.0, 213460.0, 2403429.0, 1392556.0, 122760.0, 18178.0, 4226.0, 1304.0, 581.0, 344.0, 173.0, 126.0, 62.0, 55.0, 26.0, 24.0, 15.0, 14.0, 7.0, 4.0, 3.0, 8.0, 3.0, 4.0, 4.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.1251220703125, -0.12163448333740234, -0.11814689636230469, -0.11465930938720703, -0.11117172241210938, -0.10768413543701172, -0.10419654846191406, -0.1007089614868164, -0.09722137451171875, -0.0937337875366211, -0.09024620056152344, -0.08675861358642578, -0.08327102661132812, -0.07978343963623047, -0.07629585266113281, -0.07280826568603516, -0.0693206787109375, -0.06583309173583984, -0.06234550476074219, -0.05885791778564453, -0.055370330810546875, -0.05188274383544922, -0.04839515686035156, -0.044907569885253906, -0.04141998291015625, -0.037932395935058594, -0.03444480895996094, -0.03095722198486328, -0.027469635009765625, -0.02398204803466797, -0.020494461059570312, -0.017006874084472656, -0.013519287109375, -0.010031700134277344, -0.0065441131591796875, -0.0030565261840820312, 0.000431060791015625, 0.003918647766113281, 0.0074062347412109375, 0.010893821716308594, 0.01438140869140625, 0.017868995666503906, 0.021356582641601562, 0.02484416961669922, 0.028331756591796875, 0.03181934356689453, 0.03530693054199219, 0.038794517517089844, 0.0422821044921875, 0.045769691467285156, 0.04925727844238281, 0.05274486541748047, 0.056232452392578125, 0.05972003936767578, 0.06320762634277344, 0.0666952133178711, 0.07018280029296875, 0.0736703872680664, 0.07715797424316406, 0.08064556121826172, 0.08413314819335938, 0.08762073516845703, 0.09110832214355469, 0.09459590911865234, 0.09808349609375]}, "gradients/decoder.transformer.h.14.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 4.0, 4.0, 9.0, 2.0, 14.0, 24.0, 35.0, 40.0, 40.0, 74.0, 70.0, 64.0, 75.0, 75.0, 64.0, 64.0, 65.0, 63.0, 55.0, 46.0, 32.0, 34.0, 16.0, 14.0, 11.0, 7.0, 6.0, 2.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.30235958099365234, -0.2950531542301178, -0.28774672746658325, -0.2804403007030487, -0.27313387393951416, -0.265827476978302, -0.25852105021476746, -0.2512146234512329, -0.24390819668769836, -0.23660176992416382, -0.22929534316062927, -0.22198893129825592, -0.21468250453472137, -0.20737607777118683, -0.20006965100765228, -0.19276323914527893, -0.18545681238174438, -0.17815038561820984, -0.1708439588546753, -0.16353754699230194, -0.1562311202287674, -0.14892469346523285, -0.1416182667016983, -0.13431185483932495, -0.1270054131746292, -0.11969898641109467, -0.11239256709814072, -0.10508614033460617, -0.09777972102165222, -0.09047329425811768, -0.08316686749458313, -0.07586044818162918, -0.06855402886867523, -0.061247605830430984, -0.05394118279218674, -0.04663475602865219, -0.03932833671569824, -0.032021909952163696, -0.02471548691391945, -0.0174090638756752, -0.010102640837430954, -0.0027962173335254192, 0.0045102061703801155, 0.011816630139946938, 0.019123053178191185, 0.02642947807908058, 0.03373590111732483, 0.04104232415556908, 0.048348747193813324, 0.05565517023205757, 0.06296159327030182, 0.07026802003383636, 0.07757443934679031, 0.08488086611032486, 0.09218728542327881, 0.09949371218681335, 0.1068001389503479, 0.11410656571388245, 0.1214129850268364, 0.12871940433979034, 0.1360258311033249, 0.14333225786685944, 0.15063868463039398, 0.15794509649276733, 0.16525152325630188]}, "gradients/decoder.transformer.h.14.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 2.0, 4.0, 5.0, 9.0, 4.0, 11.0, 13.0, 16.0, 23.0, 23.0, 15.0, 28.0, 31.0, 36.0, 42.0, 40.0, 36.0, 40.0, 49.0, 47.0, 41.0, 48.0, 51.0, 39.0, 39.0, 21.0, 39.0, 41.0, 31.0, 31.0, 21.0, 17.0, 18.0, 16.0, 17.0, 11.0, 13.0, 6.0, 13.0, 7.0, 4.0, 1.0, 5.0, 2.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.19719398021697998, -0.1909899264574051, -0.1847858726978302, -0.17858180403709412, -0.17237775027751923, -0.16617369651794434, -0.15996962785720825, -0.15376557409763336, -0.14756152033805847, -0.14135746657848358, -0.1351534128189087, -0.1289493441581726, -0.12274529039859772, -0.11654123663902283, -0.11033717542886734, -0.10413311421871185, -0.09792906045913696, -0.09172500669956207, -0.08552094548940659, -0.0793168842792511, -0.07311283051967621, -0.06690877676010132, -0.06070471554994583, -0.05450065806508064, -0.048296600580215454, -0.042092543095350266, -0.03588848561048508, -0.02968442812561989, -0.0234803706407547, -0.01727631315588951, -0.011072255671024323, -0.004868198186159134, 0.0013358592987060547, 0.007539916783571243, 0.013743974268436432, 0.01994803175330162, 0.02615208923816681, 0.032356146723032, 0.038560204207897186, 0.044764261692762375, 0.050968319177627563, 0.05717237666249275, 0.06337643414735794, 0.06958049535751343, 0.07578454911708832, 0.08198860287666321, 0.0881926640868187, 0.09439672529697418, 0.10060077905654907, 0.10680483281612396, 0.11300889402627945, 0.11921295523643494, 0.12541700899600983, 0.13162106275558472, 0.1378251314163208, 0.1440291851758957, 0.15023323893547058, 0.15643729269504547, 0.16264134645462036, 0.16884541511535645, 0.17504946887493134, 0.18125352263450623, 0.1874575912952423, 0.1936616450548172, 0.1998656988143921]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 3.0, 2.0, 7.0, 6.0, 11.0, 5.0, 12.0, 7.0, 16.0, 30.0, 23.0, 31.0, 30.0, 23.0, 47.0, 49.0, 45.0, 58.0, 50.0, 50.0, 47.0, 48.0, 56.0, 51.0, 36.0, 42.0, 29.0, 34.0, 21.0, 29.0, 18.0, 18.0, 15.0, 11.0, 7.0, 9.0, 12.0, 7.0, 3.0, 7.0, 6.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0242156982421875, -0.02341318130493164, -0.02261066436767578, -0.021808147430419922, -0.021005630493164062, -0.020203113555908203, -0.019400596618652344, -0.018598079681396484, -0.017795562744140625, -0.016993045806884766, -0.016190528869628906, -0.015388011932373047, -0.014585494995117188, -0.013782978057861328, -0.012980461120605469, -0.01217794418334961, -0.01137542724609375, -0.01057291030883789, -0.009770393371582031, -0.008967876434326172, -0.008165359497070312, -0.007362842559814453, -0.006560325622558594, -0.005757808685302734, -0.004955291748046875, -0.004152774810791016, -0.0033502578735351562, -0.002547740936279297, -0.0017452239990234375, -0.0009427070617675781, -0.00014019012451171875, 0.0006623268127441406, 0.00146484375, 0.0022673606872558594, 0.0030698776245117188, 0.003872394561767578, 0.0046749114990234375, 0.005477428436279297, 0.006279945373535156, 0.007082462310791016, 0.007884979248046875, 0.008687496185302734, 0.009490013122558594, 0.010292530059814453, 0.011095046997070312, 0.011897563934326172, 0.012700080871582031, 0.01350259780883789, 0.01430511474609375, 0.01510763168334961, 0.01591014862060547, 0.016712665557861328, 0.017515182495117188, 0.018317699432373047, 0.019120216369628906, 0.019922733306884766, 0.020725250244140625, 0.021527767181396484, 0.022330284118652344, 0.023132801055908203, 0.023935317993164062, 0.024737834930419922, 0.02554035186767578, 0.02634286880493164, 0.0271453857421875]}, "gradients/decoder.transformer.h.14.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 2.0, 5.0, 2.0, 4.0, 12.0, 11.0, 15.0, 24.0, 28.0, 60.0, 95.0, 129.0, 179.0, 292.0, 473.0, 686.0, 1168.0, 1745.0, 2694.0, 4239.0, 6887.0, 10973.0, 17912.0, 30477.0, 52316.0, 96050.0, 214129.0, 323270.0, 124834.0, 65715.0, 36897.0, 21939.0, 13264.0, 8021.0, 5103.0, 3209.0, 1995.0, 1298.0, 825.0, 547.0, 368.0, 232.0, 139.0, 106.0, 64.0, 36.0, 37.0, 24.0, 15.0, 8.0, 3.0, 5.0, 5.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00017154216766357422, -0.00016585923731327057, -0.00016017630696296692, -0.00015449337661266327, -0.00014881044626235962, -0.00014312751591205597, -0.00013744458556175232, -0.00013176165521144867, -0.00012607872486114502, -0.00012039579451084137, -0.00011471286416053772, -0.00010902993381023407, -0.00010334700345993042, -9.766407310962677e-05, -9.198114275932312e-05, -8.629821240901947e-05, -8.061528205871582e-05, -7.493235170841217e-05, -6.924942135810852e-05, -6.356649100780487e-05, -5.788356065750122e-05, -5.220063030719757e-05, -4.651769995689392e-05, -4.083476960659027e-05, -3.515183925628662e-05, -2.946890890598297e-05, -2.378597855567932e-05, -1.810304820537567e-05, -1.2420117855072021e-05, -6.737187504768372e-06, -1.0542571544647217e-06, 4.628673195838928e-06, 1.0311603546142578e-05, 1.5994533896446228e-05, 2.1677464246749878e-05, 2.7360394597053528e-05, 3.304332494735718e-05, 3.872625529766083e-05, 4.440918564796448e-05, 5.009211599826813e-05, 5.577504634857178e-05, 6.145797669887543e-05, 6.714090704917908e-05, 7.282383739948273e-05, 7.850676774978638e-05, 8.418969810009003e-05, 8.987262845039368e-05, 9.555555880069733e-05, 0.00010123848915100098, 0.00010692141950130463, 0.00011260434985160828, 0.00011828728020191193, 0.00012397021055221558, 0.00012965314090251923, 0.00013533607125282288, 0.00014101900160312653, 0.00014670193195343018, 0.00015238486230373383, 0.00015806779265403748, 0.00016375072300434113, 0.00016943365335464478, 0.00017511658370494843, 0.00018079951405525208, 0.00018648244440555573, 0.00019216537475585938]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 3.0, 5.0, 3.0, 5.0, 7.0, 8.0, 13.0, 16.0, 14.0, 14.0, 17.0, 14.0, 25.0, 20.0, 31.0, 47.0, 35.0, 34.0, 38.0, 34.0, 46.0, 42.0, 1070.0, 40.0, 43.0, 41.0, 42.0, 36.0, 33.0, 25.0, 36.0, 23.0, 28.0, 25.0, 22.0, 18.0, 18.0, 12.0, 9.0, 13.0, 6.0, 6.0, 7.0, 2.0, 5.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0167694091796875, -0.016142845153808594, -0.015516281127929688, -0.014889717102050781, -0.014263153076171875, -0.013636589050292969, -0.013010025024414062, -0.012383460998535156, -0.01175689697265625, -0.011130332946777344, -0.010503768920898438, -0.009877204895019531, -0.009250640869140625, -0.008624076843261719, -0.007997512817382812, -0.007370948791503906, -0.006744384765625, -0.006117820739746094, -0.0054912567138671875, -0.004864692687988281, -0.004238128662109375, -0.0036115646362304688, -0.0029850006103515625, -0.0023584365844726562, -0.00173187255859375, -0.0011053085327148438, -0.0004787445068359375, 0.00014781951904296875, 0.000774383544921875, 0.0014009475708007812, 0.0020275115966796875, 0.0026540756225585938, 0.0032806396484375, 0.003907203674316406, 0.0045337677001953125, 0.005160331726074219, 0.005786895751953125, 0.006413459777832031, 0.0070400238037109375, 0.007666587829589844, 0.00829315185546875, 0.008919715881347656, 0.009546279907226562, 0.010172843933105469, 0.010799407958984375, 0.011425971984863281, 0.012052536010742188, 0.012679100036621094, 0.0133056640625, 0.013932228088378906, 0.014558792114257812, 0.015185356140136719, 0.015811920166015625, 0.01643848419189453, 0.017065048217773438, 0.017691612243652344, 0.01831817626953125, 0.018944740295410156, 0.019571304321289062, 0.02019786834716797, 0.020824432373046875, 0.02145099639892578, 0.022077560424804688, 0.022704124450683594, 0.0233306884765625]}, "gradients/decoder.transformer.h.14.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 5.0, 6.0, 2.0, 8.0, 7.0, 9.0, 5.0, 14.0, 16.0, 15.0, 18.0, 23.0, 30.0, 20.0, 39.0, 32.0, 28.0, 31.0, 85.0, 178.0, 664.0, 3547.0, 1989161.0, 99603.0, 2578.0, 455.0, 187.0, 59.0, 40.0, 45.0, 40.0, 22.0, 29.0, 20.0, 23.0, 11.0, 13.0, 14.0, 17.0, 11.0, 6.0, 9.0, 4.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 2.0], "bins": [-2.4974346160888672e-05, -2.4298205971717834e-05, -2.3622065782546997e-05, -2.294592559337616e-05, -2.2269785404205322e-05, -2.1593645215034485e-05, -2.0917505025863647e-05, -2.024136483669281e-05, -1.9565224647521973e-05, -1.8889084458351135e-05, -1.8212944269180298e-05, -1.753680408000946e-05, -1.6860663890838623e-05, -1.6184523701667786e-05, -1.5508383512496948e-05, -1.483224332332611e-05, -1.4156103134155273e-05, -1.3479962944984436e-05, -1.2803822755813599e-05, -1.2127682566642761e-05, -1.1451542377471924e-05, -1.0775402188301086e-05, -1.0099261999130249e-05, -9.423121809959412e-06, -8.746981620788574e-06, -8.070841431617737e-06, -7.394701242446899e-06, -6.718561053276062e-06, -6.042420864105225e-06, -5.366280674934387e-06, -4.69014048576355e-06, -4.014000296592712e-06, -3.337860107421875e-06, -2.6617199182510376e-06, -1.9855797290802e-06, -1.3094395399093628e-06, -6.332993507385254e-07, 4.284083843231201e-08, 7.189810276031494e-07, 1.3951212167739868e-06, 2.0712614059448242e-06, 2.7474015951156616e-06, 3.423541784286499e-06, 4.0996819734573364e-06, 4.775822162628174e-06, 5.451962351799011e-06, 6.128102540969849e-06, 6.804242730140686e-06, 7.4803829193115234e-06, 8.15652310848236e-06, 8.832663297653198e-06, 9.508803486824036e-06, 1.0184943675994873e-05, 1.086108386516571e-05, 1.1537224054336548e-05, 1.2213364243507385e-05, 1.2889504432678223e-05, 1.356564462184906e-05, 1.4241784811019897e-05, 1.4917925000190735e-05, 1.5594065189361572e-05, 1.627020537853241e-05, 1.6946345567703247e-05, 1.7622485756874084e-05, 1.8298625946044922e-05]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.14.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 3.0, 2.0, 7.0, 6.0, 11.0, 5.0, 12.0, 7.0, 16.0, 30.0, 23.0, 31.0, 30.0, 23.0, 47.0, 49.0, 45.0, 58.0, 50.0, 50.0, 47.0, 48.0, 56.0, 51.0, 36.0, 42.0, 29.0, 34.0, 21.0, 29.0, 18.0, 18.0, 15.0, 11.0, 7.0, 9.0, 12.0, 7.0, 3.0, 7.0, 6.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0242156982421875, -0.02341318130493164, -0.02261066436767578, -0.021808147430419922, -0.021005630493164062, -0.020203113555908203, -0.019400596618652344, -0.018598079681396484, -0.017795562744140625, -0.016993045806884766, -0.016190528869628906, -0.015388011932373047, -0.014585494995117188, -0.013782978057861328, -0.012980461120605469, -0.01217794418334961, -0.01137542724609375, -0.01057291030883789, -0.009770393371582031, -0.008967876434326172, -0.008165359497070312, -0.007362842559814453, -0.006560325622558594, -0.005757808685302734, -0.004955291748046875, -0.004152774810791016, -0.0033502578735351562, -0.002547740936279297, -0.0017452239990234375, -0.0009427070617675781, -0.00014019012451171875, 0.0006623268127441406, 0.00146484375, 0.0022673606872558594, 0.0030698776245117188, 0.003872394561767578, 0.0046749114990234375, 0.005477428436279297, 0.006279945373535156, 0.007082462310791016, 0.007884979248046875, 0.008687496185302734, 0.009490013122558594, 0.010292530059814453, 0.011095046997070312, 0.011897563934326172, 0.012700080871582031, 0.01350259780883789, 0.01430511474609375, 0.01510763168334961, 0.01591014862060547, 0.016712665557861328, 0.017515182495117188, 0.018317699432373047, 0.019120216369628906, 0.019922733306884766, 0.020725250244140625, 0.021527767181396484, 0.022330284118652344, 0.023132801055908203, 0.023935317993164062, 0.024737834930419922, 0.02554035186767578, 0.02634286880493164, 0.0271453857421875]}, "gradients/decoder.transformer.h.14.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 0.0, 2.0, 0.0, 2.0, 4.0, 6.0, 17.0, 5.0, 17.0, 20.0, 26.0, 35.0, 34.0, 49.0, 70.0, 111.0, 138.0, 212.0, 326.0, 522.0, 830.0, 1513.0, 2890.0, 5849.0, 12521.0, 29233.0, 73066.0, 199573.0, 473267.0, 147783.0, 56608.0, 23253.0, 9957.0, 4775.0, 2390.0, 1263.0, 780.0, 449.0, 293.0, 209.0, 131.0, 92.0, 60.0, 54.0, 32.0, 22.0, 26.0, 15.0, 12.0, 2.0, 6.0, 9.0, 3.0, 4.0, 0.0, 0.0, 3.0], "bins": [-0.0657958984375, -0.0639352798461914, -0.06207466125488281, -0.06021404266357422, -0.058353424072265625, -0.05649280548095703, -0.05463218688964844, -0.052771568298339844, -0.05091094970703125, -0.049050331115722656, -0.04718971252441406, -0.04532909393310547, -0.043468475341796875, -0.04160785675048828, -0.03974723815917969, -0.037886619567871094, -0.0360260009765625, -0.034165382385253906, -0.03230476379394531, -0.03044414520263672, -0.028583526611328125, -0.02672290802001953, -0.024862289428710938, -0.023001670837402344, -0.02114105224609375, -0.019280433654785156, -0.017419815063476562, -0.015559196472167969, -0.013698577880859375, -0.011837959289550781, -0.009977340698242188, -0.008116722106933594, -0.006256103515625, -0.004395484924316406, -0.0025348663330078125, -0.0006742477416992188, 0.001186370849609375, 0.0030469894409179688, 0.0049076080322265625, 0.006768226623535156, 0.00862884521484375, 0.010489463806152344, 0.012350082397460938, 0.014210700988769531, 0.016071319580078125, 0.01793193817138672, 0.019792556762695312, 0.021653175354003906, 0.0235137939453125, 0.025374412536621094, 0.027235031127929688, 0.02909564971923828, 0.030956268310546875, 0.03281688690185547, 0.03467750549316406, 0.036538124084472656, 0.03839874267578125, 0.040259361267089844, 0.04211997985839844, 0.04398059844970703, 0.045841217041015625, 0.04770183563232422, 0.04956245422363281, 0.051423072814941406, 0.05328369140625]}, "gradients/decoder.transformer.h.14.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 5.0, 1.0, 6.0, 4.0, 2.0, 9.0, 6.0, 9.0, 17.0, 13.0, 17.0, 12.0, 16.0, 15.0, 22.0, 24.0, 25.0, 45.0, 38.0, 52.0, 58.0, 75.0, 111.0, 139.0, 1409.0, 249.0, 141.0, 91.0, 66.0, 73.0, 40.0, 33.0, 29.0, 37.0, 25.0, 17.0, 20.0, 17.0, 16.0, 15.0, 17.0, 10.0, 7.0, 6.0, 4.0, 6.0, 6.0, 4.0, 3.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.07403564453125, -0.07171440124511719, -0.06939315795898438, -0.06707191467285156, -0.06475067138671875, -0.06242942810058594, -0.060108184814453125, -0.05778694152832031, -0.0554656982421875, -0.05314445495605469, -0.050823211669921875, -0.04850196838378906, -0.04618072509765625, -0.04385948181152344, -0.041538238525390625, -0.03921699523925781, -0.036895751953125, -0.03457450866699219, -0.032253265380859375, -0.029932022094726562, -0.02761077880859375, -0.025289535522460938, -0.022968292236328125, -0.020647048950195312, -0.0183258056640625, -0.016004562377929688, -0.013683319091796875, -0.011362075805664062, -0.00904083251953125, -0.0067195892333984375, -0.004398345947265625, -0.0020771026611328125, 0.000244140625, 0.0025653839111328125, 0.004886627197265625, 0.0072078704833984375, 0.00952911376953125, 0.011850357055664062, 0.014171600341796875, 0.016492843627929688, 0.0188140869140625, 0.021135330200195312, 0.023456573486328125, 0.025777816772460938, 0.02809906005859375, 0.030420303344726562, 0.032741546630859375, 0.03506278991699219, 0.037384033203125, 0.03970527648925781, 0.042026519775390625, 0.04434776306152344, 0.04666900634765625, 0.04899024963378906, 0.051311492919921875, 0.05363273620605469, 0.0559539794921875, 0.05827522277832031, 0.060596466064453125, 0.06291770935058594, 0.06523895263671875, 0.06756019592285156, 0.06988143920898438, 0.07220268249511719, 0.07452392578125]}, "gradients/decoder.transformer.h.14.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 4.0, 2.0, 3.0, 5.0, 2.0, 8.0, 7.0, 12.0, 21.0, 12.0, 22.0, 29.0, 39.0, 62.0, 61.0, 79.0, 94.0, 120.0, 159.0, 271.0, 537.0, 1652.0, 8494.0, 69726.0, 2092063.0, 914976.0, 48256.0, 6246.0, 1324.0, 477.0, 243.0, 181.0, 110.0, 90.0, 61.0, 47.0, 41.0, 38.0, 28.0, 19.0, 14.0, 20.0, 8.0, 18.0, 13.0, 5.0, 3.0, 5.0, 3.0, 5.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.148681640625, -0.14402389526367188, -0.13936614990234375, -0.13470840454101562, -0.1300506591796875, -0.12539291381835938, -0.12073516845703125, -0.11607742309570312, -0.111419677734375, -0.10676193237304688, -0.10210418701171875, -0.09744644165039062, -0.0927886962890625, -0.08813095092773438, -0.08347320556640625, -0.07881546020507812, -0.07415771484375, -0.06949996948242188, -0.06484222412109375, -0.060184478759765625, -0.0555267333984375, -0.050868988037109375, -0.04621124267578125, -0.041553497314453125, -0.036895751953125, -0.032238006591796875, -0.02758026123046875, -0.022922515869140625, -0.0182647705078125, -0.013607025146484375, -0.00894927978515625, -0.004291534423828125, 0.0003662109375, 0.005023956298828125, 0.00968170166015625, 0.014339447021484375, 0.0189971923828125, 0.023654937744140625, 0.02831268310546875, 0.032970428466796875, 0.037628173828125, 0.042285919189453125, 0.04694366455078125, 0.051601409912109375, 0.0562591552734375, 0.060916900634765625, 0.06557464599609375, 0.07023239135742188, 0.07489013671875, 0.07954788208007812, 0.08420562744140625, 0.08886337280273438, 0.0935211181640625, 0.09817886352539062, 0.10283660888671875, 0.10749435424804688, 0.112152099609375, 0.11680984497070312, 0.12146759033203125, 0.12612533569335938, 0.1307830810546875, 0.13544082641601562, 0.14009857177734375, 0.14475631713867188, 0.1494140625]}, "gradients/decoder.transformer.h.14.ln_1.weight": {"_type": "histogram", "values": [1.0, 3.0, 556.0, 457.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2634018361568451, -0.17517739534378052, -0.08695296943187714, 0.0012714564800262451, 0.08949589729309082, 0.1777203381061554, 0.2659447491168976, 0.35416921973228455, 0.44239363074302673, 0.5306180715560913, 0.6188424825668335, 0.7070668935775757, 0.7952913641929626, 0.8835158348083496, 0.9717402458190918, 1.059964656829834, 1.1481890678405762, 1.2364134788513184, 1.3246378898620605, 1.4128623008728027, 1.5010868310928345, 1.5893112421035767, 1.6775356531143188, 1.7657601833343506, 1.8539845943450928, 1.942209005355835, 2.030433416366577, 2.1186578273773193, 2.2068822383880615, 2.295106887817383, 2.383331298828125, 2.471555709838867, 2.5597798824310303, 2.6480042934417725, 2.7362287044525146, 2.824453115463257, 2.912677526473999, 3.0009021759033203, 3.0891265869140625, 3.1773509979248047, 3.265575408935547, 3.353799819946289, 3.4420242309570312, 3.5302486419677734, 3.6184730529785156, 3.706697463989258, 3.794921875, 3.8831465244293213, 3.9713706970214844, 4.059595108032227, 4.147819519042969, 4.236043930053711, 4.324268341064453, 4.412492752075195, 4.5007171630859375, 4.58894157409668, 4.67716646194458, 4.765390872955322, 4.8536152839660645, 4.941839694976807, 5.030064105987549, 5.118288516998291, 5.206512928009033, 5.294737339019775, 5.382961750030518]}, "gradients/decoder.transformer.h.14.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 4.0, 2.0, 1.0, 6.0, 11.0, 4.0, 9.0, 4.0, 13.0, 20.0, 17.0, 17.0, 34.0, 18.0, 33.0, 21.0, 37.0, 26.0, 36.0, 40.0, 36.0, 38.0, 36.0, 30.0, 35.0, 41.0, 36.0, 42.0, 36.0, 32.0, 23.0, 31.0, 18.0, 25.0, 28.0, 27.0, 23.0, 12.0, 15.0, 20.0, 15.0, 7.0, 11.0, 5.0, 12.0, 3.0, 10.0, 6.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.2570219039916992, -0.24954509735107422, -0.24206827580928802, -0.23459145426750183, -0.22711464762687683, -0.21963784098625183, -0.21216101944446564, -0.20468419790267944, -0.19720739126205444, -0.18973058462142944, -0.18225376307964325, -0.17477694153785706, -0.16730013489723206, -0.15982332825660706, -0.15234650671482086, -0.14486968517303467, -0.13739287853240967, -0.12991607189178467, -0.12243925034999847, -0.11496243625879288, -0.10748562216758728, -0.10000880807638168, -0.09253199398517609, -0.08505517989397049, -0.07757836580276489, -0.0701015517115593, -0.0626247376203537, -0.0551479235291481, -0.047671109437942505, -0.04019429534673691, -0.03271748125553131, -0.025240667164325714, -0.017763853073120117, -0.01028703898191452, -0.0028102248907089233, 0.004666589200496674, 0.01214340329170227, 0.019620217382907867, 0.027097031474113464, 0.03457384556531906, 0.04205065965652466, 0.049527473747730255, 0.05700428783893585, 0.06448110193014145, 0.07195791602134705, 0.07943473011255264, 0.08691154420375824, 0.09438835829496384, 0.10186517238616943, 0.10934198647737503, 0.11681880056858063, 0.12429561465978622, 0.13177242875099182, 0.13924923539161682, 0.14672605693340302, 0.1542028784751892, 0.1616796851158142, 0.1691564917564392, 0.1766333132982254, 0.1841101348400116, 0.1915869414806366, 0.1990637481212616, 0.2065405696630478, 0.21401739120483398, 0.22149419784545898]}, "gradients/decoder.transformer.h.13.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 2.0, 2.0, 5.0, 9.0, 3.0, 9.0, 13.0, 8.0, 17.0, 14.0, 33.0, 26.0, 36.0, 30.0, 28.0, 50.0, 47.0, 49.0, 51.0, 62.0, 47.0, 41.0, 48.0, 50.0, 40.0, 49.0, 29.0, 32.0, 31.0, 23.0, 27.0, 18.0, 17.0, 15.0, 7.0, 10.0, 7.0, 6.0, 9.0, 2.0, 4.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0271148681640625, -0.026256322860717773, -0.025397777557373047, -0.02453923225402832, -0.023680686950683594, -0.022822141647338867, -0.02196359634399414, -0.021105051040649414, -0.020246505737304688, -0.01938796043395996, -0.018529415130615234, -0.017670869827270508, -0.01681232452392578, -0.015953779220581055, -0.015095233917236328, -0.014236688613891602, -0.013378143310546875, -0.012519598007202148, -0.011661052703857422, -0.010802507400512695, -0.009943962097167969, -0.009085416793823242, -0.008226871490478516, -0.007368326187133789, -0.0065097808837890625, -0.005651235580444336, -0.004792690277099609, -0.003934144973754883, -0.0030755996704101562, -0.0022170543670654297, -0.0013585090637207031, -0.0004999637603759766, 0.00035858154296875, 0.0012171268463134766, 0.002075672149658203, 0.0029342174530029297, 0.0037927627563476562, 0.004651308059692383, 0.005509853363037109, 0.006368398666381836, 0.0072269439697265625, 0.008085489273071289, 0.008944034576416016, 0.009802579879760742, 0.010661125183105469, 0.011519670486450195, 0.012378215789794922, 0.013236761093139648, 0.014095306396484375, 0.014953851699829102, 0.015812397003173828, 0.016670942306518555, 0.01752948760986328, 0.018388032913208008, 0.019246578216552734, 0.02010512351989746, 0.020963668823242188, 0.021822214126586914, 0.02268075942993164, 0.023539304733276367, 0.024397850036621094, 0.02525639533996582, 0.026114940643310547, 0.026973485946655273, 0.02783203125]}, "gradients/decoder.transformer.h.13.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 5.0, 0.0, 8.0, 6.0, 9.0, 12.0, 11.0, 21.0, 28.0, 22.0, 38.0, 76.0, 126.0, 208.0, 345.0, 619.0, 1383.0, 2921.0, 7698.0, 24210.0, 98400.0, 631494.0, 2617935.0, 667117.0, 102523.0, 24796.0, 8036.0, 3075.0, 1394.0, 732.0, 372.0, 208.0, 157.0, 104.0, 52.0, 33.0, 25.0, 23.0, 14.0, 19.0, 13.0, 9.0, 6.0, 5.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0614013671875, -0.05938911437988281, -0.057376861572265625, -0.05536460876464844, -0.05335235595703125, -0.05134010314941406, -0.049327850341796875, -0.04731559753417969, -0.0453033447265625, -0.04329109191894531, -0.041278839111328125, -0.03926658630371094, -0.03725433349609375, -0.03524208068847656, -0.033229827880859375, -0.031217575073242188, -0.029205322265625, -0.027193069458007812, -0.025180816650390625, -0.023168563842773438, -0.02115631103515625, -0.019144058227539062, -0.017131805419921875, -0.015119552612304688, -0.0131072998046875, -0.011095046997070312, -0.009082794189453125, -0.0070705413818359375, -0.00505828857421875, -0.0030460357666015625, -0.001033782958984375, 0.0009784698486328125, 0.00299072265625, 0.0050029754638671875, 0.007015228271484375, 0.009027481079101562, 0.01103973388671875, 0.013051986694335938, 0.015064239501953125, 0.017076492309570312, 0.0190887451171875, 0.021100997924804688, 0.023113250732421875, 0.025125503540039062, 0.02713775634765625, 0.029150009155273438, 0.031162261962890625, 0.03317451477050781, 0.035186767578125, 0.03719902038574219, 0.039211273193359375, 0.04122352600097656, 0.04323577880859375, 0.04524803161621094, 0.047260284423828125, 0.04927253723144531, 0.0512847900390625, 0.05329704284667969, 0.055309295654296875, 0.05732154846191406, 0.05933380126953125, 0.06134605407714844, 0.06335830688476562, 0.06537055969238281, 0.0673828125]}, "gradients/decoder.transformer.h.13.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 2.0, 3.0, 4.0, 5.0, 10.0, 8.0, 17.0, 26.0, 35.0, 49.0, 46.0, 82.0, 94.0, 125.0, 177.0, 225.0, 311.0, 431.0, 488.0, 504.0, 379.0, 272.0, 203.0, 162.0, 108.0, 96.0, 65.0, 40.0, 39.0, 18.0, 12.0, 12.0, 3.0, 10.0, 8.0, 4.0, 3.0, 5.0, 1.0, 2.0, 4.0, 1.0, 0.0, 1.0], "bins": [-0.06707763671875, -0.06534576416015625, -0.0636138916015625, -0.06188201904296875, -0.060150146484375, -0.05841827392578125, -0.0566864013671875, -0.05495452880859375, -0.05322265625, -0.05149078369140625, -0.0497589111328125, -0.04802703857421875, -0.046295166015625, -0.04456329345703125, -0.0428314208984375, -0.04109954833984375, -0.03936767578125, -0.03763580322265625, -0.0359039306640625, -0.03417205810546875, -0.032440185546875, -0.03070831298828125, -0.0289764404296875, -0.02724456787109375, -0.0255126953125, -0.02378082275390625, -0.0220489501953125, -0.02031707763671875, -0.018585205078125, -0.01685333251953125, -0.0151214599609375, -0.01338958740234375, -0.01165771484375, -0.00992584228515625, -0.0081939697265625, -0.00646209716796875, -0.004730224609375, -0.00299835205078125, -0.0012664794921875, 0.00046539306640625, 0.002197265625, 0.00392913818359375, 0.0056610107421875, 0.00739288330078125, 0.009124755859375, 0.01085662841796875, 0.0125885009765625, 0.01432037353515625, 0.01605224609375, 0.01778411865234375, 0.0195159912109375, 0.02124786376953125, 0.022979736328125, 0.02471160888671875, 0.0264434814453125, 0.02817535400390625, 0.0299072265625, 0.03163909912109375, 0.0333709716796875, 0.03510284423828125, 0.036834716796875, 0.03856658935546875, 0.0402984619140625, 0.04203033447265625, 0.04376220703125]}, "gradients/decoder.transformer.h.13.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 0.0, 4.0, 9.0, 3.0, 6.0, 2.0, 8.0, 9.0, 13.0, 12.0, 27.0, 34.0, 52.0, 69.0, 109.0, 146.0, 261.0, 403.0, 1053.0, 4581.0, 45723.0, 1264050.0, 2773215.0, 94337.0, 7413.0, 1402.0, 522.0, 235.0, 182.0, 114.0, 77.0, 77.0, 41.0, 23.0, 26.0, 17.0, 11.0, 5.0, 6.0, 9.0, 1.0, 2.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1474609375, -0.14221763610839844, -0.13697433471679688, -0.1317310333251953, -0.12648773193359375, -0.12124443054199219, -0.11600112915039062, -0.11075782775878906, -0.1055145263671875, -0.10027122497558594, -0.09502792358398438, -0.08978462219238281, -0.08454132080078125, -0.07929801940917969, -0.07405471801757812, -0.06881141662597656, -0.063568115234375, -0.05832481384277344, -0.053081512451171875, -0.04783821105957031, -0.04259490966796875, -0.03735160827636719, -0.032108306884765625, -0.026865005493164062, -0.0216217041015625, -0.016378402709960938, -0.011135101318359375, -0.0058917999267578125, -0.00064849853515625, 0.0045948028564453125, 0.009838104248046875, 0.015081405639648438, 0.02032470703125, 0.025568008422851562, 0.030811309814453125, 0.03605461120605469, 0.04129791259765625, 0.04654121398925781, 0.051784515380859375, 0.05702781677246094, 0.0622711181640625, 0.06751441955566406, 0.07275772094726562, 0.07800102233886719, 0.08324432373046875, 0.08848762512207031, 0.09373092651367188, 0.09897422790527344, 0.104217529296875, 0.10946083068847656, 0.11470413208007812, 0.11994743347167969, 0.12519073486328125, 0.1304340362548828, 0.13567733764648438, 0.14092063903808594, 0.1461639404296875, 0.15140724182128906, 0.15665054321289062, 0.1618938446044922, 0.16713714599609375, 0.1723804473876953, 0.17762374877929688, 0.18286705017089844, 0.1881103515625]}, "gradients/decoder.transformer.h.13.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 7.0, 28.0, 77.0, 148.0, 221.0, 229.0, 147.0, 102.0, 42.0, 10.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.6502172946929932, -0.6286511421203613, -0.6070850491523743, -0.5855188965797424, -0.5639528036117554, -0.5423866510391235, -0.5208204984664917, -0.49925437569618225, -0.4776882529258728, -0.45612213015556335, -0.4345560073852539, -0.41298985481262207, -0.3914237320423126, -0.3698576092720032, -0.34829145669937134, -0.3267253339290619, -0.30515921115875244, -0.283593088388443, -0.26202696561813354, -0.2404608130455017, -0.21889469027519226, -0.1973285675048828, -0.17576242983341217, -0.15419629216194153, -0.13263016939163208, -0.11106403917074203, -0.08949790894985199, -0.06793177872896194, -0.0463656485080719, -0.024799518287181854, -0.003233388066291809, 0.018332749605178833, 0.03989893198013306, 0.0614650622010231, 0.08303119242191315, 0.10459732264280319, 0.12616345286369324, 0.14772957563400269, 0.16929571330547333, 0.19086185097694397, 0.21242797374725342, 0.23399409651756287, 0.2555602192878723, 0.27712637186050415, 0.2986924946308136, 0.32025861740112305, 0.3418247699737549, 0.36339089274406433, 0.3849570155143738, 0.4065231382846832, 0.4280892610549927, 0.4496554136276245, 0.47122153639793396, 0.4927876591682434, 0.5143538117408752, 0.5359199047088623, 0.5574860572814941, 0.579052209854126, 0.600618302822113, 0.6221844553947449, 0.6437505483627319, 0.6653167009353638, 0.6868828535079956, 0.7084490060806274, 0.7300150990486145]}, "gradients/decoder.transformer.h.13.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 2.0, 1.0, 6.0, 2.0, 9.0, 7.0, 7.0, 13.0, 12.0, 14.0, 14.0, 19.0, 11.0, 15.0, 19.0, 31.0, 31.0, 40.0, 46.0, 34.0, 41.0, 51.0, 37.0, 32.0, 29.0, 45.0, 26.0, 44.0, 31.0, 42.0, 24.0, 45.0, 23.0, 41.0, 27.0, 18.0, 11.0, 17.0, 9.0, 13.0, 8.0, 12.0, 12.0, 5.0, 8.0, 4.0, 5.0, 5.0, 4.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.17017292976379395, -0.16466975212097168, -0.15916657447814941, -0.15366339683532715, -0.14816021919250488, -0.1426570564508438, -0.13715387880802155, -0.13165070116519928, -0.12614752352237701, -0.12064434587955475, -0.11514116823673248, -0.10963799804449081, -0.10413482040166855, -0.09863164275884628, -0.09312847256660461, -0.08762529492378235, -0.08212211728096008, -0.07661893963813782, -0.07111576199531555, -0.06561259180307388, -0.06010941416025162, -0.05460623651742935, -0.049103062599897385, -0.04359988868236542, -0.03809671103954315, -0.032593533396720886, -0.02709035947918892, -0.021587183699011803, -0.016084007918834686, -0.01058083213865757, -0.0050776563584804535, 0.00042551755905151367, 0.005928695201873779, 0.011431870982050896, 0.016935046762228012, 0.02243822254240513, 0.027941398322582245, 0.03344457596540451, 0.03894774988293648, 0.044450923800468445, 0.04995410144329071, 0.055457279086112976, 0.06096045300364494, 0.06646362692117691, 0.07196680456399918, 0.07746998220682144, 0.08297315239906311, 0.08847633004188538, 0.09397950768470764, 0.09948268532752991, 0.10498586297035217, 0.11048903316259384, 0.11599221080541611, 0.12149538844823837, 0.12699855864048004, 0.1325017362833023, 0.13800491392612457, 0.14350809156894684, 0.1490112692117691, 0.15451444685459137, 0.16001760959625244, 0.1655207872390747, 0.17102396488189697, 0.17652714252471924, 0.1820303201675415]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 4.0, 1.0, 6.0, 2.0, 5.0, 9.0, 10.0, 12.0, 14.0, 15.0, 27.0, 26.0, 38.0, 27.0, 20.0, 42.0, 45.0, 43.0, 63.0, 42.0, 62.0, 56.0, 36.0, 46.0, 43.0, 49.0, 38.0, 20.0, 32.0, 30.0, 29.0, 24.0, 20.0, 14.0, 10.0, 13.0, 7.0, 8.0, 5.0, 4.0, 3.0, 4.0, 5.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027252197265625, -0.026406288146972656, -0.025560379028320312, -0.02471446990966797, -0.023868560791015625, -0.02302265167236328, -0.022176742553710938, -0.021330833435058594, -0.02048492431640625, -0.019639015197753906, -0.018793106079101562, -0.01794719696044922, -0.017101287841796875, -0.01625537872314453, -0.015409469604492188, -0.014563560485839844, -0.0137176513671875, -0.012871742248535156, -0.012025833129882812, -0.011179924011230469, -0.010334014892578125, -0.009488105773925781, -0.008642196655273438, -0.007796287536621094, -0.00695037841796875, -0.006104469299316406, -0.0052585601806640625, -0.004412651062011719, -0.003566741943359375, -0.0027208328247070312, -0.0018749237060546875, -0.0010290145874023438, -0.00018310546875, 0.0006628036499023438, 0.0015087127685546875, 0.0023546218872070312, 0.003200531005859375, 0.004046440124511719, 0.0048923492431640625, 0.005738258361816406, 0.00658416748046875, 0.007430076599121094, 0.008275985717773438, 0.009121894836425781, 0.009967803955078125, 0.010813713073730469, 0.011659622192382812, 0.012505531311035156, 0.0133514404296875, 0.014197349548339844, 0.015043258666992188, 0.01588916778564453, 0.016735076904296875, 0.01758098602294922, 0.018426895141601562, 0.019272804260253906, 0.02011871337890625, 0.020964622497558594, 0.021810531616210938, 0.02265644073486328, 0.023502349853515625, 0.02434825897216797, 0.025194168090820312, 0.026040077209472656, 0.026885986328125]}, "gradients/decoder.transformer.h.13.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 6.0, 9.0, 12.0, 14.0, 20.0, 25.0, 46.0, 61.0, 92.0, 159.0, 173.0, 301.0, 464.0, 658.0, 1020.0, 1590.0, 2497.0, 3972.0, 6484.0, 10238.0, 17171.0, 28866.0, 48545.0, 89758.0, 202541.0, 359608.0, 121558.0, 61583.0, 35763.0, 21405.0, 12719.0, 7774.0, 4849.0, 3029.0, 1890.0, 1233.0, 786.0, 541.0, 376.0, 210.0, 170.0, 122.0, 71.0, 49.0, 33.0, 28.0, 17.0, 7.0, 9.0, 5.0, 3.0, 3.0, 4.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00020313262939453125, -0.00019682571291923523, -0.0001905187964439392, -0.0001842118799686432, -0.00017790496349334717, -0.00017159804701805115, -0.00016529113054275513, -0.0001589842140674591, -0.00015267729759216309, -0.00014637038111686707, -0.00014006346464157104, -0.00013375654816627502, -0.000127449631690979, -0.00012114271521568298, -0.00011483579874038696, -0.00010852888226509094, -0.00010222196578979492, -9.59150493144989e-05, -8.960813283920288e-05, -8.330121636390686e-05, -7.699429988861084e-05, -7.068738341331482e-05, -6.43804669380188e-05, -5.807355046272278e-05, -5.176663398742676e-05, -4.545971751213074e-05, -3.915280103683472e-05, -3.2845884561538696e-05, -2.6538968086242676e-05, -2.0232051610946655e-05, -1.3925135135650635e-05, -7.618218660354614e-06, -1.3113021850585938e-06, 4.995614290237427e-06, 1.1302530765533447e-05, 1.7609447240829468e-05, 2.3916363716125488e-05, 3.022328019142151e-05, 3.653019666671753e-05, 4.283711314201355e-05, 4.914402961730957e-05, 5.545094609260559e-05, 6.175786256790161e-05, 6.806477904319763e-05, 7.437169551849365e-05, 8.067861199378967e-05, 8.69855284690857e-05, 9.329244494438171e-05, 9.959936141967773e-05, 0.00010590627789497375, 0.00011221319437026978, 0.0001185201108455658, 0.00012482702732086182, 0.00013113394379615784, 0.00013744086027145386, 0.00014374777674674988, 0.0001500546932220459, 0.00015636160969734192, 0.00016266852617263794, 0.00016897544264793396, 0.00017528235912322998, 0.000181589275598526, 0.00018789619207382202, 0.00019420310854911804, 0.00020051002502441406]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 0.0, 5.0, 3.0, 5.0, 4.0, 2.0, 10.0, 11.0, 6.0, 11.0, 21.0, 22.0, 31.0, 20.0, 17.0, 15.0, 22.0, 31.0, 27.0, 32.0, 32.0, 42.0, 32.0, 40.0, 41.0, 1065.0, 30.0, 44.0, 36.0, 41.0, 43.0, 39.0, 28.0, 24.0, 28.0, 25.0, 14.0, 21.0, 16.0, 27.0, 17.0, 10.0, 10.0, 1.0, 8.0, 6.0, 5.0, 4.0, 4.0, 1.0, 3.0, 2.0, 2.0, 1.0, 1.0, 2.0], "bins": [-0.0216827392578125, -0.02103400230407715, -0.020385265350341797, -0.019736528396606445, -0.019087791442871094, -0.018439054489135742, -0.01779031753540039, -0.01714158058166504, -0.016492843627929688, -0.015844106674194336, -0.015195369720458984, -0.014546632766723633, -0.013897895812988281, -0.01324915885925293, -0.012600421905517578, -0.011951684951782227, -0.011302947998046875, -0.010654211044311523, -0.010005474090576172, -0.00935673713684082, -0.008708000183105469, -0.008059263229370117, -0.007410526275634766, -0.006761789321899414, -0.0061130523681640625, -0.005464315414428711, -0.004815578460693359, -0.004166841506958008, -0.0035181045532226562, -0.0028693675994873047, -0.002220630645751953, -0.0015718936920166016, -0.00092315673828125, -0.00027441978454589844, 0.0003743171691894531, 0.0010230541229248047, 0.0016717910766601562, 0.002320528030395508, 0.0029692649841308594, 0.003618001937866211, 0.0042667388916015625, 0.004915475845336914, 0.005564212799072266, 0.006212949752807617, 0.006861686706542969, 0.00751042366027832, 0.008159160614013672, 0.008807897567749023, 0.009456634521484375, 0.010105371475219727, 0.010754108428955078, 0.01140284538269043, 0.012051582336425781, 0.012700319290161133, 0.013349056243896484, 0.013997793197631836, 0.014646530151367188, 0.015295267105102539, 0.01594400405883789, 0.016592741012573242, 0.017241477966308594, 0.017890214920043945, 0.018538951873779297, 0.01918768882751465, 0.01983642578125]}, "gradients/decoder.transformer.h.13.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 3.0, 2.0, 2.0, 3.0, 5.0, 1.0, 6.0, 6.0, 5.0, 8.0, 7.0, 18.0, 18.0, 19.0, 17.0, 20.0, 19.0, 24.0, 26.0, 27.0, 34.0, 56.0, 90.0, 158.0, 514.0, 2300.0, 25509.0, 2061604.0, 5085.0, 871.0, 238.0, 105.0, 55.0, 30.0, 22.0, 39.0, 18.0, 13.0, 25.0, 27.0, 22.0, 25.0, 17.0, 5.0, 8.0, 9.0, 3.0, 6.0, 6.0, 3.0, 3.0, 2.0, 3.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.2113323211669922e-05, -2.1404586732387543e-05, -2.0695850253105164e-05, -1.9987113773822784e-05, -1.9278377294540405e-05, -1.8569640815258026e-05, -1.7860904335975647e-05, -1.7152167856693268e-05, -1.644343137741089e-05, -1.573469489812851e-05, -1.502595841884613e-05, -1.4317221939563751e-05, -1.3608485460281372e-05, -1.2899748980998993e-05, -1.2191012501716614e-05, -1.1482276022434235e-05, -1.0773539543151855e-05, -1.0064803063869476e-05, -9.356066584587097e-06, -8.647330105304718e-06, -7.938593626022339e-06, -7.22985714673996e-06, -6.5211206674575806e-06, -5.812384188175201e-06, -5.103647708892822e-06, -4.394911229610443e-06, -3.686174750328064e-06, -2.977438271045685e-06, -2.2687017917633057e-06, -1.5599653124809265e-06, -8.512288331985474e-07, -1.424923539161682e-07, 5.662441253662109e-07, 1.27498060464859e-06, 1.9837170839309692e-06, 2.6924535632133484e-06, 3.4011900424957275e-06, 4.109926521778107e-06, 4.818663001060486e-06, 5.527399480342865e-06, 6.236135959625244e-06, 6.944872438907623e-06, 7.653608918190002e-06, 8.362345397472382e-06, 9.07108187675476e-06, 9.77981835603714e-06, 1.0488554835319519e-05, 1.1197291314601898e-05, 1.1906027793884277e-05, 1.2614764273166656e-05, 1.3323500752449036e-05, 1.4032237231731415e-05, 1.4740973711013794e-05, 1.5449710190296173e-05, 1.6158446669578552e-05, 1.686718314886093e-05, 1.757591962814331e-05, 1.828465610742569e-05, 1.899339258670807e-05, 1.9702129065990448e-05, 2.0410865545272827e-05, 2.1119602024555206e-05, 2.1828338503837585e-05, 2.2537074983119965e-05, 2.3245811462402344e-05]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.13.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 4.0, 1.0, 6.0, 2.0, 5.0, 9.0, 10.0, 12.0, 14.0, 15.0, 27.0, 26.0, 38.0, 27.0, 20.0, 42.0, 45.0, 43.0, 63.0, 42.0, 62.0, 56.0, 36.0, 46.0, 43.0, 49.0, 38.0, 20.0, 32.0, 30.0, 29.0, 24.0, 20.0, 14.0, 10.0, 13.0, 7.0, 8.0, 5.0, 4.0, 3.0, 4.0, 5.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027252197265625, -0.026406288146972656, -0.025560379028320312, -0.02471446990966797, -0.023868560791015625, -0.02302265167236328, -0.022176742553710938, -0.021330833435058594, -0.02048492431640625, -0.019639015197753906, -0.018793106079101562, -0.01794719696044922, -0.017101287841796875, -0.01625537872314453, -0.015409469604492188, -0.014563560485839844, -0.0137176513671875, -0.012871742248535156, -0.012025833129882812, -0.011179924011230469, -0.010334014892578125, -0.009488105773925781, -0.008642196655273438, -0.007796287536621094, -0.00695037841796875, -0.006104469299316406, -0.0052585601806640625, -0.004412651062011719, -0.003566741943359375, -0.0027208328247070312, -0.0018749237060546875, -0.0010290145874023438, -0.00018310546875, 0.0006628036499023438, 0.0015087127685546875, 0.0023546218872070312, 0.003200531005859375, 0.004046440124511719, 0.0048923492431640625, 0.005738258361816406, 0.00658416748046875, 0.007430076599121094, 0.008275985717773438, 0.009121894836425781, 0.009967803955078125, 0.010813713073730469, 0.011659622192382812, 0.012505531311035156, 0.0133514404296875, 0.014197349548339844, 0.015043258666992188, 0.01588916778564453, 0.016735076904296875, 0.01758098602294922, 0.018426895141601562, 0.019272804260253906, 0.02011871337890625, 0.020964622497558594, 0.021810531616210938, 0.02265644073486328, 0.023502349853515625, 0.02434825897216797, 0.025194168090820312, 0.026040077209472656, 0.026885986328125]}, "gradients/decoder.transformer.h.13.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 4.0, 1.0, 6.0, 1.0, 3.0, 3.0, 3.0, 11.0, 13.0, 26.0, 37.0, 47.0, 78.0, 125.0, 157.0, 235.0, 378.0, 580.0, 937.0, 1565.0, 2815.0, 5028.0, 9923.0, 21115.0, 55927.0, 217929.0, 517285.0, 138601.0, 40914.0, 16528.0, 7966.0, 4273.0, 2278.0, 1371.0, 829.0, 549.0, 344.0, 210.0, 152.0, 99.0, 73.0, 48.0, 37.0, 23.0, 14.0, 10.0, 5.0, 4.0, 3.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.052581787109375, -0.05090475082397461, -0.04922771453857422, -0.04755067825317383, -0.04587364196777344, -0.04419660568237305, -0.042519569396972656, -0.040842533111572266, -0.039165496826171875, -0.037488460540771484, -0.035811424255371094, -0.0341343879699707, -0.03245735168457031, -0.030780315399169922, -0.02910327911376953, -0.02742624282836914, -0.02574920654296875, -0.02407217025756836, -0.02239513397216797, -0.020718097686767578, -0.019041061401367188, -0.017364025115966797, -0.015686988830566406, -0.014009952545166016, -0.012332916259765625, -0.010655879974365234, -0.008978843688964844, -0.007301807403564453, -0.0056247711181640625, -0.003947734832763672, -0.0022706985473632812, -0.0005936622619628906, 0.0010833740234375, 0.0027604103088378906, 0.004437446594238281, 0.006114482879638672, 0.0077915191650390625, 0.009468555450439453, 0.011145591735839844, 0.012822628021240234, 0.014499664306640625, 0.016176700592041016, 0.017853736877441406, 0.019530773162841797, 0.021207809448242188, 0.022884845733642578, 0.02456188201904297, 0.02623891830444336, 0.02791595458984375, 0.02959299087524414, 0.03127002716064453, 0.03294706344604492, 0.03462409973144531, 0.0363011360168457, 0.037978172302246094, 0.039655208587646484, 0.041332244873046875, 0.043009281158447266, 0.044686317443847656, 0.04636335372924805, 0.04804039001464844, 0.04971742630004883, 0.05139446258544922, 0.05307149887084961, 0.05474853515625]}, "gradients/decoder.transformer.h.13.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 4.0, 1.0, 3.0, 3.0, 5.0, 6.0, 6.0, 11.0, 7.0, 9.0, 18.0, 15.0, 16.0, 18.0, 19.0, 25.0, 26.0, 33.0, 39.0, 39.0, 42.0, 57.0, 80.0, 129.0, 209.0, 1387.0, 231.0, 135.0, 61.0, 60.0, 65.0, 41.0, 35.0, 31.0, 24.0, 28.0, 16.0, 25.0, 19.0, 17.0, 9.0, 10.0, 4.0, 10.0, 10.0, 2.0, 8.0, 6.0, 1.0, 1.0, 0.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.07952880859375, -0.07708740234375, -0.07464599609375, -0.07220458984375, -0.06976318359375, -0.06732177734375, -0.06488037109375, -0.06243896484375, -0.05999755859375, -0.05755615234375, -0.05511474609375, -0.05267333984375, -0.05023193359375, -0.04779052734375, -0.04534912109375, -0.04290771484375, -0.04046630859375, -0.03802490234375, -0.03558349609375, -0.03314208984375, -0.03070068359375, -0.02825927734375, -0.02581787109375, -0.02337646484375, -0.02093505859375, -0.01849365234375, -0.01605224609375, -0.01361083984375, -0.01116943359375, -0.00872802734375, -0.00628662109375, -0.00384521484375, -0.00140380859375, 0.00103759765625, 0.00347900390625, 0.00592041015625, 0.00836181640625, 0.01080322265625, 0.01324462890625, 0.01568603515625, 0.01812744140625, 0.02056884765625, 0.02301025390625, 0.02545166015625, 0.02789306640625, 0.03033447265625, 0.03277587890625, 0.03521728515625, 0.03765869140625, 0.04010009765625, 0.04254150390625, 0.04498291015625, 0.04742431640625, 0.04986572265625, 0.05230712890625, 0.05474853515625, 0.05718994140625, 0.05963134765625, 0.06207275390625, 0.06451416015625, 0.06695556640625, 0.06939697265625, 0.07183837890625, 0.07427978515625, 0.07672119140625]}, "gradients/decoder.transformer.h.13.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 3.0, 1.0, 7.0, 3.0, 11.0, 6.0, 9.0, 17.0, 15.0, 22.0, 31.0, 31.0, 53.0, 60.0, 79.0, 128.0, 126.0, 191.0, 291.0, 593.0, 2332.0, 13959.0, 240407.0, 2804152.0, 73014.0, 7337.0, 1379.0, 466.0, 245.0, 165.0, 129.0, 89.0, 88.0, 69.0, 56.0, 34.0, 23.0, 20.0, 16.0, 24.0, 11.0, 2.0, 4.0, 6.0, 3.0, 3.0, 4.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1641845703125, -0.15925979614257812, -0.15433502197265625, -0.14941024780273438, -0.1444854736328125, -0.13956069946289062, -0.13463592529296875, -0.12971115112304688, -0.124786376953125, -0.11986160278320312, -0.11493682861328125, -0.11001205444335938, -0.1050872802734375, -0.10016250610351562, -0.09523773193359375, -0.09031295776367188, -0.08538818359375, -0.08046340942382812, -0.07553863525390625, -0.07061386108398438, -0.0656890869140625, -0.060764312744140625, -0.05583953857421875, -0.050914764404296875, -0.045989990234375, -0.041065216064453125, -0.03614044189453125, -0.031215667724609375, -0.0262908935546875, -0.021366119384765625, -0.01644134521484375, -0.011516571044921875, -0.006591796875, -0.001667022705078125, 0.00325775146484375, 0.008182525634765625, 0.0131072998046875, 0.018032073974609375, 0.02295684814453125, 0.027881622314453125, 0.032806396484375, 0.037731170654296875, 0.04265594482421875, 0.047580718994140625, 0.0525054931640625, 0.057430267333984375, 0.06235504150390625, 0.06727981567382812, 0.07220458984375, 0.07712936401367188, 0.08205413818359375, 0.08697891235351562, 0.0919036865234375, 0.09682846069335938, 0.10175323486328125, 0.10667800903320312, 0.111602783203125, 0.11652755737304688, 0.12145233154296875, 0.12637710571289062, 0.1313018798828125, 0.13622665405273438, 0.14115142822265625, 0.14607620239257812, 0.1510009765625]}, "gradients/decoder.transformer.h.13.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 4.0, 4.0, 7.0, 16.0, 16.0, 40.0, 40.0, 68.0, 76.0, 107.0, 118.0, 125.0, 109.0, 87.0, 67.0, 46.0, 33.0, 16.0, 17.0, 6.0, 3.0, 4.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2966783940792084, -0.2899196743965149, -0.2831609547138214, -0.27640220522880554, -0.26964348554611206, -0.2628847658634186, -0.2561260461807251, -0.24936731159687042, -0.24260857701301575, -0.23584985733032227, -0.2290911227464676, -0.2223324030637741, -0.21557366847991943, -0.20881494879722595, -0.20205621421337128, -0.1952974945306778, -0.18853875994682312, -0.18178004026412964, -0.17502130568027496, -0.16826258599758148, -0.1615038514137268, -0.15474513173103333, -0.14798639714717865, -0.14122767746448517, -0.1344689577817917, -0.1277102380990982, -0.12095150351524353, -0.11419277638196945, -0.10743404924869537, -0.10067532956600189, -0.09391659498214722, -0.08715787529945374, -0.08039914071559906, -0.07364041358232498, -0.0668816864490509, -0.060122959315776825, -0.05336423218250275, -0.04660550877451897, -0.03984678164124489, -0.03308805450797081, -0.02632932737469673, -0.019570600241422653, -0.01281187403947115, -0.006053147837519646, 0.0007055792957544327, 0.007464304566383362, 0.01422303169965744, 0.02098175883293152, 0.027740485966205597, 0.034499213099479675, 0.041257940232753754, 0.04801666736602783, 0.05477539449930191, 0.06153411790728569, 0.06829284131526947, 0.07505157589912415, 0.08181029558181763, 0.0885690227150917, 0.09532774984836578, 0.10208647698163986, 0.10884520411491394, 0.11560392379760742, 0.1223626583814621, 0.12912137806415558, 0.13588011264801025]}, "gradients/decoder.transformer.h.13.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 4.0, 0.0, 4.0, 3.0, 4.0, 5.0, 14.0, 14.0, 14.0, 12.0, 21.0, 23.0, 19.0, 21.0, 34.0, 33.0, 41.0, 30.0, 42.0, 29.0, 33.0, 42.0, 53.0, 48.0, 50.0, 44.0, 34.0, 39.0, 42.0, 27.0, 35.0, 25.0, 23.0, 27.0, 20.0, 22.0, 19.0, 17.0, 7.0, 7.0, 5.0, 7.0, 2.0, 7.0, 3.0, 0.0, 4.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.25115352869033813, -0.2427007555961609, -0.23424799740314484, -0.2257952243089676, -0.21734246611595154, -0.2088896930217743, -0.20043691992759705, -0.1919841468334198, -0.18353138864040375, -0.1750786155462265, -0.16662585735321045, -0.1581730842590332, -0.14972031116485596, -0.1412675529718399, -0.13281477987766266, -0.12436201423406601, -0.11590924859046936, -0.10745648294687271, -0.09900371730327606, -0.09055094420909882, -0.08209817856550217, -0.07364541292190552, -0.06519263982772827, -0.05673987418413162, -0.04828710854053497, -0.039834342896938324, -0.031381573528051376, -0.022928806021809578, -0.01447603851556778, -0.00602327287197113, 0.0024294964969158173, 0.010882265865802765, 0.019335031509399414, 0.027787799015641212, 0.03624056652188301, 0.04469333589076996, 0.05314610153436661, 0.06159886717796326, 0.0700516402721405, 0.07850440591573715, 0.0869571715593338, 0.09540993720293045, 0.1038627028465271, 0.11231547594070435, 0.120768241584301, 0.12922100722789764, 0.1376737803220749, 0.14612653851509094, 0.1545793116092682, 0.16303208470344543, 0.1714848428964615, 0.17993761599063873, 0.18839037418365479, 0.19684314727783203, 0.20529592037200928, 0.21374869346618652, 0.22220145165920258, 0.23065422475337982, 0.23910698294639587, 0.24755975604057312, 0.25601252913475037, 0.2644652724266052, 0.27291804552078247, 0.2813708186149597, 0.28982359170913696]}, "gradients/decoder.transformer.h.12.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 6.0, 1.0, 2.0, 3.0, 4.0, 8.0, 8.0, 10.0, 17.0, 16.0, 20.0, 27.0, 23.0, 29.0, 28.0, 31.0, 48.0, 54.0, 48.0, 45.0, 61.0, 57.0, 47.0, 56.0, 27.0, 38.0, 46.0, 33.0, 36.0, 35.0, 25.0, 23.0, 18.0, 14.0, 13.0, 15.0, 7.0, 10.0, 8.0, 2.0, 4.0, 5.0, 2.0, 4.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0294036865234375, -0.028504371643066406, -0.027605056762695312, -0.02670574188232422, -0.025806427001953125, -0.02490711212158203, -0.024007797241210938, -0.023108482360839844, -0.02220916748046875, -0.021309852600097656, -0.020410537719726562, -0.01951122283935547, -0.018611907958984375, -0.01771259307861328, -0.016813278198242188, -0.015913963317871094, -0.0150146484375, -0.014115333557128906, -0.013216018676757812, -0.012316703796386719, -0.011417388916015625, -0.010518074035644531, -0.009618759155273438, -0.008719444274902344, -0.00782012939453125, -0.006920814514160156, -0.0060214996337890625, -0.005122184753417969, -0.004222869873046875, -0.0033235549926757812, -0.0024242401123046875, -0.0015249252319335938, -0.0006256103515625, 0.00027370452880859375, 0.0011730194091796875, 0.0020723342895507812, 0.002971649169921875, 0.0038709640502929688, 0.0047702789306640625, 0.005669593811035156, 0.00656890869140625, 0.007468223571777344, 0.008367538452148438, 0.009266853332519531, 0.010166168212890625, 0.011065483093261719, 0.011964797973632812, 0.012864112854003906, 0.013763427734375, 0.014662742614746094, 0.015562057495117188, 0.01646137237548828, 0.017360687255859375, 0.01826000213623047, 0.019159317016601562, 0.020058631896972656, 0.02095794677734375, 0.021857261657714844, 0.022756576538085938, 0.02365589141845703, 0.024555206298828125, 0.02545452117919922, 0.026353836059570312, 0.027253150939941406, 0.0281524658203125]}, "gradients/decoder.transformer.h.12.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 4.0, 5.0, 7.0, 7.0, 11.0, 9.0, 18.0, 35.0, 58.0, 95.0, 173.0, 383.0, 1062.0, 3447.0, 15253.0, 123775.0, 2713347.0, 1259278.0, 63529.0, 9724.0, 2472.0, 814.0, 364.0, 168.0, 90.0, 49.0, 31.0, 24.0, 20.0, 7.0, 8.0, 5.0, 4.0, 3.0, 1.0, 3.0, 2.0, 0.0, 2.0, 4.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09210205078125, -0.08867359161376953, -0.08524513244628906, -0.0818166732788086, -0.07838821411132812, -0.07495975494384766, -0.07153129577636719, -0.06810283660888672, -0.06467437744140625, -0.06124591827392578, -0.05781745910644531, -0.054388999938964844, -0.050960540771484375, -0.047532081604003906, -0.04410362243652344, -0.04067516326904297, -0.0372467041015625, -0.03381824493408203, -0.030389785766601562, -0.026961326599121094, -0.023532867431640625, -0.020104408264160156, -0.016675949096679688, -0.013247489929199219, -0.00981903076171875, -0.006390571594238281, -0.0029621124267578125, 0.00046634674072265625, 0.003894805908203125, 0.007323265075683594, 0.010751724243164062, 0.014180183410644531, 0.017608642578125, 0.02103710174560547, 0.024465560913085938, 0.027894020080566406, 0.031322479248046875, 0.034750938415527344, 0.03817939758300781, 0.04160785675048828, 0.04503631591796875, 0.04846477508544922, 0.05189323425292969, 0.055321693420410156, 0.058750152587890625, 0.062178611755371094, 0.06560707092285156, 0.06903553009033203, 0.0724639892578125, 0.07589244842529297, 0.07932090759277344, 0.0827493667602539, 0.08617782592773438, 0.08960628509521484, 0.09303474426269531, 0.09646320343017578, 0.09989166259765625, 0.10332012176513672, 0.10674858093261719, 0.11017704010009766, 0.11360549926757812, 0.1170339584350586, 0.12046241760253906, 0.12389087677001953, 0.1273193359375]}, "gradients/decoder.transformer.h.12.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 1.0, 3.0, 2.0, 12.0, 5.0, 19.0, 13.0, 17.0, 32.0, 39.0, 46.0, 67.0, 121.0, 140.0, 185.0, 261.0, 324.0, 440.0, 509.0, 471.0, 342.0, 272.0, 205.0, 145.0, 114.0, 85.0, 53.0, 37.0, 35.0, 26.0, 15.0, 7.0, 8.0, 7.0, 7.0, 4.0, 1.0, 3.0, 2.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0], "bins": [-0.059539794921875, -0.05786561965942383, -0.056191444396972656, -0.054517269134521484, -0.05284309387207031, -0.05116891860961914, -0.04949474334716797, -0.0478205680847168, -0.046146392822265625, -0.04447221755981445, -0.04279804229736328, -0.04112386703491211, -0.03944969177246094, -0.037775516510009766, -0.036101341247558594, -0.03442716598510742, -0.03275299072265625, -0.031078815460205078, -0.029404640197753906, -0.027730464935302734, -0.026056289672851562, -0.02438211441040039, -0.02270793914794922, -0.021033763885498047, -0.019359588623046875, -0.017685413360595703, -0.01601123809814453, -0.01433706283569336, -0.012662887573242188, -0.010988712310791016, -0.009314537048339844, -0.007640361785888672, -0.0059661865234375, -0.004292011260986328, -0.0026178359985351562, -0.0009436607360839844, 0.0007305145263671875, 0.0024046897888183594, 0.004078865051269531, 0.005753040313720703, 0.007427215576171875, 0.009101390838623047, 0.010775566101074219, 0.01244974136352539, 0.014123916625976562, 0.015798091888427734, 0.017472267150878906, 0.019146442413330078, 0.02082061767578125, 0.022494792938232422, 0.024168968200683594, 0.025843143463134766, 0.027517318725585938, 0.02919149398803711, 0.03086566925048828, 0.03253984451293945, 0.034214019775390625, 0.0358881950378418, 0.03756237030029297, 0.03923654556274414, 0.04091072082519531, 0.042584896087646484, 0.044259071350097656, 0.04593324661254883, 0.047607421875]}, "gradients/decoder.transformer.h.12.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 4.0, 9.0, 8.0, 9.0, 12.0, 17.0, 37.0, 30.0, 54.0, 68.0, 100.0, 162.0, 289.0, 578.0, 1693.0, 10081.0, 181859.0, 3567701.0, 410653.0, 16949.0, 2394.0, 695.0, 317.0, 180.0, 114.0, 56.0, 65.0, 39.0, 29.0, 19.0, 13.0, 12.0, 12.0, 9.0, 2.0, 4.0, 2.0, 1.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1671142578125, -0.1614704132080078, -0.15582656860351562, -0.15018272399902344, -0.14453887939453125, -0.13889503479003906, -0.13325119018554688, -0.1276073455810547, -0.1219635009765625, -0.11631965637207031, -0.11067581176757812, -0.10503196716308594, -0.09938812255859375, -0.09374427795410156, -0.08810043334960938, -0.08245658874511719, -0.076812744140625, -0.07116889953613281, -0.06552505493164062, -0.05988121032714844, -0.05423736572265625, -0.04859352111816406, -0.042949676513671875, -0.03730583190917969, -0.0316619873046875, -0.026018142700195312, -0.020374298095703125, -0.014730453491210938, -0.00908660888671875, -0.0034427642822265625, 0.002201080322265625, 0.007844924926757812, 0.01348876953125, 0.019132614135742188, 0.024776458740234375, 0.030420303344726562, 0.03606414794921875, 0.04170799255371094, 0.047351837158203125, 0.05299568176269531, 0.0586395263671875, 0.06428337097167969, 0.06992721557617188, 0.07557106018066406, 0.08121490478515625, 0.08685874938964844, 0.09250259399414062, 0.09814643859863281, 0.103790283203125, 0.10943412780761719, 0.11507797241210938, 0.12072181701660156, 0.12636566162109375, 0.13200950622558594, 0.13765335083007812, 0.1432971954345703, 0.1489410400390625, 0.1545848846435547, 0.16022872924804688, 0.16587257385253906, 0.17151641845703125, 0.17716026306152344, 0.18280410766601562, 0.1884479522705078, 0.194091796875]}, "gradients/decoder.transformer.h.12.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 4.0, 3.0, 11.0, 15.0, 29.0, 49.0, 48.0, 104.0, 136.0, 130.0, 133.0, 118.0, 92.0, 52.0, 46.0, 25.0, 11.0, 8.0, 4.0, 0.0, 1.0], "bins": [-0.6609356999397278, -0.6484041213989258, -0.6358725428581238, -0.6233410239219666, -0.6108094453811646, -0.5982778668403625, -0.5857462882995605, -0.5732147693634033, -0.5606831908226013, -0.5481516122817993, -0.5356200337409973, -0.5230885148048401, -0.5105569362640381, -0.4980253577232361, -0.4854937791824341, -0.47296223044395447, -0.46043065190315247, -0.44789907336235046, -0.43536752462387085, -0.42283594608306885, -0.41030439734458923, -0.39777281880378723, -0.3852412700653076, -0.3727096915245056, -0.3601781129837036, -0.3476465344429016, -0.335114985704422, -0.32258340716362, -0.3100518584251404, -0.2975202798843384, -0.2849887013435364, -0.27245715260505676, -0.25992557406425476, -0.24739401042461395, -0.23486244678497314, -0.22233086824417114, -0.20979931950569153, -0.19726774096488953, -0.18473617732524872, -0.1722046136856079, -0.1596730500459671, -0.1471414864063263, -0.13460992276668549, -0.12207835167646408, -0.10954678803682327, -0.09701522439718246, -0.08448365330696106, -0.07195208966732025, -0.05942052602767944, -0.046888962388038635, -0.03435739502310753, -0.021825827658176422, -0.009294264018535614, 0.003237299621105194, 0.0157688707113266, 0.028300434350967407, 0.040831997990608215, 0.05336356163024902, 0.06589512526988983, 0.07842669636011124, 0.09095825999975204, 0.10348982363939285, 0.11602139472961426, 0.12855295836925507, 0.14108452200889587]}, "gradients/decoder.transformer.h.12.ln_2.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 5.0, 4.0, 8.0, 4.0, 7.0, 12.0, 7.0, 10.0, 10.0, 10.0, 13.0, 13.0, 17.0, 24.0, 21.0, 24.0, 25.0, 26.0, 26.0, 34.0, 35.0, 53.0, 51.0, 39.0, 47.0, 40.0, 27.0, 39.0, 36.0, 47.0, 28.0, 22.0, 18.0, 23.0, 23.0, 25.0, 24.0, 21.0, 23.0, 15.0, 11.0, 11.0, 16.0, 7.0, 7.0, 7.0, 4.0, 3.0, 5.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.18902570009231567, -0.18339088559150696, -0.17775605618953705, -0.17212124168872833, -0.16648642718791962, -0.1608515977859497, -0.155216783285141, -0.14958196878433228, -0.14394715428352356, -0.13831233978271484, -0.13267751038074493, -0.12704269587993622, -0.1214078813791275, -0.11577305942773819, -0.11013823747634888, -0.10450342297554016, -0.09886859357357025, -0.09323377162218094, -0.08759895712137222, -0.08196413516998291, -0.0763293206691742, -0.07069449871778488, -0.06505967676639557, -0.059424858540296555, -0.05379004031419754, -0.048155222088098526, -0.04252040386199951, -0.0368855819106102, -0.031250763684511185, -0.02561594545841217, -0.019981123507022858, -0.014346305280923843, -0.008711487054824829, -0.00307666789740324, 0.0025581512600183487, 0.008192971348762512, 0.013827789574861526, 0.01946260780096054, 0.025097429752349854, 0.030732247978448868, 0.03636706620454788, 0.042001884430646896, 0.04763670265674591, 0.05327152460813522, 0.05890634283423424, 0.06454116106033325, 0.07017598301172256, 0.07581080496311188, 0.0814456194639206, 0.0870804414153099, 0.09271525591611862, 0.09835007786750793, 0.10398489236831665, 0.10961971431970596, 0.11525453627109528, 0.12088935077190399, 0.1265241801738739, 0.13215899467468262, 0.13779382407665253, 0.14342863857746124, 0.14906345307826996, 0.15469828248023987, 0.16033309698104858, 0.1659679114818573, 0.17160272598266602]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 4.0, 2.0, 2.0, 6.0, 6.0, 8.0, 6.0, 11.0, 10.0, 16.0, 15.0, 28.0, 34.0, 21.0, 35.0, 30.0, 45.0, 37.0, 47.0, 49.0, 54.0, 47.0, 55.0, 44.0, 46.0, 53.0, 37.0, 35.0, 37.0, 32.0, 38.0, 21.0, 26.0, 13.0, 5.0, 20.0, 7.0, 6.0, 4.0, 5.0, 3.0, 2.0, 2.0, 4.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027801513671875, -0.0269012451171875, -0.0260009765625, -0.0251007080078125, -0.024200439453125, -0.0233001708984375, -0.02239990234375, -0.0214996337890625, -0.020599365234375, -0.0196990966796875, -0.018798828125, -0.0178985595703125, -0.016998291015625, -0.0160980224609375, -0.01519775390625, -0.0142974853515625, -0.013397216796875, -0.0124969482421875, -0.0115966796875, -0.0106964111328125, -0.009796142578125, -0.0088958740234375, -0.00799560546875, -0.0070953369140625, -0.006195068359375, -0.0052947998046875, -0.00439453125, -0.0034942626953125, -0.002593994140625, -0.0016937255859375, -0.00079345703125, 0.0001068115234375, 0.001007080078125, 0.0019073486328125, 0.0028076171875, 0.0037078857421875, 0.004608154296875, 0.0055084228515625, 0.00640869140625, 0.0073089599609375, 0.008209228515625, 0.0091094970703125, 0.010009765625, 0.0109100341796875, 0.011810302734375, 0.0127105712890625, 0.01361083984375, 0.0145111083984375, 0.015411376953125, 0.0163116455078125, 0.0172119140625, 0.0181121826171875, 0.019012451171875, 0.0199127197265625, 0.02081298828125, 0.0217132568359375, 0.022613525390625, 0.0235137939453125, 0.0244140625, 0.0253143310546875, 0.026214599609375, 0.0271148681640625, 0.02801513671875, 0.0289154052734375, 0.029815673828125]}, "gradients/decoder.transformer.h.12.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 5.0, 5.0, 6.0, 11.0, 20.0, 29.0, 36.0, 61.0, 97.0, 131.0, 201.0, 338.0, 497.0, 825.0, 1254.0, 2056.0, 3326.0, 5522.0, 9380.0, 16623.0, 29349.0, 55170.0, 114228.0, 369635.0, 239395.0, 93248.0, 46478.0, 25558.0, 14250.0, 8157.0, 4889.0, 2924.0, 1787.0, 1141.0, 689.0, 427.0, 308.0, 172.0, 135.0, 77.0, 36.0, 26.0, 18.0, 19.0, 6.0, 9.0, 6.0, 6.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00020015239715576172, -0.00019366852939128876, -0.0001871846616268158, -0.00018070079386234283, -0.00017421692609786987, -0.0001677330583333969, -0.00016124919056892395, -0.000154765322804451, -0.00014828145503997803, -0.00014179758727550507, -0.0001353137195110321, -0.00012882985174655914, -0.00012234598398208618, -0.00011586211621761322, -0.00010937824845314026, -0.0001028943806886673, -9.641051292419434e-05, -8.992664515972137e-05, -8.344277739524841e-05, -7.695890963077545e-05, -7.047504186630249e-05, -6.399117410182953e-05, -5.750730633735657e-05, -5.1023438572883606e-05, -4.4539570808410645e-05, -3.805570304393768e-05, -3.157183527946472e-05, -2.508796751499176e-05, -1.86040997505188e-05, -1.2120231986045837e-05, -5.636364221572876e-06, 8.475035429000854e-07, 7.331371307373047e-06, 1.3815239071846008e-05, 2.029910683631897e-05, 2.678297460079193e-05, 3.326684236526489e-05, 3.9750710129737854e-05, 4.6234577894210815e-05, 5.271844565868378e-05, 5.920231342315674e-05, 6.56861811876297e-05, 7.217004895210266e-05, 7.865391671657562e-05, 8.513778448104858e-05, 9.162165224552155e-05, 9.810552000999451e-05, 0.00010458938777446747, 0.00011107325553894043, 0.00011755712330341339, 0.00012404099106788635, 0.00013052485883235931, 0.00013700872659683228, 0.00014349259436130524, 0.0001499764621257782, 0.00015646032989025116, 0.00016294419765472412, 0.00016942806541919708, 0.00017591193318367004, 0.000182395800948143, 0.00018887966871261597, 0.00019536353647708893, 0.0002018474042415619, 0.00020833127200603485, 0.0002148151397705078]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 6.0, 8.0, 4.0, 9.0, 12.0, 11.0, 12.0, 8.0, 15.0, 19.0, 21.0, 24.0, 30.0, 30.0, 24.0, 29.0, 30.0, 31.0, 26.0, 36.0, 45.0, 916.0, 217.0, 44.0, 50.0, 35.0, 36.0, 25.0, 30.0, 27.0, 27.0, 35.0, 21.0, 19.0, 20.0, 12.0, 16.0, 13.0, 7.0, 13.0, 7.0, 10.0, 7.0, 2.0, 4.0, 2.0, 2.0, 2.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.021270751953125, -0.020561695098876953, -0.019852638244628906, -0.01914358139038086, -0.018434524536132812, -0.017725467681884766, -0.01701641082763672, -0.016307353973388672, -0.015598297119140625, -0.014889240264892578, -0.014180183410644531, -0.013471126556396484, -0.012762069702148438, -0.01205301284790039, -0.011343955993652344, -0.010634899139404297, -0.00992584228515625, -0.009216785430908203, -0.008507728576660156, -0.007798671722412109, -0.0070896148681640625, -0.006380558013916016, -0.005671501159667969, -0.004962444305419922, -0.004253387451171875, -0.003544330596923828, -0.0028352737426757812, -0.0021262168884277344, -0.0014171600341796875, -0.0007081031799316406, 9.5367431640625e-07, 0.0007100105285644531, 0.0014190673828125, 0.002128124237060547, 0.0028371810913085938, 0.0035462379455566406, 0.0042552947998046875, 0.004964351654052734, 0.005673408508300781, 0.006382465362548828, 0.007091522216796875, 0.007800579071044922, 0.008509635925292969, 0.009218692779541016, 0.009927749633789062, 0.01063680648803711, 0.011345863342285156, 0.012054920196533203, 0.01276397705078125, 0.013473033905029297, 0.014182090759277344, 0.01489114761352539, 0.015600204467773438, 0.016309261322021484, 0.01701831817626953, 0.017727375030517578, 0.018436431884765625, 0.019145488739013672, 0.01985454559326172, 0.020563602447509766, 0.021272659301757812, 0.02198171615600586, 0.022690773010253906, 0.023399829864501953, 0.02410888671875]}, "gradients/decoder.transformer.h.12.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 3.0, 3.0, 3.0, 3.0, 9.0, 5.0, 13.0, 8.0, 13.0, 13.0, 15.0, 14.0, 18.0, 21.0, 24.0, 30.0, 33.0, 24.0, 40.0, 48.0, 96.0, 277.0, 940.0, 5548.0, 2068351.0, 18625.0, 2021.0, 420.0, 149.0, 66.0, 43.0, 28.0, 25.0, 36.0, 23.0, 27.0, 23.0, 15.0, 11.0, 12.0, 7.0, 14.0, 9.0, 8.0, 6.0, 9.0, 4.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 3.0], "bins": [-2.6106834411621094e-05, -2.5331974029541016e-05, -2.4557113647460938e-05, -2.378225326538086e-05, -2.300739288330078e-05, -2.2232532501220703e-05, -2.1457672119140625e-05, -2.0682811737060547e-05, -1.990795135498047e-05, -1.913309097290039e-05, -1.8358230590820312e-05, -1.7583370208740234e-05, -1.6808509826660156e-05, -1.6033649444580078e-05, -1.52587890625e-05, -1.4483928680419922e-05, -1.3709068298339844e-05, -1.2934207916259766e-05, -1.2159347534179688e-05, -1.138448715209961e-05, -1.0609626770019531e-05, -9.834766387939453e-06, -9.059906005859375e-06, -8.285045623779297e-06, -7.510185241699219e-06, -6.735324859619141e-06, -5.9604644775390625e-06, -5.185604095458984e-06, -4.410743713378906e-06, -3.635883331298828e-06, -2.86102294921875e-06, -2.086162567138672e-06, -1.3113021850585938e-06, -5.364418029785156e-07, 2.384185791015625e-07, 1.0132789611816406e-06, 1.7881393432617188e-06, 2.562999725341797e-06, 3.337860107421875e-06, 4.112720489501953e-06, 4.887580871582031e-06, 5.662441253662109e-06, 6.4373016357421875e-06, 7.212162017822266e-06, 7.987022399902344e-06, 8.761882781982422e-06, 9.5367431640625e-06, 1.0311603546142578e-05, 1.1086463928222656e-05, 1.1861324310302734e-05, 1.2636184692382812e-05, 1.341104507446289e-05, 1.4185905456542969e-05, 1.4960765838623047e-05, 1.5735626220703125e-05, 1.6510486602783203e-05, 1.728534698486328e-05, 1.806020736694336e-05, 1.8835067749023438e-05, 1.9609928131103516e-05, 2.0384788513183594e-05, 2.1159648895263672e-05, 2.193450927734375e-05, 2.2709369659423828e-05, 2.3484230041503906e-05]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.12.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 4.0, 2.0, 2.0, 6.0, 6.0, 8.0, 6.0, 11.0, 10.0, 16.0, 15.0, 28.0, 34.0, 21.0, 35.0, 30.0, 45.0, 37.0, 47.0, 49.0, 54.0, 47.0, 55.0, 44.0, 46.0, 53.0, 37.0, 35.0, 37.0, 32.0, 38.0, 21.0, 26.0, 13.0, 5.0, 20.0, 7.0, 6.0, 4.0, 5.0, 3.0, 2.0, 2.0, 4.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027801513671875, -0.0269012451171875, -0.0260009765625, -0.0251007080078125, -0.024200439453125, -0.0233001708984375, -0.02239990234375, -0.0214996337890625, -0.020599365234375, -0.0196990966796875, -0.018798828125, -0.0178985595703125, -0.016998291015625, -0.0160980224609375, -0.01519775390625, -0.0142974853515625, -0.013397216796875, -0.0124969482421875, -0.0115966796875, -0.0106964111328125, -0.009796142578125, -0.0088958740234375, -0.00799560546875, -0.0070953369140625, -0.006195068359375, -0.0052947998046875, -0.00439453125, -0.0034942626953125, -0.002593994140625, -0.0016937255859375, -0.00079345703125, 0.0001068115234375, 0.001007080078125, 0.0019073486328125, 0.0028076171875, 0.0037078857421875, 0.004608154296875, 0.0055084228515625, 0.00640869140625, 0.0073089599609375, 0.008209228515625, 0.0091094970703125, 0.010009765625, 0.0109100341796875, 0.011810302734375, 0.0127105712890625, 0.01361083984375, 0.0145111083984375, 0.015411376953125, 0.0163116455078125, 0.0172119140625, 0.0181121826171875, 0.019012451171875, 0.0199127197265625, 0.02081298828125, 0.0217132568359375, 0.022613525390625, 0.0235137939453125, 0.0244140625, 0.0253143310546875, 0.026214599609375, 0.0271148681640625, 0.02801513671875, 0.0289154052734375, 0.029815673828125]}, "gradients/decoder.transformer.h.12.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 4.0, 1.0, 1.0, 6.0, 6.0, 9.0, 15.0, 19.0, 34.0, 44.0, 59.0, 81.0, 128.0, 177.0, 282.0, 586.0, 1008.0, 1844.0, 3415.0, 7213.0, 16932.0, 52079.0, 277640.0, 552913.0, 89889.0, 24612.0, 9743.0, 4593.0, 2330.0, 1190.0, 659.0, 391.0, 233.0, 133.0, 87.0, 69.0, 47.0, 23.0, 18.0, 11.0, 13.0, 14.0, 6.0, 4.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.05255126953125, -0.050750732421875, -0.0489501953125, -0.047149658203125, -0.04534912109375, -0.043548583984375, -0.041748046875, -0.039947509765625, -0.03814697265625, -0.036346435546875, -0.0345458984375, -0.032745361328125, -0.03094482421875, -0.029144287109375, -0.02734375, -0.025543212890625, -0.02374267578125, -0.021942138671875, -0.0201416015625, -0.018341064453125, -0.01654052734375, -0.014739990234375, -0.012939453125, -0.011138916015625, -0.00933837890625, -0.007537841796875, -0.0057373046875, -0.003936767578125, -0.00213623046875, -0.000335693359375, 0.00146484375, 0.003265380859375, 0.00506591796875, 0.006866455078125, 0.0086669921875, 0.010467529296875, 0.01226806640625, 0.014068603515625, 0.015869140625, 0.017669677734375, 0.01947021484375, 0.021270751953125, 0.0230712890625, 0.024871826171875, 0.02667236328125, 0.028472900390625, 0.0302734375, 0.032073974609375, 0.03387451171875, 0.035675048828125, 0.0374755859375, 0.039276123046875, 0.04107666015625, 0.042877197265625, 0.044677734375, 0.046478271484375, 0.04827880859375, 0.050079345703125, 0.0518798828125, 0.053680419921875, 0.05548095703125, 0.057281494140625, 0.05908203125, 0.060882568359375, 0.06268310546875]}, "gradients/decoder.transformer.h.12.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 1.0, 1.0, 0.0, 2.0, 1.0, 8.0, 7.0, 7.0, 9.0, 8.0, 7.0, 10.0, 15.0, 20.0, 18.0, 20.0, 31.0, 29.0, 41.0, 40.0, 29.0, 52.0, 39.0, 80.0, 182.0, 1536.0, 321.0, 110.0, 47.0, 48.0, 37.0, 31.0, 35.0, 39.0, 31.0, 28.0, 23.0, 16.0, 18.0, 23.0, 11.0, 7.0, 7.0, 8.0, 5.0, 1.0, 7.0, 4.0, 7.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.09417724609375, -0.09130477905273438, -0.08843231201171875, -0.08555984497070312, -0.0826873779296875, -0.07981491088867188, -0.07694244384765625, -0.07406997680664062, -0.071197509765625, -0.06832504272460938, -0.06545257568359375, -0.06258010864257812, -0.0597076416015625, -0.056835174560546875, -0.05396270751953125, -0.051090240478515625, -0.0482177734375, -0.045345306396484375, -0.04247283935546875, -0.039600372314453125, -0.0367279052734375, -0.033855438232421875, -0.03098297119140625, -0.028110504150390625, -0.025238037109375, -0.022365570068359375, -0.01949310302734375, -0.016620635986328125, -0.0137481689453125, -0.010875701904296875, -0.00800323486328125, -0.005130767822265625, -0.00225830078125, 0.000614166259765625, 0.00348663330078125, 0.006359100341796875, 0.0092315673828125, 0.012104034423828125, 0.01497650146484375, 0.017848968505859375, 0.020721435546875, 0.023593902587890625, 0.02646636962890625, 0.029338836669921875, 0.0322113037109375, 0.035083770751953125, 0.03795623779296875, 0.040828704833984375, 0.043701171875, 0.046573638916015625, 0.04944610595703125, 0.052318572998046875, 0.0551910400390625, 0.058063507080078125, 0.06093597412109375, 0.06380844116210938, 0.066680908203125, 0.06955337524414062, 0.07242584228515625, 0.07529830932617188, 0.0781707763671875, 0.08104324340820312, 0.08391571044921875, 0.08678817749023438, 0.08966064453125]}, "gradients/decoder.transformer.h.12.attn.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 4.0, 1.0, 4.0, 7.0, 4.0, 13.0, 8.0, 9.0, 14.0, 16.0, 26.0, 37.0, 46.0, 46.0, 61.0, 91.0, 121.0, 179.0, 251.0, 462.0, 1361.0, 6112.0, 67838.0, 2971455.0, 87744.0, 6914.0, 1474.0, 491.0, 241.0, 185.0, 135.0, 82.0, 66.0, 45.0, 41.0, 35.0, 13.0, 22.0, 10.0, 13.0, 9.0, 11.0, 5.0, 1.0, 1.0, 2.0, 6.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.14794921875, -0.14325714111328125, -0.1385650634765625, -0.13387298583984375, -0.129180908203125, -0.12448883056640625, -0.1197967529296875, -0.11510467529296875, -0.11041259765625, -0.10572052001953125, -0.1010284423828125, -0.09633636474609375, -0.091644287109375, -0.08695220947265625, -0.0822601318359375, -0.07756805419921875, -0.0728759765625, -0.06818389892578125, -0.0634918212890625, -0.05879974365234375, -0.054107666015625, -0.04941558837890625, -0.0447235107421875, -0.04003143310546875, -0.03533935546875, -0.03064727783203125, -0.0259552001953125, -0.02126312255859375, -0.016571044921875, -0.01187896728515625, -0.0071868896484375, -0.00249481201171875, 0.002197265625, 0.00688934326171875, 0.0115814208984375, 0.01627349853515625, 0.020965576171875, 0.02565765380859375, 0.0303497314453125, 0.03504180908203125, 0.03973388671875, 0.04442596435546875, 0.0491180419921875, 0.05381011962890625, 0.058502197265625, 0.06319427490234375, 0.0678863525390625, 0.07257843017578125, 0.0772705078125, 0.08196258544921875, 0.0866546630859375, 0.09134674072265625, 0.096038818359375, 0.10073089599609375, 0.1054229736328125, 0.11011505126953125, 0.11480712890625, 0.11949920654296875, 0.1241912841796875, 0.12888336181640625, 0.133575439453125, 0.13826751708984375, 0.1429595947265625, 0.14765167236328125, 0.15234375]}, "gradients/decoder.transformer.h.12.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 110.0, 652.0, 243.0, 11.0, 1.0], "bins": [-1.7608057260513306, -1.731755256652832, -1.7027047872543335, -1.673654317855835, -1.6446037292480469, -1.6155532598495483, -1.5865027904510498, -1.5574523210525513, -1.5284018516540527, -1.4993513822555542, -1.4703009128570557, -1.4412503242492676, -1.412199854850769, -1.3831493854522705, -1.354098916053772, -1.3250484466552734, -1.2959978580474854, -1.2669473886489868, -1.2378969192504883, -1.2088463306427002, -1.1797958612442017, -1.1507453918457031, -1.1216949224472046, -1.092644453048706, -1.0635939836502075, -1.034543514251709, -1.0054930448532104, -0.9764425158500671, -0.9473920464515686, -0.9183415174484253, -0.8892910480499268, -0.8602405786514282, -0.8311901092529297, -0.8021396398544312, -0.7730891108512878, -0.7440386414527893, -0.7149881720542908, -0.6859376430511475, -0.6568871736526489, -0.6278367042541504, -0.5987861752510071, -0.5697357058525085, -0.5406851768493652, -0.5116347074508667, -0.4825842082500458, -0.45353370904922485, -0.4244832396507263, -0.3954327404499054, -0.3663822412490845, -0.33733174204826355, -0.308281272649765, -0.2792307734489441, -0.25018027424812317, -0.22112978994846344, -0.1920793056488037, -0.1630288064479828, -0.13397832214832306, -0.10492783039808273, -0.07587733864784241, -0.04682685434818268, -0.017776362597942352, 0.011274129152297974, 0.0403246134519577, 0.06937511265277863, 0.09842559695243835]}, "gradients/decoder.transformer.h.12.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 3.0, 2.0, 3.0, 1.0, 6.0, 9.0, 7.0, 9.0, 15.0, 13.0, 14.0, 13.0, 15.0, 24.0, 34.0, 32.0, 36.0, 34.0, 39.0, 41.0, 43.0, 42.0, 41.0, 32.0, 44.0, 58.0, 43.0, 38.0, 46.0, 39.0, 28.0, 28.0, 34.0, 22.0, 22.0, 18.0, 20.0, 17.0, 9.0, 10.0, 5.0, 4.0, 4.0, 7.0, 4.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.2950604557991028, -0.28639888763427734, -0.2777372896671295, -0.2690757215023041, -0.26041415333747864, -0.2517525553703308, -0.24309098720550537, -0.23442940413951874, -0.2257678210735321, -0.21710623800754547, -0.20844466984272003, -0.1997830867767334, -0.19112150371074677, -0.18245992064476013, -0.1737983524799347, -0.16513676941394806, -0.15647520124912262, -0.147813618183136, -0.13915205001831055, -0.1304904669523239, -0.12182888388633728, -0.11316730827093124, -0.10450573265552521, -0.09584414958953857, -0.08718257397413254, -0.0785209983587265, -0.06985941529273987, -0.06119783967733383, -0.0525362603366375, -0.04387468099594116, -0.035213105380535126, -0.02655152603983879, -0.017889946699142456, -0.009228368289768696, -0.0005667898803949356, 0.00809478759765625, 0.016756366938352585, 0.02541794627904892, 0.034079521894454956, 0.04274110123515129, 0.051402680575847626, 0.06006425991654396, 0.0687258392572403, 0.07738741487264633, 0.08604899048805237, 0.094710573554039, 0.10337214916944504, 0.11203372478485107, 0.12069530785083771, 0.12935689091682434, 0.13801845908164978, 0.1466800421476364, 0.15534162521362305, 0.1640031933784485, 0.17266477644443512, 0.18132635951042175, 0.1899879276752472, 0.19864951074123383, 0.20731107890605927, 0.2159726619720459, 0.22463424503803253, 0.23329582810401917, 0.2419573962688446, 0.25061896443367004, 0.25928056240081787]}, "gradients/decoder.transformer.h.11.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 3.0, 2.0, 6.0, 5.0, 4.0, 9.0, 4.0, 13.0, 16.0, 15.0, 22.0, 22.0, 30.0, 28.0, 32.0, 33.0, 43.0, 33.0, 50.0, 51.0, 47.0, 52.0, 41.0, 43.0, 53.0, 44.0, 44.0, 28.0, 37.0, 38.0, 25.0, 29.0, 20.0, 11.0, 17.0, 15.0, 11.0, 5.0, 6.0, 6.0, 1.0, 3.0, 3.0, 5.0, 1.0, 5.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02825927734375, -0.02737116813659668, -0.02648305892944336, -0.02559494972229004, -0.02470684051513672, -0.0238187313079834, -0.022930622100830078, -0.022042512893676758, -0.021154403686523438, -0.020266294479370117, -0.019378185272216797, -0.018490076065063477, -0.017601966857910156, -0.016713857650756836, -0.015825748443603516, -0.014937639236450195, -0.014049530029296875, -0.013161420822143555, -0.012273311614990234, -0.011385202407836914, -0.010497093200683594, -0.009608983993530273, -0.008720874786376953, -0.007832765579223633, -0.0069446563720703125, -0.006056547164916992, -0.005168437957763672, -0.0042803287506103516, -0.0033922195434570312, -0.002504110336303711, -0.0016160011291503906, -0.0007278919219970703, 0.00016021728515625, 0.0010483264923095703, 0.0019364356994628906, 0.002824544906616211, 0.0037126541137695312, 0.0046007633209228516, 0.005488872528076172, 0.006376981735229492, 0.0072650909423828125, 0.008153200149536133, 0.009041309356689453, 0.009929418563842773, 0.010817527770996094, 0.011705636978149414, 0.012593746185302734, 0.013481855392456055, 0.014369964599609375, 0.015258073806762695, 0.016146183013916016, 0.017034292221069336, 0.017922401428222656, 0.018810510635375977, 0.019698619842529297, 0.020586729049682617, 0.021474838256835938, 0.022362947463989258, 0.023251056671142578, 0.0241391658782959, 0.02502727508544922, 0.02591538429260254, 0.02680349349975586, 0.02769160270690918, 0.0285797119140625]}, "gradients/decoder.transformer.h.11.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 2.0, 6.0, 8.0, 13.0, 21.0, 31.0, 65.0, 102.0, 196.0, 285.0, 572.0, 1018.0, 2129.0, 4707.0, 11981.0, 34895.0, 133874.0, 783423.0, 2473007.0, 592015.0, 107554.0, 29570.0, 10461.0, 4125.0, 1994.0, 922.0, 504.0, 296.0, 180.0, 119.0, 74.0, 49.0, 28.0, 18.0, 11.0, 8.0, 6.0, 9.0, 5.0, 2.0, 2.0, 5.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.04864501953125, -0.04680442810058594, -0.044963836669921875, -0.04312324523925781, -0.04128265380859375, -0.03944206237792969, -0.037601470947265625, -0.03576087951660156, -0.0339202880859375, -0.03207969665527344, -0.030239105224609375, -0.028398513793945312, -0.02655792236328125, -0.024717330932617188, -0.022876739501953125, -0.021036148071289062, -0.019195556640625, -0.017354965209960938, -0.015514373779296875, -0.013673782348632812, -0.01183319091796875, -0.009992599487304688, -0.008152008056640625, -0.0063114166259765625, -0.0044708251953125, -0.0026302337646484375, -0.000789642333984375, 0.0010509490966796875, 0.00289154052734375, 0.0047321319580078125, 0.006572723388671875, 0.008413314819335938, 0.01025390625, 0.012094497680664062, 0.013935089111328125, 0.015775680541992188, 0.01761627197265625, 0.019456863403320312, 0.021297454833984375, 0.023138046264648438, 0.0249786376953125, 0.026819229125976562, 0.028659820556640625, 0.030500411987304688, 0.03234100341796875, 0.03418159484863281, 0.036022186279296875, 0.03786277770996094, 0.039703369140625, 0.04154396057128906, 0.043384552001953125, 0.04522514343261719, 0.04706573486328125, 0.04890632629394531, 0.050746917724609375, 0.05258750915527344, 0.0544281005859375, 0.05626869201660156, 0.058109283447265625, 0.05994987487792969, 0.06179046630859375, 0.06363105773925781, 0.06547164916992188, 0.06731224060058594, 0.06915283203125]}, "gradients/decoder.transformer.h.11.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 3.0, 1.0, 6.0, 8.0, 6.0, 7.0, 13.0, 21.0, 19.0, 25.0, 32.0, 38.0, 51.0, 79.0, 125.0, 146.0, 183.0, 245.0, 322.0, 422.0, 487.0, 473.0, 375.0, 251.0, 184.0, 150.0, 101.0, 71.0, 62.0, 48.0, 32.0, 30.0, 18.0, 10.0, 12.0, 12.0, 7.0, 2.0, 3.0, 1.0, 0.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.043243408203125, -0.04167747497558594, -0.040111541748046875, -0.03854560852050781, -0.03697967529296875, -0.03541374206542969, -0.033847808837890625, -0.03228187561035156, -0.0307159423828125, -0.029150009155273438, -0.027584075927734375, -0.026018142700195312, -0.02445220947265625, -0.022886276245117188, -0.021320343017578125, -0.019754409790039062, -0.0181884765625, -0.016622543334960938, -0.015056610107421875, -0.013490676879882812, -0.01192474365234375, -0.010358810424804688, -0.008792877197265625, -0.0072269439697265625, -0.0056610107421875, -0.0040950775146484375, -0.002529144287109375, -0.0009632110595703125, 0.00060272216796875, 0.0021686553955078125, 0.003734588623046875, 0.0053005218505859375, 0.006866455078125, 0.008432388305664062, 0.009998321533203125, 0.011564254760742188, 0.01313018798828125, 0.014696121215820312, 0.016262054443359375, 0.017827987670898438, 0.0193939208984375, 0.020959854125976562, 0.022525787353515625, 0.024091720581054688, 0.02565765380859375, 0.027223587036132812, 0.028789520263671875, 0.030355453491210938, 0.03192138671875, 0.03348731994628906, 0.035053253173828125, 0.03661918640136719, 0.03818511962890625, 0.03975105285644531, 0.041316986083984375, 0.04288291931152344, 0.0444488525390625, 0.04601478576660156, 0.047580718994140625, 0.04914665222167969, 0.05071258544921875, 0.05227851867675781, 0.053844451904296875, 0.05541038513183594, 0.056976318359375]}, "gradients/decoder.transformer.h.11.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 4.0, 1.0, 10.0, 11.0, 6.0, 13.0, 16.0, 28.0, 41.0, 50.0, 60.0, 73.0, 110.0, 216.0, 303.0, 889.0, 7937.0, 353863.0, 3742131.0, 83738.0, 3261.0, 577.0, 291.0, 199.0, 142.0, 71.0, 57.0, 48.0, 32.0, 30.0, 15.0, 21.0, 13.0, 5.0, 9.0, 6.0, 5.0, 3.0, 3.0, 2.0, 0.0, 4.0, 0.0, 1.0, 1.0], "bins": [-0.26904296875, -0.2618370056152344, -0.25463104248046875, -0.24742507934570312, -0.2402191162109375, -0.23301315307617188, -0.22580718994140625, -0.21860122680664062, -0.211395263671875, -0.20418930053710938, -0.19698333740234375, -0.18977737426757812, -0.1825714111328125, -0.17536544799804688, -0.16815948486328125, -0.16095352172851562, -0.15374755859375, -0.14654159545898438, -0.13933563232421875, -0.13212966918945312, -0.1249237060546875, -0.11771774291992188, -0.11051177978515625, -0.10330581665039062, -0.096099853515625, -0.08889389038085938, -0.08168792724609375, -0.07448196411132812, -0.0672760009765625, -0.060070037841796875, -0.05286407470703125, -0.045658111572265625, -0.0384521484375, -0.031246185302734375, -0.02404022216796875, -0.016834259033203125, -0.0096282958984375, -0.002422332763671875, 0.00478363037109375, 0.011989593505859375, 0.019195556640625, 0.026401519775390625, 0.03360748291015625, 0.040813446044921875, 0.0480194091796875, 0.055225372314453125, 0.06243133544921875, 0.06963729858398438, 0.07684326171875, 0.08404922485351562, 0.09125518798828125, 0.09846115112304688, 0.1056671142578125, 0.11287307739257812, 0.12007904052734375, 0.12728500366210938, 0.134490966796875, 0.14169692993164062, 0.14890289306640625, 0.15610885620117188, 0.1633148193359375, 0.17052078247070312, 0.17772674560546875, 0.18493270874023438, 0.192138671875]}, "gradients/decoder.transformer.h.11.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 14.0, 33.0, 100.0, 175.0, 249.0, 227.0, 128.0, 59.0, 19.0, 11.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.41621288657188416, -0.39513617753982544, -0.3740594685077667, -0.352982759475708, -0.3319060206413269, -0.3108293116092682, -0.2897526025772095, -0.26867586374282837, -0.24759916961193085, -0.22652246057987213, -0.20544573664665222, -0.1843690276145935, -0.1632923185825348, -0.14221559464931488, -0.12113888561725616, -0.10006216168403625, -0.07898545265197754, -0.057908736169338226, -0.03683202341198921, -0.015755310654640198, 0.005321405827999115, 0.026398122310638428, 0.047474831342697144, 0.06855155527591705, 0.08962826430797577, 0.11070498079061508, 0.1317816972732544, 0.1528584063053131, 0.17393511533737183, 0.19501183927059174, 0.21608854830265045, 0.23716527223587036, 0.25824201107025146, 0.2793187201023102, 0.3003954291343689, 0.32147216796875, 0.3425488770008087, 0.36362558603286743, 0.38470229506492615, 0.40577900409698486, 0.42685574293136597, 0.4479324519634247, 0.4690091609954834, 0.4900858998298645, 0.5111625790596008, 0.5322393178939819, 0.5533159971237183, 0.5743927359580994, 0.5954694747924805, 0.6165462136268616, 0.6376228928565979, 0.658699631690979, 0.6797763109207153, 0.7008530497550964, 0.7219297885894775, 0.7430064678192139, 0.7640831470489502, 0.7851598858833313, 0.8062365651130676, 0.8273133039474487, 0.8483899831771851, 0.8694667220115662, 0.8905434608459473, 0.9116201400756836, 0.9326968789100647]}, "gradients/decoder.transformer.h.11.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 2.0, 5.0, 4.0, 4.0, 3.0, 3.0, 6.0, 14.0, 11.0, 19.0, 12.0, 20.0, 15.0, 25.0, 17.0, 30.0, 25.0, 28.0, 32.0, 31.0, 33.0, 46.0, 38.0, 43.0, 36.0, 41.0, 43.0, 35.0, 44.0, 45.0, 42.0, 36.0, 29.0, 38.0, 22.0, 17.0, 29.0, 13.0, 16.0, 12.0, 6.0, 11.0, 7.0, 7.0, 4.0, 7.0, 4.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.157098650932312, -0.15159264206886292, -0.14608663320541382, -0.14058062434196472, -0.13507461547851562, -0.12956862151622772, -0.12406261265277863, -0.11855660378932953, -0.11305059492588043, -0.10754458606243134, -0.10203857719898224, -0.09653257578611374, -0.09102656692266464, -0.08552055805921555, -0.08001455664634705, -0.07450854778289795, -0.06900253891944885, -0.06349653005599976, -0.05799052491784096, -0.05248451977968216, -0.04697851091623306, -0.041472502052783966, -0.03596649691462517, -0.03046049177646637, -0.024954482913017273, -0.019448475912213326, -0.013942468911409378, -0.00843646191060543, -0.002930454909801483, 0.0025755520910024643, 0.008081559091806412, 0.01358756422996521, 0.019093573093414307, 0.024599580094218254, 0.0301055870950222, 0.035611592233181, 0.041117601096630096, 0.04662360996007919, 0.05212961509823799, 0.05763562023639679, 0.06314162909984589, 0.06864763796329498, 0.07415364682674408, 0.07965964823961258, 0.08516565710306168, 0.09067166596651077, 0.09617766737937927, 0.10168367624282837, 0.10718968510627747, 0.11269569396972656, 0.11820170283317566, 0.12370770424604416, 0.12921372056007385, 0.13471971452236176, 0.14022572338581085, 0.14573173224925995, 0.15123774111270905, 0.15674374997615814, 0.16224975883960724, 0.16775576770305634, 0.17326176166534424, 0.17876777052879333, 0.18427377939224243, 0.18977978825569153, 0.19528579711914062]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 5.0, 5.0, 2.0, 3.0, 6.0, 7.0, 6.0, 7.0, 5.0, 17.0, 19.0, 19.0, 30.0, 28.0, 27.0, 34.0, 37.0, 35.0, 55.0, 58.0, 44.0, 58.0, 52.0, 44.0, 43.0, 45.0, 39.0, 40.0, 35.0, 44.0, 29.0, 23.0, 20.0, 18.0, 16.0, 14.0, 8.0, 8.0, 6.0, 2.0, 4.0, 2.0, 3.0, 3.0, 6.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02783203125, -0.026912450790405273, -0.025992870330810547, -0.02507328987121582, -0.024153709411621094, -0.023234128952026367, -0.02231454849243164, -0.021394968032836914, -0.020475387573242188, -0.01955580711364746, -0.018636226654052734, -0.017716646194458008, -0.01679706573486328, -0.015877485275268555, -0.014957904815673828, -0.014038324356079102, -0.013118743896484375, -0.012199163436889648, -0.011279582977294922, -0.010360002517700195, -0.009440422058105469, -0.008520841598510742, -0.007601261138916016, -0.006681680679321289, -0.0057621002197265625, -0.004842519760131836, -0.003922939300537109, -0.003003358840942383, -0.0020837783813476562, -0.0011641979217529297, -0.0002446174621582031, 0.0006749629974365234, 0.00159454345703125, 0.0025141239166259766, 0.003433704376220703, 0.00435328483581543, 0.005272865295410156, 0.006192445755004883, 0.007112026214599609, 0.008031606674194336, 0.008951187133789062, 0.009870767593383789, 0.010790348052978516, 0.011709928512573242, 0.012629508972167969, 0.013549089431762695, 0.014468669891357422, 0.015388250350952148, 0.016307830810546875, 0.0172274112701416, 0.018146991729736328, 0.019066572189331055, 0.01998615264892578, 0.020905733108520508, 0.021825313568115234, 0.02274489402770996, 0.023664474487304688, 0.024584054946899414, 0.02550363540649414, 0.026423215866088867, 0.027342796325683594, 0.02826237678527832, 0.029181957244873047, 0.030101537704467773, 0.0310211181640625]}, "gradients/decoder.transformer.h.11.crossattention.c_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 3.0, 2.0, 4.0, 6.0, 11.0, 13.0, 21.0, 44.0, 67.0, 87.0, 97.0, 180.0, 278.0, 408.0, 616.0, 884.0, 1285.0, 1848.0, 2837.0, 4326.0, 6653.0, 10784.0, 16808.0, 27917.0, 46651.0, 83467.0, 167482.0, 346780.0, 143728.0, 74578.0, 42165.0, 25330.0, 15436.0, 9562.0, 6151.0, 4050.0, 2588.0, 1698.0, 1111.0, 835.0, 567.0, 396.0, 286.0, 175.0, 109.0, 73.0, 64.0, 37.0, 25.0, 18.0, 10.0, 9.0, 4.0, 1.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0001723766326904297, -0.00016670674085617065, -0.00016103684902191162, -0.0001553669571876526, -0.00014969706535339355, -0.00014402717351913452, -0.0001383572816848755, -0.00013268738985061646, -0.00012701749801635742, -0.00012134760618209839, -0.00011567771434783936, -0.00011000782251358032, -0.00010433793067932129, -9.866803884506226e-05, -9.299814701080322e-05, -8.732825517654419e-05, -8.165836334228516e-05, -7.598847150802612e-05, -7.031857967376709e-05, -6.464868783950806e-05, -5.8978796005249023e-05, -5.330890417098999e-05, -4.763901233673096e-05, -4.1969120502471924e-05, -3.629922866821289e-05, -3.062933683395386e-05, -2.4959444999694824e-05, -1.928955316543579e-05, -1.3619661331176758e-05, -7.949769496917725e-06, -2.2798776626586914e-06, 3.390014171600342e-06, 9.059906005859375e-06, 1.4729797840118408e-05, 2.039968967437744e-05, 2.6069581508636475e-05, 3.173947334289551e-05, 3.740936517715454e-05, 4.3079257011413574e-05, 4.874914884567261e-05, 5.441904067993164e-05, 6.0088932514190674e-05, 6.575882434844971e-05, 7.142871618270874e-05, 7.709860801696777e-05, 8.27684998512268e-05, 8.843839168548584e-05, 9.410828351974487e-05, 9.97781753540039e-05, 0.00010544806718826294, 0.00011111795902252197, 0.000116787850856781, 0.00012245774269104004, 0.00012812763452529907, 0.0001337975263595581, 0.00013946741819381714, 0.00014513731002807617, 0.0001508072018623352, 0.00015647709369659424, 0.00016214698553085327, 0.0001678168773651123, 0.00017348676919937134, 0.00017915666103363037, 0.0001848265528678894, 0.00019049644470214844]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 4.0, 2.0, 1.0, 2.0, 2.0, 5.0, 1.0, 7.0, 5.0, 13.0, 6.0, 9.0, 10.0, 8.0, 7.0, 17.0, 19.0, 24.0, 29.0, 20.0, 24.0, 31.0, 19.0, 35.0, 31.0, 36.0, 29.0, 39.0, 43.0, 1070.0, 40.0, 53.0, 41.0, 35.0, 34.0, 34.0, 31.0, 23.0, 23.0, 21.0, 26.0, 25.0, 14.0, 15.0, 11.0, 6.0, 15.0, 16.0, 6.0, 5.0, 4.0, 3.0, 3.0, 3.0, 2.0, 2.0, 3.0, 1.0], "bins": [-0.025421142578125, -0.02469921112060547, -0.023977279663085938, -0.023255348205566406, -0.022533416748046875, -0.021811485290527344, -0.021089553833007812, -0.02036762237548828, -0.01964569091796875, -0.01892375946044922, -0.018201828002929688, -0.017479896545410156, -0.016757965087890625, -0.016036033630371094, -0.015314102172851562, -0.014592170715332031, -0.0138702392578125, -0.013148307800292969, -0.012426376342773438, -0.011704444885253906, -0.010982513427734375, -0.010260581970214844, -0.009538650512695312, -0.008816719055175781, -0.00809478759765625, -0.007372856140136719, -0.0066509246826171875, -0.005928993225097656, -0.005207061767578125, -0.004485130310058594, -0.0037631988525390625, -0.0030412673950195312, -0.0023193359375, -0.0015974044799804688, -0.0008754730224609375, -0.00015354156494140625, 0.000568389892578125, 0.0012903213500976562, 0.0020122528076171875, 0.0027341842651367188, 0.00345611572265625, 0.004178047180175781, 0.0048999786376953125, 0.005621910095214844, 0.006343841552734375, 0.007065773010253906, 0.0077877044677734375, 0.008509635925292969, 0.0092315673828125, 0.009953498840332031, 0.010675430297851562, 0.011397361755371094, 0.012119293212890625, 0.012841224670410156, 0.013563156127929688, 0.014285087585449219, 0.01500701904296875, 0.01572895050048828, 0.016450881958007812, 0.017172813415527344, 0.017894744873046875, 0.018616676330566406, 0.019338607788085938, 0.02006053924560547, 0.020782470703125]}, "gradients/decoder.transformer.h.11.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 4.0, 1.0, 2.0, 3.0, 2.0, 8.0, 2.0, 6.0, 7.0, 16.0, 12.0, 11.0, 12.0, 20.0, 17.0, 27.0, 20.0, 26.0, 23.0, 35.0, 46.0, 54.0, 115.0, 271.0, 961.0, 6009.0, 2071528.0, 15202.0, 1734.0, 462.0, 134.0, 75.0, 40.0, 33.0, 20.0, 28.0, 28.0, 26.0, 17.0, 18.0, 16.0, 6.0, 12.0, 6.0, 9.0, 9.0, 8.0, 6.0, 3.0, 2.0, 5.0, 1.0, 2.0, 3.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.3424625396728516e-05, -2.260785549879074e-05, -2.1791085600852966e-05, -2.097431570291519e-05, -2.0157545804977417e-05, -1.9340775907039642e-05, -1.8524006009101868e-05, -1.7707236111164093e-05, -1.689046621322632e-05, -1.6073696315288544e-05, -1.5256926417350769e-05, -1.4440156519412994e-05, -1.362338662147522e-05, -1.2806616723537445e-05, -1.198984682559967e-05, -1.1173076927661896e-05, -1.0356307029724121e-05, -9.539537131786346e-06, -8.722767233848572e-06, -7.905997335910797e-06, -7.0892274379730225e-06, -6.272457540035248e-06, -5.455687642097473e-06, -4.6389177441596985e-06, -3.822147846221924e-06, -3.005377948284149e-06, -2.1886080503463745e-06, -1.3718381524085999e-06, -5.550682544708252e-07, 2.6170164346694946e-07, 1.0784715414047241e-06, 1.8952414393424988e-06, 2.7120113372802734e-06, 3.528781235218048e-06, 4.345551133155823e-06, 5.162321031093597e-06, 5.979090929031372e-06, 6.795860826969147e-06, 7.612630724906921e-06, 8.429400622844696e-06, 9.24617052078247e-06, 1.0062940418720245e-05, 1.087971031665802e-05, 1.1696480214595795e-05, 1.251325011253357e-05, 1.3330020010471344e-05, 1.4146789908409119e-05, 1.4963559806346893e-05, 1.5780329704284668e-05, 1.6597099602222443e-05, 1.7413869500160217e-05, 1.8230639398097992e-05, 1.9047409296035767e-05, 1.986417919397354e-05, 2.0680949091911316e-05, 2.149771898984909e-05, 2.2314488887786865e-05, 2.313125878572464e-05, 2.3948028683662415e-05, 2.476479858160019e-05, 2.5581568479537964e-05, 2.639833837747574e-05, 2.7215108275413513e-05, 2.8031878173351288e-05, 2.8848648071289062e-05]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.11.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 5.0, 5.0, 2.0, 3.0, 6.0, 7.0, 6.0, 7.0, 5.0, 17.0, 19.0, 19.0, 30.0, 28.0, 27.0, 34.0, 37.0, 35.0, 55.0, 58.0, 44.0, 58.0, 52.0, 44.0, 43.0, 45.0, 39.0, 40.0, 35.0, 44.0, 29.0, 23.0, 20.0, 18.0, 16.0, 14.0, 8.0, 8.0, 6.0, 2.0, 4.0, 2.0, 3.0, 3.0, 6.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.02783203125, -0.026912450790405273, -0.025992870330810547, -0.02507328987121582, -0.024153709411621094, -0.023234128952026367, -0.02231454849243164, -0.021394968032836914, -0.020475387573242188, -0.01955580711364746, -0.018636226654052734, -0.017716646194458008, -0.01679706573486328, -0.015877485275268555, -0.014957904815673828, -0.014038324356079102, -0.013118743896484375, -0.012199163436889648, -0.011279582977294922, -0.010360002517700195, -0.009440422058105469, -0.008520841598510742, -0.007601261138916016, -0.006681680679321289, -0.0057621002197265625, -0.004842519760131836, -0.003922939300537109, -0.003003358840942383, -0.0020837783813476562, -0.0011641979217529297, -0.0002446174621582031, 0.0006749629974365234, 0.00159454345703125, 0.0025141239166259766, 0.003433704376220703, 0.00435328483581543, 0.005272865295410156, 0.006192445755004883, 0.007112026214599609, 0.008031606674194336, 0.008951187133789062, 0.009870767593383789, 0.010790348052978516, 0.011709928512573242, 0.012629508972167969, 0.013549089431762695, 0.014468669891357422, 0.015388250350952148, 0.016307830810546875, 0.0172274112701416, 0.018146991729736328, 0.019066572189331055, 0.01998615264892578, 0.020905733108520508, 0.021825313568115234, 0.02274489402770996, 0.023664474487304688, 0.024584054946899414, 0.02550363540649414, 0.026423215866088867, 0.027342796325683594, 0.02826237678527832, 0.029181957244873047, 0.030101537704467773, 0.0310211181640625]}, "gradients/decoder.transformer.h.11.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 4.0, 4.0, 5.0, 6.0, 9.0, 14.0, 25.0, 24.0, 30.0, 56.0, 124.0, 133.0, 217.0, 415.0, 756.0, 1417.0, 2813.0, 5662.0, 12036.0, 28156.0, 78765.0, 541071.0, 274196.0, 59991.0, 22674.0, 10034.0, 4833.0, 2298.0, 1209.0, 642.0, 355.0, 207.0, 135.0, 61.0, 65.0, 35.0, 26.0, 14.0, 19.0, 8.0, 5.0, 4.0, 5.0, 1.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0645751953125, -0.06254959106445312, -0.06052398681640625, -0.058498382568359375, -0.0564727783203125, -0.054447174072265625, -0.05242156982421875, -0.050395965576171875, -0.048370361328125, -0.046344757080078125, -0.04431915283203125, -0.042293548583984375, -0.0402679443359375, -0.038242340087890625, -0.03621673583984375, -0.034191131591796875, -0.03216552734375, -0.030139923095703125, -0.02811431884765625, -0.026088714599609375, -0.0240631103515625, -0.022037506103515625, -0.02001190185546875, -0.017986297607421875, -0.015960693359375, -0.013935089111328125, -0.01190948486328125, -0.009883880615234375, -0.0078582763671875, -0.005832672119140625, -0.00380706787109375, -0.001781463623046875, 0.000244140625, 0.002269744873046875, 0.00429534912109375, 0.006320953369140625, 0.0083465576171875, 0.010372161865234375, 0.01239776611328125, 0.014423370361328125, 0.016448974609375, 0.018474578857421875, 0.02050018310546875, 0.022525787353515625, 0.0245513916015625, 0.026576995849609375, 0.02860260009765625, 0.030628204345703125, 0.03265380859375, 0.034679412841796875, 0.03670501708984375, 0.038730621337890625, 0.0407562255859375, 0.042781829833984375, 0.04480743408203125, 0.046833038330078125, 0.048858642578125, 0.050884246826171875, 0.05290985107421875, 0.054935455322265625, 0.0569610595703125, 0.058986663818359375, 0.06101226806640625, 0.06303787231445312, 0.0650634765625]}, "gradients/decoder.transformer.h.11.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 5.0, 3.0, 3.0, 1.0, 4.0, 3.0, 7.0, 10.0, 13.0, 15.0, 11.0, 14.0, 19.0, 22.0, 30.0, 38.0, 50.0, 36.0, 44.0, 52.0, 74.0, 81.0, 151.0, 1493.0, 298.0, 134.0, 65.0, 56.0, 54.0, 31.0, 36.0, 23.0, 24.0, 24.0, 24.0, 15.0, 16.0, 16.0, 9.0, 14.0, 14.0, 8.0, 8.0, 2.0, 2.0, 2.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.09393310546875, -0.0909891128540039, -0.08804512023925781, -0.08510112762451172, -0.08215713500976562, -0.07921314239501953, -0.07626914978027344, -0.07332515716552734, -0.07038116455078125, -0.06743717193603516, -0.06449317932128906, -0.06154918670654297, -0.058605194091796875, -0.05566120147705078, -0.05271720886230469, -0.049773216247558594, -0.0468292236328125, -0.043885231018066406, -0.04094123840332031, -0.03799724578857422, -0.035053253173828125, -0.03210926055908203, -0.029165267944335938, -0.026221275329589844, -0.02327728271484375, -0.020333290100097656, -0.017389297485351562, -0.014445304870605469, -0.011501312255859375, -0.008557319641113281, -0.0056133270263671875, -0.0026693344116210938, 0.000274658203125, 0.0032186508178710938, 0.0061626434326171875, 0.009106636047363281, 0.012050628662109375, 0.014994621276855469, 0.017938613891601562, 0.020882606506347656, 0.02382659912109375, 0.026770591735839844, 0.029714584350585938, 0.03265857696533203, 0.035602569580078125, 0.03854656219482422, 0.04149055480957031, 0.044434547424316406, 0.0473785400390625, 0.050322532653808594, 0.05326652526855469, 0.05621051788330078, 0.059154510498046875, 0.06209850311279297, 0.06504249572753906, 0.06798648834228516, 0.07093048095703125, 0.07387447357177734, 0.07681846618652344, 0.07976245880126953, 0.08270645141601562, 0.08565044403076172, 0.08859443664550781, 0.0915384292602539, 0.094482421875]}, "gradients/decoder.transformer.h.11.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 6.0, 4.0, 12.0, 18.0, 14.0, 17.0, 29.0, 35.0, 32.0, 46.0, 66.0, 78.0, 114.0, 144.0, 257.0, 494.0, 1678.0, 8791.0, 87317.0, 2902483.0, 129464.0, 11044.0, 1981.0, 606.0, 264.0, 196.0, 136.0, 87.0, 62.0, 55.0, 34.0, 30.0, 25.0, 18.0, 26.0, 4.0, 11.0, 9.0, 5.0, 2.0, 2.0, 2.0, 5.0, 3.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1796875, -0.1739940643310547, -0.16830062866210938, -0.16260719299316406, -0.15691375732421875, -0.15122032165527344, -0.14552688598632812, -0.1398334503173828, -0.1341400146484375, -0.1284465789794922, -0.12275314331054688, -0.11705970764160156, -0.11136627197265625, -0.10567283630371094, -0.09997940063476562, -0.09428596496582031, -0.088592529296875, -0.08289909362792969, -0.07720565795898438, -0.07151222229003906, -0.06581878662109375, -0.06012535095214844, -0.054431915283203125, -0.04873847961425781, -0.0430450439453125, -0.03735160827636719, -0.031658172607421875, -0.025964736938476562, -0.02027130126953125, -0.014577865600585938, -0.008884429931640625, -0.0031909942626953125, 0.00250244140625, 0.008195877075195312, 0.013889312744140625, 0.019582748413085938, 0.02527618408203125, 0.030969619750976562, 0.036663055419921875, 0.04235649108886719, 0.0480499267578125, 0.05374336242675781, 0.059436798095703125, 0.06513023376464844, 0.07082366943359375, 0.07651710510253906, 0.08221054077148438, 0.08790397644042969, 0.093597412109375, 0.09929084777832031, 0.10498428344726562, 0.11067771911621094, 0.11637115478515625, 0.12206459045410156, 0.12775802612304688, 0.1334514617919922, 0.1391448974609375, 0.1448383331298828, 0.15053176879882812, 0.15622520446777344, 0.16191864013671875, 0.16761207580566406, 0.17330551147460938, 0.1789989471435547, 0.1846923828125]}, "gradients/decoder.transformer.h.11.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 19.0, 60.0, 228.0, 347.0, 253.0, 87.0, 20.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.8844770789146423, -0.8662795424461365, -0.8480820059776306, -0.8298844695091248, -0.8116869330406189, -0.793489396572113, -0.7752918601036072, -0.7570943236351013, -0.7388967871665955, -0.7206992506980896, -0.7025017142295837, -0.6843041777610779, -0.666106641292572, -0.6479091048240662, -0.6297115683555603, -0.6115140318870544, -0.5933164358139038, -0.575118899345398, -0.5569213628768921, -0.5387238264083862, -0.5205262899398804, -0.5023287534713745, -0.48413121700286865, -0.4659336805343628, -0.44773614406585693, -0.4295386075973511, -0.4113410711288452, -0.39314353466033936, -0.3749459981918335, -0.35674846172332764, -0.3385509252548218, -0.3203533887863159, -0.30215585231781006, -0.2839583158493042, -0.26576077938079834, -0.24756324291229248, -0.22936570644378662, -0.21116816997528076, -0.1929706186056137, -0.17477308213710785, -0.156575545668602, -0.13837800920009613, -0.12018047273159027, -0.10198292881250381, -0.08378539234399796, -0.0655878558754921, -0.04739031195640564, -0.02919277548789978, -0.010995239019393921, 0.007202299311757088, 0.025399837642908096, 0.043597377836704254, 0.061794914305210114, 0.07999245077371597, 0.09818999469280243, 0.11638753116130829, 0.13458506762981415, 0.15278260409832, 0.17098014056682587, 0.18917769193649292, 0.20737522840499878, 0.22557276487350464, 0.2437703013420105, 0.26196783781051636, 0.2801653742790222]}, "gradients/decoder.transformer.h.11.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 6.0, 1.0, 5.0, 6.0, 6.0, 6.0, 8.0, 12.0, 10.0, 14.0, 15.0, 20.0, 14.0, 21.0, 21.0, 15.0, 20.0, 21.0, 38.0, 46.0, 32.0, 31.0, 38.0, 41.0, 41.0, 43.0, 32.0, 49.0, 54.0, 43.0, 33.0, 27.0, 30.0, 23.0, 30.0, 20.0, 32.0, 24.0, 12.0, 15.0, 16.0, 12.0, 7.0, 6.0, 5.0, 4.0, 5.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.2528250217437744, -0.24510246515274048, -0.23737990856170654, -0.2296573519706726, -0.22193481028079987, -0.21421225368976593, -0.206489697098732, -0.19876714050769806, -0.19104459881782532, -0.18332204222679138, -0.17559948563575745, -0.1678769290447235, -0.16015438735485077, -0.15243183076381683, -0.1447092741727829, -0.13698671758174896, -0.12926416099071503, -0.12154160439968109, -0.11381905525922775, -0.10609649866819382, -0.09837394952774048, -0.09065139293670654, -0.08292883634567261, -0.07520627975463867, -0.06748373061418533, -0.059761177748441696, -0.05203862488269806, -0.044316068291664124, -0.036593515425920486, -0.02887096256017685, -0.021148405969142914, -0.013425853103399277, -0.00570330023765564, 0.002019253559410572, 0.009741807356476784, 0.01746436208486557, 0.025186914950609207, 0.032909467816352844, 0.04063202440738678, 0.04835457727313042, 0.056077130138874054, 0.06379968672990799, 0.07152223587036133, 0.07924479246139526, 0.0869673490524292, 0.09468989819288254, 0.10241245478391647, 0.11013500392436981, 0.11785756051540375, 0.12558011710643768, 0.13330267369747162, 0.14102521538734436, 0.1487477719783783, 0.15647032856941223, 0.16419288516044617, 0.1719154417514801, 0.17963799834251404, 0.18736055493354797, 0.1950831115245819, 0.20280566811561584, 0.2105282098054886, 0.21825076639652252, 0.22597332298755646, 0.2336958795785904, 0.24141842126846313]}, "gradients/decoder.transformer.h.10.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 4.0, 1.0, 3.0, 4.0, 5.0, 6.0, 10.0, 5.0, 5.0, 13.0, 16.0, 13.0, 17.0, 24.0, 32.0, 23.0, 35.0, 24.0, 43.0, 44.0, 44.0, 48.0, 49.0, 48.0, 43.0, 47.0, 41.0, 39.0, 34.0, 40.0, 40.0, 28.0, 32.0, 22.0, 19.0, 20.0, 11.0, 15.0, 21.0, 4.0, 9.0, 8.0, 1.0, 4.0, 2.0, 3.0, 4.0, 4.0, 1.0, 2.0, 1.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0264892578125, -0.025606870651245117, -0.024724483489990234, -0.02384209632873535, -0.02295970916748047, -0.022077322006225586, -0.021194934844970703, -0.02031254768371582, -0.019430160522460938, -0.018547773361206055, -0.017665386199951172, -0.01678299903869629, -0.015900611877441406, -0.015018224716186523, -0.01413583755493164, -0.013253450393676758, -0.012371063232421875, -0.011488676071166992, -0.01060628890991211, -0.009723901748657227, -0.008841514587402344, -0.007959127426147461, -0.007076740264892578, -0.006194353103637695, -0.0053119659423828125, -0.00442957878112793, -0.003547191619873047, -0.002664804458618164, -0.0017824172973632812, -0.0009000301361083984, -1.7642974853515625e-05, 0.0008647441864013672, 0.00174713134765625, 0.002629518508911133, 0.0035119056701660156, 0.0043942928314208984, 0.005276679992675781, 0.006159067153930664, 0.007041454315185547, 0.00792384147644043, 0.008806228637695312, 0.009688615798950195, 0.010571002960205078, 0.011453390121459961, 0.012335777282714844, 0.013218164443969727, 0.01410055160522461, 0.014982938766479492, 0.015865325927734375, 0.016747713088989258, 0.01763010025024414, 0.018512487411499023, 0.019394874572753906, 0.02027726173400879, 0.021159648895263672, 0.022042036056518555, 0.022924423217773438, 0.02380681037902832, 0.024689197540283203, 0.025571584701538086, 0.02645397186279297, 0.02733635902404785, 0.028218746185302734, 0.029101133346557617, 0.0299835205078125]}, "gradients/decoder.transformer.h.10.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 1.0, 4.0, 2.0, 3.0, 7.0, 11.0, 12.0, 20.0, 23.0, 27.0, 43.0, 59.0, 79.0, 133.0, 212.0, 337.0, 611.0, 1221.0, 3100.0, 9403.0, 35287.0, 192548.0, 1942734.0, 1786720.0, 173990.0, 32666.0, 8927.0, 3127.0, 1281.0, 602.0, 371.0, 214.0, 160.0, 117.0, 57.0, 43.0, 40.0, 28.0, 17.0, 15.0, 11.0, 8.0, 4.0, 7.0, 6.0, 4.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06524658203125, -0.06282806396484375, -0.0604095458984375, -0.05799102783203125, -0.055572509765625, -0.05315399169921875, -0.0507354736328125, -0.04831695556640625, -0.0458984375, -0.04347991943359375, -0.0410614013671875, -0.03864288330078125, -0.036224365234375, -0.03380584716796875, -0.0313873291015625, -0.02896881103515625, -0.02655029296875, -0.02413177490234375, -0.0217132568359375, -0.01929473876953125, -0.016876220703125, -0.01445770263671875, -0.0120391845703125, -0.00962066650390625, -0.0072021484375, -0.00478363037109375, -0.0023651123046875, 5.340576171875e-05, 0.002471923828125, 0.00489044189453125, 0.0073089599609375, 0.00972747802734375, 0.01214599609375, 0.01456451416015625, 0.0169830322265625, 0.01940155029296875, 0.021820068359375, 0.02423858642578125, 0.0266571044921875, 0.02907562255859375, 0.031494140625, 0.03391265869140625, 0.0363311767578125, 0.03874969482421875, 0.041168212890625, 0.04358673095703125, 0.0460052490234375, 0.04842376708984375, 0.05084228515625, 0.05326080322265625, 0.0556793212890625, 0.05809783935546875, 0.060516357421875, 0.06293487548828125, 0.0653533935546875, 0.06777191162109375, 0.0701904296875, 0.07260894775390625, 0.0750274658203125, 0.07744598388671875, 0.079864501953125, 0.08228302001953125, 0.0847015380859375, 0.08712005615234375, 0.08953857421875]}, "gradients/decoder.transformer.h.10.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 4.0, 5.0, 4.0, 10.0, 7.0, 13.0, 10.0, 17.0, 26.0, 22.0, 46.0, 49.0, 63.0, 84.0, 120.0, 176.0, 225.0, 293.0, 412.0, 478.0, 507.0, 389.0, 289.0, 215.0, 170.0, 108.0, 83.0, 73.0, 45.0, 38.0, 21.0, 17.0, 15.0, 15.0, 7.0, 7.0, 5.0, 6.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.046966552734375, -0.04534578323364258, -0.043725013732910156, -0.042104244232177734, -0.04048347473144531, -0.03886270523071289, -0.03724193572998047, -0.03562116622924805, -0.034000396728515625, -0.0323796272277832, -0.03075885772705078, -0.02913808822631836, -0.027517318725585938, -0.025896549224853516, -0.024275779724121094, -0.022655010223388672, -0.02103424072265625, -0.019413471221923828, -0.017792701721191406, -0.016171932220458984, -0.014551162719726562, -0.01293039321899414, -0.011309623718261719, -0.009688854217529297, -0.008068084716796875, -0.006447315216064453, -0.004826545715332031, -0.0032057762145996094, -0.0015850067138671875, 3.5762786865234375e-05, 0.0016565322875976562, 0.003277301788330078, 0.0048980712890625, 0.006518840789794922, 0.008139610290527344, 0.009760379791259766, 0.011381149291992188, 0.01300191879272461, 0.014622688293457031, 0.016243457794189453, 0.017864227294921875, 0.019484996795654297, 0.02110576629638672, 0.02272653579711914, 0.024347305297851562, 0.025968074798583984, 0.027588844299316406, 0.029209613800048828, 0.03083038330078125, 0.03245115280151367, 0.034071922302246094, 0.035692691802978516, 0.03731346130371094, 0.03893423080444336, 0.04055500030517578, 0.0421757698059082, 0.043796539306640625, 0.04541730880737305, 0.04703807830810547, 0.04865884780883789, 0.05027961730957031, 0.051900386810302734, 0.053521156311035156, 0.05514192581176758, 0.0567626953125]}, "gradients/decoder.transformer.h.10.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 6.0, 1.0, 9.0, 8.0, 4.0, 11.0, 21.0, 15.0, 24.0, 30.0, 44.0, 77.0, 98.0, 128.0, 219.0, 482.0, 1544.0, 15458.0, 1064432.0, 3074295.0, 33629.0, 2310.0, 580.0, 287.0, 167.0, 110.0, 83.0, 57.0, 40.0, 27.0, 22.0, 23.0, 11.0, 10.0, 10.0, 7.0, 4.0, 5.0, 0.0, 4.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.267578125, -0.25995826721191406, -0.2523384094238281, -0.2447185516357422, -0.23709869384765625, -0.2294788360595703, -0.22185897827148438, -0.21423912048339844, -0.2066192626953125, -0.19899940490722656, -0.19137954711914062, -0.1837596893310547, -0.17613983154296875, -0.1685199737548828, -0.16090011596679688, -0.15328025817871094, -0.145660400390625, -0.13804054260253906, -0.13042068481445312, -0.12280082702636719, -0.11518096923828125, -0.10756111145019531, -0.09994125366210938, -0.09232139587402344, -0.0847015380859375, -0.07708168029785156, -0.06946182250976562, -0.06184196472167969, -0.05422210693359375, -0.04660224914550781, -0.038982391357421875, -0.03136253356933594, -0.02374267578125, -0.016122817993164062, -0.008502960205078125, -0.0008831024169921875, 0.00673675537109375, 0.014356613159179688, 0.021976470947265625, 0.029596328735351562, 0.0372161865234375, 0.04483604431152344, 0.052455902099609375, 0.06007575988769531, 0.06769561767578125, 0.07531547546386719, 0.08293533325195312, 0.09055519104003906, 0.098175048828125, 0.10579490661621094, 0.11341476440429688, 0.12103462219238281, 0.12865447998046875, 0.1362743377685547, 0.14389419555664062, 0.15151405334472656, 0.1591339111328125, 0.16675376892089844, 0.17437362670898438, 0.1819934844970703, 0.18961334228515625, 0.1972332000732422, 0.20485305786132812, 0.21247291564941406, 0.2200927734375]}, "gradients/decoder.transformer.h.10.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 3.0, 13.0, 25.0, 47.0, 82.0, 153.0, 148.0, 186.0, 155.0, 95.0, 51.0, 30.0, 13.0, 6.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.630138099193573, -0.6151757836341858, -0.6002135276794434, -0.5852512121200562, -0.570288896560669, -0.5553266406059265, -0.5403643250465393, -0.5254020094871521, -0.5104397535324097, -0.49547746777534485, -0.48051515221595764, -0.4655528664588928, -0.450590580701828, -0.4356282949447632, -0.420665979385376, -0.40570369362831116, -0.39074137806892395, -0.37577909231185913, -0.3608167767524719, -0.3458544909954071, -0.3308922052383423, -0.3159298896789551, -0.30096760392189026, -0.28600531816482544, -0.27104300260543823, -0.2560807168483734, -0.2411184161901474, -0.2261561155319214, -0.21119382977485657, -0.19623152911663055, -0.18126922845840454, -0.16630694270133972, -0.1513446569442749, -0.1363823562860489, -0.12142007052898407, -0.10645776987075806, -0.09149547666311264, -0.07653318345546722, -0.06157088279724121, -0.046608589589595795, -0.03164629638195038, -0.016684001311659813, -0.0017217062413692474, 0.013240590691566467, 0.028202883899211884, 0.0431651771068573, 0.05812747776508331, 0.07308977097272873, 0.08805206418037415, 0.10301435738801956, 0.11797665059566498, 0.132938951253891, 0.1479012370109558, 0.16286353766918182, 0.17782583832740784, 0.19278812408447266, 0.20775042474269867, 0.22271272540092468, 0.2376750111579895, 0.2526373267173767, 0.26759961247444153, 0.28256189823150635, 0.29752421379089355, 0.3124864995479584, 0.3274487853050232]}, "gradients/decoder.transformer.h.10.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 3.0, 4.0, 2.0, 2.0, 4.0, 6.0, 10.0, 6.0, 8.0, 13.0, 10.0, 15.0, 15.0, 16.0, 30.0, 27.0, 26.0, 32.0, 33.0, 27.0, 38.0, 34.0, 36.0, 30.0, 38.0, 35.0, 40.0, 35.0, 35.0, 32.0, 37.0, 35.0, 30.0, 25.0, 28.0, 25.0, 27.0, 23.0, 24.0, 24.0, 15.0, 11.0, 20.0, 8.0, 10.0, 7.0, 6.0, 5.0, 8.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.16588687896728516, -0.16043512523174286, -0.15498338639736176, -0.14953163266181946, -0.14407989382743835, -0.13862814009189606, -0.13317638635635376, -0.12772464752197266, -0.12227289378643036, -0.11682114750146866, -0.11136940121650696, -0.10591764748096466, -0.10046590119600296, -0.09501415491104126, -0.08956240117549896, -0.08411065489053726, -0.07865890860557556, -0.07320716232061386, -0.06775541603565216, -0.06230366230010986, -0.05685191601514816, -0.05140016973018646, -0.045948419719934464, -0.040496669709682465, -0.035044923424720764, -0.029593175277113914, -0.024141427129507065, -0.018689678981900215, -0.013237930834293365, -0.007786182686686516, -0.002334434539079666, 0.0031173154711723328, 0.008569061756134033, 0.014020809903740883, 0.019472558051347733, 0.024924306198954582, 0.030376054346561432, 0.03582780063152313, 0.04127955064177513, 0.04673130065202713, 0.05218304693698883, 0.05763479322195053, 0.06308653950691223, 0.06853829324245453, 0.07399003952741623, 0.07944178581237793, 0.08489353954792023, 0.09034528583288193, 0.09579703211784363, 0.10124877840280533, 0.10670052468776703, 0.11215227842330933, 0.11760402470827103, 0.12305577099323273, 0.12850752472877502, 0.13395926356315613, 0.13941101729869843, 0.14486277103424072, 0.15031450986862183, 0.15576626360416412, 0.16121801733970642, 0.16666975617408752, 0.17212150990962982, 0.17757326364517212, 0.18302500247955322]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 3.0, 5.0, 4.0, 3.0, 7.0, 9.0, 15.0, 14.0, 17.0, 23.0, 22.0, 25.0, 31.0, 41.0, 31.0, 34.0, 36.0, 50.0, 42.0, 53.0, 53.0, 51.0, 48.0, 37.0, 44.0, 38.0, 39.0, 40.0, 32.0, 28.0, 25.0, 21.0, 20.0, 12.0, 12.0, 4.0, 8.0, 4.0, 5.0, 3.0, 2.0, 3.0, 2.0, 3.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.026458740234375, -0.025501251220703125, -0.02454376220703125, -0.023586273193359375, -0.0226287841796875, -0.021671295166015625, -0.02071380615234375, -0.019756317138671875, -0.018798828125, -0.017841339111328125, -0.01688385009765625, -0.015926361083984375, -0.0149688720703125, -0.014011383056640625, -0.01305389404296875, -0.012096405029296875, -0.011138916015625, -0.010181427001953125, -0.00922393798828125, -0.008266448974609375, -0.0073089599609375, -0.006351470947265625, -0.00539398193359375, -0.004436492919921875, -0.00347900390625, -0.002521514892578125, -0.00156402587890625, -0.000606536865234375, 0.0003509521484375, 0.001308441162109375, 0.00226593017578125, 0.003223419189453125, 0.004180908203125, 0.005138397216796875, 0.00609588623046875, 0.007053375244140625, 0.0080108642578125, 0.008968353271484375, 0.00992584228515625, 0.010883331298828125, 0.0118408203125, 0.012798309326171875, 0.01375579833984375, 0.014713287353515625, 0.0156707763671875, 0.016628265380859375, 0.01758575439453125, 0.018543243408203125, 0.019500732421875, 0.020458221435546875, 0.02141571044921875, 0.022373199462890625, 0.0233306884765625, 0.024288177490234375, 0.02524566650390625, 0.026203155517578125, 0.02716064453125, 0.028118133544921875, 0.02907562255859375, 0.030033111572265625, 0.0309906005859375, 0.031948089599609375, 0.03290557861328125, 0.033863067626953125, 0.034820556640625]}, "gradients/decoder.transformer.h.10.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 6.0, 3.0, 8.0, 14.0, 24.0, 26.0, 48.0, 68.0, 100.0, 144.0, 220.0, 358.0, 486.0, 737.0, 1152.0, 1861.0, 2703.0, 4562.0, 7363.0, 12582.0, 21936.0, 38218.0, 69408.0, 136635.0, 389162.0, 172884.0, 81168.0, 44615.0, 24854.0, 14513.0, 8520.0, 5110.0, 3223.0, 2054.0, 1290.0, 862.0, 551.0, 357.0, 233.0, 179.0, 104.0, 75.0, 49.0, 30.0, 33.0, 7.0, 12.0, 6.0, 6.0, 5.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0002288818359375, -0.00022164545953273773, -0.00021440908312797546, -0.0002071727067232132, -0.00019993633031845093, -0.00019269995391368866, -0.0001854635775089264, -0.00017822720110416412, -0.00017099082469940186, -0.0001637544482946396, -0.00015651807188987732, -0.00014928169548511505, -0.00014204531908035278, -0.00013480894267559052, -0.00012757256627082825, -0.00012033618986606598, -0.00011309981346130371, -0.00010586343705654144, -9.862706065177917e-05, -9.13906842470169e-05, -8.415430784225464e-05, -7.691793143749237e-05, -6.96815550327301e-05, -6.244517862796783e-05, -5.5208802223205566e-05, -4.79724258184433e-05, -4.073604941368103e-05, -3.349967300891876e-05, -2.6263296604156494e-05, -1.9026920199394226e-05, -1.1790543794631958e-05, -4.55416738986969e-06, 2.682209014892578e-06, 9.918585419654846e-06, 1.7154961824417114e-05, 2.4391338229179382e-05, 3.162771463394165e-05, 3.886409103870392e-05, 4.6100467443466187e-05, 5.3336843848228455e-05, 6.057322025299072e-05, 6.780959665775299e-05, 7.504597306251526e-05, 8.228234946727753e-05, 8.95187258720398e-05, 9.675510227680206e-05, 0.00010399147868156433, 0.0001112278550863266, 0.00011846423149108887, 0.00012570060789585114, 0.0001329369843006134, 0.00014017336070537567, 0.00014740973711013794, 0.0001546461135149002, 0.00016188248991966248, 0.00016911886632442474, 0.000176355242729187, 0.00018359161913394928, 0.00019082799553871155, 0.00019806437194347382, 0.00020530074834823608, 0.00021253712475299835, 0.00021977350115776062, 0.0002270098775625229, 0.00023424625396728516]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 3.0, 2.0, 8.0, 10.0, 11.0, 10.0, 13.0, 13.0, 9.0, 18.0, 28.0, 13.0, 22.0, 21.0, 25.0, 29.0, 34.0, 41.0, 35.0, 41.0, 39.0, 38.0, 1064.0, 37.0, 43.0, 35.0, 48.0, 29.0, 39.0, 31.0, 25.0, 33.0, 35.0, 21.0, 21.0, 12.0, 20.0, 20.0, 12.0, 9.0, 12.0, 6.0, 3.0, 7.0, 2.0, 8.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.0299530029296875, -0.029041767120361328, -0.028130531311035156, -0.027219295501708984, -0.026308059692382812, -0.02539682388305664, -0.02448558807373047, -0.023574352264404297, -0.022663116455078125, -0.021751880645751953, -0.02084064483642578, -0.01992940902709961, -0.019018173217773438, -0.018106937408447266, -0.017195701599121094, -0.016284465789794922, -0.01537322998046875, -0.014461994171142578, -0.013550758361816406, -0.012639522552490234, -0.011728286743164062, -0.01081705093383789, -0.009905815124511719, -0.008994579315185547, -0.008083343505859375, -0.007172107696533203, -0.006260871887207031, -0.005349636077880859, -0.0044384002685546875, -0.0035271644592285156, -0.0026159286499023438, -0.0017046928405761719, -0.00079345703125, 0.00011777877807617188, 0.0010290145874023438, 0.0019402503967285156, 0.0028514862060546875, 0.0037627220153808594, 0.004673957824707031, 0.005585193634033203, 0.006496429443359375, 0.007407665252685547, 0.008318901062011719, 0.00923013687133789, 0.010141372680664062, 0.011052608489990234, 0.011963844299316406, 0.012875080108642578, 0.01378631591796875, 0.014697551727294922, 0.015608787536621094, 0.016520023345947266, 0.017431259155273438, 0.01834249496459961, 0.01925373077392578, 0.020164966583251953, 0.021076202392578125, 0.021987438201904297, 0.02289867401123047, 0.02380990982055664, 0.024721145629882812, 0.025632381439208984, 0.026543617248535156, 0.027454853057861328, 0.0283660888671875]}, "gradients/decoder.transformer.h.10.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 7.0, 4.0, 6.0, 4.0, 7.0, 8.0, 10.0, 11.0, 16.0, 20.0, 14.0, 23.0, 19.0, 26.0, 34.0, 32.0, 24.0, 40.0, 57.0, 116.0, 315.0, 1104.0, 7983.0, 2072121.0, 12672.0, 1629.0, 345.0, 141.0, 60.0, 34.0, 39.0, 28.0, 17.0, 25.0, 15.0, 21.0, 28.0, 13.0, 10.0, 7.0, 17.0, 9.0, 10.0, 12.0, 2.0, 2.0, 4.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.135204315185547e-05, -3.035925328731537e-05, -2.936646342277527e-05, -2.837367355823517e-05, -2.738088369369507e-05, -2.6388093829154968e-05, -2.5395303964614868e-05, -2.4402514100074768e-05, -2.3409724235534668e-05, -2.2416934370994568e-05, -2.1424144506454468e-05, -2.0431354641914368e-05, -1.9438564777374268e-05, -1.8445774912834167e-05, -1.7452985048294067e-05, -1.6460195183753967e-05, -1.5467405319213867e-05, -1.4474615454673767e-05, -1.3481825590133667e-05, -1.2489035725593567e-05, -1.1496245861053467e-05, -1.0503455996513367e-05, -9.510666131973267e-06, -8.517876267433167e-06, -7.525086402893066e-06, -6.532296538352966e-06, -5.539506673812866e-06, -4.546716809272766e-06, -3.553926944732666e-06, -2.561137080192566e-06, -1.5683472156524658e-06, -5.755573511123657e-07, 4.172325134277344e-07, 1.4100223779678345e-06, 2.4028122425079346e-06, 3.3956021070480347e-06, 4.388391971588135e-06, 5.381181836128235e-06, 6.373971700668335e-06, 7.366761565208435e-06, 8.359551429748535e-06, 9.352341294288635e-06, 1.0345131158828735e-05, 1.1337921023368835e-05, 1.2330710887908936e-05, 1.3323500752449036e-05, 1.4316290616989136e-05, 1.5309080481529236e-05, 1.6301870346069336e-05, 1.7294660210609436e-05, 1.8287450075149536e-05, 1.9280239939689636e-05, 2.0273029804229736e-05, 2.1265819668769836e-05, 2.2258609533309937e-05, 2.3251399397850037e-05, 2.4244189262390137e-05, 2.5236979126930237e-05, 2.6229768991470337e-05, 2.7222558856010437e-05, 2.8215348720550537e-05, 2.9208138585090637e-05, 3.0200928449630737e-05, 3.119371831417084e-05, 3.218650817871094e-05]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.10.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 1.0, 3.0, 3.0, 3.0, 3.0, 5.0, 4.0, 3.0, 7.0, 9.0, 15.0, 14.0, 17.0, 23.0, 22.0, 25.0, 31.0, 41.0, 31.0, 34.0, 36.0, 50.0, 42.0, 53.0, 53.0, 51.0, 48.0, 37.0, 44.0, 38.0, 39.0, 40.0, 32.0, 28.0, 25.0, 21.0, 20.0, 12.0, 12.0, 4.0, 8.0, 4.0, 5.0, 3.0, 2.0, 3.0, 2.0, 3.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.026458740234375, -0.025501251220703125, -0.02454376220703125, -0.023586273193359375, -0.0226287841796875, -0.021671295166015625, -0.02071380615234375, -0.019756317138671875, -0.018798828125, -0.017841339111328125, -0.01688385009765625, -0.015926361083984375, -0.0149688720703125, -0.014011383056640625, -0.01305389404296875, -0.012096405029296875, -0.011138916015625, -0.010181427001953125, -0.00922393798828125, -0.008266448974609375, -0.0073089599609375, -0.006351470947265625, -0.00539398193359375, -0.004436492919921875, -0.00347900390625, -0.002521514892578125, -0.00156402587890625, -0.000606536865234375, 0.0003509521484375, 0.001308441162109375, 0.00226593017578125, 0.003223419189453125, 0.004180908203125, 0.005138397216796875, 0.00609588623046875, 0.007053375244140625, 0.0080108642578125, 0.008968353271484375, 0.00992584228515625, 0.010883331298828125, 0.0118408203125, 0.012798309326171875, 0.01375579833984375, 0.014713287353515625, 0.0156707763671875, 0.016628265380859375, 0.01758575439453125, 0.018543243408203125, 0.019500732421875, 0.020458221435546875, 0.02141571044921875, 0.022373199462890625, 0.0233306884765625, 0.024288177490234375, 0.02524566650390625, 0.026203155517578125, 0.02716064453125, 0.028118133544921875, 0.02907562255859375, 0.030033111572265625, 0.0309906005859375, 0.031948089599609375, 0.03290557861328125, 0.033863067626953125, 0.034820556640625]}, "gradients/decoder.transformer.h.10.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 6.0, 7.0, 14.0, 16.0, 36.0, 31.0, 73.0, 91.0, 157.0, 249.0, 422.0, 681.0, 1238.0, 2119.0, 3942.0, 7694.0, 15286.0, 31626.0, 72374.0, 484995.0, 309946.0, 61567.0, 27681.0, 13353.0, 6791.0, 3564.0, 1893.0, 1050.0, 648.0, 382.0, 219.0, 152.0, 89.0, 62.0, 34.0, 18.0, 23.0, 12.0, 3.0, 6.0, 2.0, 4.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.054412841796875, -0.052707672119140625, -0.05100250244140625, -0.049297332763671875, -0.0475921630859375, -0.045886993408203125, -0.04418182373046875, -0.042476654052734375, -0.040771484375, -0.039066314697265625, -0.03736114501953125, -0.035655975341796875, -0.0339508056640625, -0.032245635986328125, -0.03054046630859375, -0.028835296630859375, -0.027130126953125, -0.025424957275390625, -0.02371978759765625, -0.022014617919921875, -0.0203094482421875, -0.018604278564453125, -0.01689910888671875, -0.015193939208984375, -0.01348876953125, -0.011783599853515625, -0.01007843017578125, -0.008373260498046875, -0.0066680908203125, -0.004962921142578125, -0.00325775146484375, -0.001552581787109375, 0.000152587890625, 0.001857757568359375, 0.00356292724609375, 0.005268096923828125, 0.0069732666015625, 0.008678436279296875, 0.01038360595703125, 0.012088775634765625, 0.0137939453125, 0.015499114990234375, 0.01720428466796875, 0.018909454345703125, 0.0206146240234375, 0.022319793701171875, 0.02402496337890625, 0.025730133056640625, 0.027435302734375, 0.029140472412109375, 0.03084564208984375, 0.032550811767578125, 0.0342559814453125, 0.035961151123046875, 0.03766632080078125, 0.039371490478515625, 0.04107666015625, 0.042781829833984375, 0.04448699951171875, 0.046192169189453125, 0.0478973388671875, 0.049602508544921875, 0.05130767822265625, 0.053012847900390625, 0.054718017578125]}, "gradients/decoder.transformer.h.10.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 3.0, 4.0, 5.0, 6.0, 11.0, 9.0, 14.0, 13.0, 14.0, 24.0, 31.0, 24.0, 29.0, 27.0, 35.0, 48.0, 43.0, 44.0, 49.0, 96.0, 315.0, 1590.0, 141.0, 68.0, 50.0, 40.0, 47.0, 56.0, 41.0, 28.0, 23.0, 20.0, 16.0, 18.0, 21.0, 6.0, 9.0, 18.0, 5.0, 4.0, 0.0, 5.0, 3.0, 4.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.1021728515625, -0.09927177429199219, -0.09637069702148438, -0.09346961975097656, -0.09056854248046875, -0.08766746520996094, -0.08476638793945312, -0.08186531066894531, -0.0789642333984375, -0.07606315612792969, -0.07316207885742188, -0.07026100158691406, -0.06735992431640625, -0.06445884704589844, -0.061557769775390625, -0.05865669250488281, -0.055755615234375, -0.05285453796386719, -0.049953460693359375, -0.04705238342285156, -0.04415130615234375, -0.04125022888183594, -0.038349151611328125, -0.03544807434082031, -0.0325469970703125, -0.029645919799804688, -0.026744842529296875, -0.023843765258789062, -0.02094268798828125, -0.018041610717773438, -0.015140533447265625, -0.012239456176757812, -0.00933837890625, -0.0064373016357421875, -0.003536224365234375, -0.0006351470947265625, 0.00226593017578125, 0.0051670074462890625, 0.008068084716796875, 0.010969161987304688, 0.0138702392578125, 0.016771316528320312, 0.019672393798828125, 0.022573471069335938, 0.02547454833984375, 0.028375625610351562, 0.031276702880859375, 0.03417778015136719, 0.037078857421875, 0.03997993469238281, 0.042881011962890625, 0.04578208923339844, 0.04868316650390625, 0.05158424377441406, 0.054485321044921875, 0.05738639831542969, 0.0602874755859375, 0.06318855285644531, 0.06608963012695312, 0.06899070739746094, 0.07189178466796875, 0.07479286193847656, 0.07769393920898438, 0.08059501647949219, 0.08349609375]}, "gradients/decoder.transformer.h.10.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 2.0, 3.0, 5.0, 6.0, 10.0, 16.0, 12.0, 17.0, 27.0, 47.0, 44.0, 73.0, 100.0, 129.0, 184.0, 402.0, 1136.0, 5605.0, 57502.0, 2906535.0, 159606.0, 11223.0, 1720.0, 506.0, 246.0, 140.0, 97.0, 95.0, 56.0, 36.0, 34.0, 26.0, 22.0, 8.0, 11.0, 5.0, 6.0, 7.0, 5.0, 1.0, 5.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.204345703125, -0.19861602783203125, -0.1928863525390625, -0.18715667724609375, -0.181427001953125, -0.17569732666015625, -0.1699676513671875, -0.16423797607421875, -0.15850830078125, -0.15277862548828125, -0.1470489501953125, -0.14131927490234375, -0.135589599609375, -0.12985992431640625, -0.1241302490234375, -0.11840057373046875, -0.1126708984375, -0.10694122314453125, -0.1012115478515625, -0.09548187255859375, -0.089752197265625, -0.08402252197265625, -0.0782928466796875, -0.07256317138671875, -0.06683349609375, -0.06110382080078125, -0.0553741455078125, -0.04964447021484375, -0.043914794921875, -0.03818511962890625, -0.0324554443359375, -0.02672576904296875, -0.02099609375, -0.01526641845703125, -0.0095367431640625, -0.00380706787109375, 0.001922607421875, 0.00765228271484375, 0.0133819580078125, 0.01911163330078125, 0.02484130859375, 0.03057098388671875, 0.0363006591796875, 0.04203033447265625, 0.047760009765625, 0.05348968505859375, 0.0592193603515625, 0.06494903564453125, 0.0706787109375, 0.07640838623046875, 0.0821380615234375, 0.08786773681640625, 0.093597412109375, 0.09932708740234375, 0.1050567626953125, 0.11078643798828125, 0.11651611328125, 0.12224578857421875, 0.1279754638671875, 0.13370513916015625, 0.139434814453125, 0.14516448974609375, 0.1508941650390625, 0.15662384033203125, 0.162353515625]}, "gradients/decoder.transformer.h.10.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 9.0, 93.0, 416.0, 424.0, 69.0, 6.0, 1.0, 0.0, 2.0], "bins": [-1.5593314170837402, -1.5324052572250366, -1.5054792165756226, -1.478553056716919, -1.4516270160675049, -1.4247008562088013, -1.3977746963500977, -1.3708486557006836, -1.34392249584198, -1.3169963359832764, -1.2900702953338623, -1.2631441354751587, -1.2362180948257446, -1.209291934967041, -1.1823657751083374, -1.1554397344589233, -1.1285135746002197, -1.1015874147415161, -1.074661374092102, -1.0477352142333984, -1.0208091735839844, -0.9938830137252808, -0.9669569134712219, -0.9400308132171631, -0.9131047129631042, -0.8861786127090454, -0.8592525124549866, -0.832326352596283, -0.8054002523422241, -0.7784741520881653, -0.7515480518341064, -0.7246218919754028, -0.697695791721344, -0.6707696914672852, -0.6438435912132263, -0.6169174313545227, -0.5899913311004639, -0.563065230846405, -0.5361391305923462, -0.5092129707336426, -0.48228690028190613, -0.4553608000278473, -0.42843466997146606, -0.4015085697174072, -0.374582439661026, -0.34765633940696716, -0.32073020935058594, -0.2938041090965271, -0.26687800884246826, -0.23995189368724823, -0.2130257785320282, -0.18609967827796936, -0.15917354822158813, -0.1322474479675293, -0.10532133281230927, -0.07839521765708923, -0.05146908760070801, -0.024542974308133125, 0.002383138984441757, 0.02930925041437149, 0.05623536556959152, 0.08316147327423096, 0.11008758842945099, 0.13701370358467102, 0.16393981873989105]}, "gradients/decoder.transformer.h.10.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 2.0, 6.0, 1.0, 1.0, 5.0, 5.0, 4.0, 9.0, 13.0, 9.0, 13.0, 15.0, 23.0, 24.0, 29.0, 23.0, 23.0, 34.0, 34.0, 42.0, 40.0, 42.0, 52.0, 67.0, 41.0, 39.0, 41.0, 40.0, 35.0, 38.0, 27.0, 29.0, 38.0, 29.0, 20.0, 20.0, 16.0, 14.0, 16.0, 10.0, 11.0, 4.0, 6.0, 6.0, 5.0, 3.0, 4.0, 4.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.28270387649536133, -0.2745741903781891, -0.26644453406333923, -0.258314847946167, -0.25018519163131714, -0.2420555204153061, -0.23392584919929504, -0.2257961630821228, -0.21766650676727295, -0.2095368355512619, -0.20140716433525085, -0.1932774931192398, -0.18514782190322876, -0.1770181506872177, -0.16888847947120667, -0.16075879335403442, -0.15262912213802338, -0.14449945092201233, -0.13636977970600128, -0.12824010848999023, -0.12011043727397919, -0.11198076605796814, -0.1038510873913765, -0.09572141617536545, -0.0875917449593544, -0.07946207374334335, -0.0713324025273323, -0.06320272386074066, -0.05507305637001991, -0.046943385154008865, -0.03881371021270752, -0.030684038996696472, -0.022554367780685425, -0.014424695633351803, -0.006295023486018181, 0.0018346495926380157, 0.009964320808649063, 0.01809399202466011, 0.026223666965961456, 0.034353338181972504, 0.04248300939798355, 0.0506126806139946, 0.058742351830005646, 0.06687203049659729, 0.07500170171260834, 0.08313137292861938, 0.09126104414463043, 0.09939071536064148, 0.10752038657665253, 0.11565005779266357, 0.12377972900867462, 0.13190940022468567, 0.14003907144069672, 0.14816874265670776, 0.15629842877388, 0.16442808508872986, 0.1725577712059021, 0.18068744242191315, 0.1888171136379242, 0.19694678485393524, 0.2050764560699463, 0.21320612728595734, 0.22133579850196838, 0.22946548461914062, 0.23759514093399048]}, "gradients/decoder.transformer.h.9.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 2.0, 4.0, 3.0, 2.0, 4.0, 3.0, 4.0, 2.0, 8.0, 16.0, 9.0, 20.0, 14.0, 19.0, 20.0, 23.0, 34.0, 30.0, 35.0, 47.0, 32.0, 49.0, 43.0, 49.0, 57.0, 44.0, 41.0, 40.0, 61.0, 38.0, 36.0, 30.0, 41.0, 27.0, 18.0, 22.0, 22.0, 16.0, 11.0, 9.0, 1.0, 6.0, 5.0, 0.0, 5.0, 2.0, 4.0, 2.0, 0.0, 3.0, 2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0283966064453125, -0.027407407760620117, -0.026418209075927734, -0.02542901039123535, -0.02443981170654297, -0.023450613021850586, -0.022461414337158203, -0.02147221565246582, -0.020483016967773438, -0.019493818283081055, -0.018504619598388672, -0.01751542091369629, -0.016526222229003906, -0.015537023544311523, -0.01454782485961914, -0.013558626174926758, -0.012569427490234375, -0.011580228805541992, -0.01059103012084961, -0.009601831436157227, -0.008612632751464844, -0.007623434066772461, -0.006634235382080078, -0.005645036697387695, -0.0046558380126953125, -0.0036666393280029297, -0.002677440643310547, -0.001688241958618164, -0.0006990432739257812, 0.00029015541076660156, 0.0012793540954589844, 0.002268552780151367, 0.00325775146484375, 0.004246950149536133, 0.005236148834228516, 0.0062253475189208984, 0.007214546203613281, 0.008203744888305664, 0.009192943572998047, 0.01018214225769043, 0.011171340942382812, 0.012160539627075195, 0.013149738311767578, 0.014138936996459961, 0.015128135681152344, 0.016117334365844727, 0.01710653305053711, 0.018095731735229492, 0.019084930419921875, 0.020074129104614258, 0.02106332778930664, 0.022052526473999023, 0.023041725158691406, 0.02403092384338379, 0.025020122528076172, 0.026009321212768555, 0.026998519897460938, 0.02798771858215332, 0.028976917266845703, 0.029966115951538086, 0.03095531463623047, 0.03194451332092285, 0.032933712005615234, 0.03392291069030762, 0.034912109375]}, "gradients/decoder.transformer.h.9.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 3.0, 4.0, 1.0, 5.0, 8.0, 6.0, 9.0, 16.0, 16.0, 20.0, 31.0, 46.0, 77.0, 119.0, 238.0, 515.0, 1201.0, 2662.0, 7114.0, 21816.0, 87682.0, 581188.0, 2788658.0, 583006.0, 86779.0, 21166.0, 6827.0, 2689.0, 1117.0, 550.0, 286.0, 178.0, 83.0, 56.0, 27.0, 25.0, 13.0, 12.0, 7.0, 13.0, 4.0, 3.0, 3.0, 2.0, 6.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0643310546875, -0.062073707580566406, -0.05981636047363281, -0.05755901336669922, -0.055301666259765625, -0.05304431915283203, -0.05078697204589844, -0.048529624938964844, -0.04627227783203125, -0.044014930725097656, -0.04175758361816406, -0.03950023651123047, -0.037242889404296875, -0.03498554229736328, -0.03272819519042969, -0.030470848083496094, -0.0282135009765625, -0.025956153869628906, -0.023698806762695312, -0.02144145965576172, -0.019184112548828125, -0.01692676544189453, -0.014669418334960938, -0.012412071228027344, -0.01015472412109375, -0.007897377014160156, -0.0056400299072265625, -0.0033826828002929688, -0.001125335693359375, 0.0011320114135742188, 0.0033893585205078125, 0.005646705627441406, 0.007904052734375, 0.010161399841308594, 0.012418746948242188, 0.014676094055175781, 0.016933441162109375, 0.01919078826904297, 0.021448135375976562, 0.023705482482910156, 0.02596282958984375, 0.028220176696777344, 0.030477523803710938, 0.03273487091064453, 0.034992218017578125, 0.03724956512451172, 0.03950691223144531, 0.041764259338378906, 0.0440216064453125, 0.046278953552246094, 0.04853630065917969, 0.05079364776611328, 0.053050994873046875, 0.05530834197998047, 0.05756568908691406, 0.059823036193847656, 0.06208038330078125, 0.06433773040771484, 0.06659507751464844, 0.06885242462158203, 0.07110977172851562, 0.07336711883544922, 0.07562446594238281, 0.0778818130493164, 0.08013916015625]}, "gradients/decoder.transformer.h.9.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 3.0, 2.0, 3.0, 3.0, 4.0, 5.0, 7.0, 10.0, 15.0, 27.0, 36.0, 51.0, 65.0, 99.0, 140.0, 211.0, 285.0, 420.0, 633.0, 657.0, 459.0, 292.0, 202.0, 132.0, 98.0, 63.0, 53.0, 37.0, 25.0, 13.0, 16.0, 9.0, 3.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.061553955078125, -0.059506893157958984, -0.05745983123779297, -0.05541276931762695, -0.05336570739746094, -0.05131864547729492, -0.049271583557128906, -0.04722452163696289, -0.045177459716796875, -0.04313039779663086, -0.041083335876464844, -0.03903627395629883, -0.03698921203613281, -0.0349421501159668, -0.03289508819580078, -0.030848026275634766, -0.02880096435546875, -0.026753902435302734, -0.02470684051513672, -0.022659778594970703, -0.020612716674804688, -0.018565654754638672, -0.016518592834472656, -0.01447153091430664, -0.012424468994140625, -0.01037740707397461, -0.008330345153808594, -0.006283283233642578, -0.0042362213134765625, -0.002189159393310547, -0.00014209747314453125, 0.0019049644470214844, 0.0039520263671875, 0.005999088287353516, 0.008046150207519531, 0.010093212127685547, 0.012140274047851562, 0.014187335968017578, 0.016234397888183594, 0.01828145980834961, 0.020328521728515625, 0.02237558364868164, 0.024422645568847656, 0.026469707489013672, 0.028516769409179688, 0.030563831329345703, 0.03261089324951172, 0.034657955169677734, 0.03670501708984375, 0.038752079010009766, 0.04079914093017578, 0.0428462028503418, 0.04489326477050781, 0.04694032669067383, 0.048987388610839844, 0.05103445053100586, 0.053081512451171875, 0.05512857437133789, 0.057175636291503906, 0.05922269821166992, 0.06126976013183594, 0.06331682205200195, 0.06536388397216797, 0.06741094589233398, 0.0694580078125]}, "gradients/decoder.transformer.h.9.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 8.0, 12.0, 19.0, 22.0, 39.0, 51.0, 62.0, 97.0, 155.0, 213.0, 579.0, 4835.0, 922447.0, 3254413.0, 9713.0, 755.0, 294.0, 166.0, 135.0, 83.0, 57.0, 39.0, 32.0, 13.0, 14.0, 5.0, 8.0, 5.0, 5.0, 1.0, 2.0, 2.0, 2.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.372802734375, -0.3615379333496094, -0.35027313232421875, -0.3390083312988281, -0.3277435302734375, -0.3164787292480469, -0.30521392822265625, -0.2939491271972656, -0.282684326171875, -0.2714195251464844, -0.26015472412109375, -0.24888992309570312, -0.2376251220703125, -0.22636032104492188, -0.21509552001953125, -0.20383071899414062, -0.19256591796875, -0.18130111694335938, -0.17003631591796875, -0.15877151489257812, -0.1475067138671875, -0.13624191284179688, -0.12497711181640625, -0.11371231079101562, -0.102447509765625, -0.09118270874023438, -0.07991790771484375, -0.06865310668945312, -0.0573883056640625, -0.046123504638671875, -0.03485870361328125, -0.023593902587890625, -0.0123291015625, -0.001064300537109375, 0.01020050048828125, 0.021465301513671875, 0.0327301025390625, 0.043994903564453125, 0.05525970458984375, 0.06652450561523438, 0.077789306640625, 0.08905410766601562, 0.10031890869140625, 0.11158370971679688, 0.1228485107421875, 0.13411331176757812, 0.14537811279296875, 0.15664291381835938, 0.16790771484375, 0.17917251586914062, 0.19043731689453125, 0.20170211791992188, 0.2129669189453125, 0.22423171997070312, 0.23549652099609375, 0.24676132202148438, 0.258026123046875, 0.2692909240722656, 0.28055572509765625, 0.2918205261230469, 0.3030853271484375, 0.3143501281738281, 0.32561492919921875, 0.3368797302246094, 0.34814453125]}, "gradients/decoder.transformer.h.9.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 6.0, 6.0, 7.0, 7.0, 13.0, 13.0, 19.0, 19.0, 31.0, 47.0, 49.0, 58.0, 69.0, 74.0, 69.0, 68.0, 64.0, 57.0, 67.0, 49.0, 48.0, 28.0, 39.0, 24.0, 23.0, 25.0, 9.0, 4.0, 6.0, 3.0, 3.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.18596839904785156, -0.18005047738552094, -0.1741325706243515, -0.16821464896202087, -0.16229674220085144, -0.1563788205385208, -0.15046089887619019, -0.14454299211502075, -0.13862507045269012, -0.1327071487903595, -0.12678924202919006, -0.12087132036685944, -0.1149534061551094, -0.10903549194335938, -0.10311757773160934, -0.09719966351985931, -0.09128174930810928, -0.08536383509635925, -0.07944592088460922, -0.07352800667285919, -0.06761008501052856, -0.061692170798778534, -0.0557742565870285, -0.049856338649988174, -0.043938424438238144, -0.03802051022648811, -0.032102592289447784, -0.026184678077697754, -0.020266762003302574, -0.014348845928907394, -0.008430931717157364, -0.002513013780117035, 0.0034049004316329956, 0.009322816506028175, 0.01524073164910078, 0.021158646792173386, 0.027076562866568565, 0.032994478940963745, 0.038912393152713776, 0.044830311089754105, 0.050748225301504135, 0.056666139513254166, 0.0625840574502945, 0.06850197166204453, 0.07441988587379456, 0.08033780753612518, 0.08625571429729462, 0.09217363595962524, 0.09809155017137527, 0.1040094643831253, 0.10992737859487534, 0.11584529280662537, 0.121763214468956, 0.12768113613128662, 0.13359904289245605, 0.13951696455478668, 0.14543487131595612, 0.15135279297828674, 0.15727069973945618, 0.1631886214017868, 0.16910652816295624, 0.17502444982528687, 0.1809423565864563, 0.18686027824878693, 0.19277819991111755]}, "gradients/decoder.transformer.h.9.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 2.0, 1.0, 3.0, 2.0, 2.0, 6.0, 5.0, 8.0, 12.0, 6.0, 11.0, 14.0, 9.0, 13.0, 12.0, 19.0, 25.0, 28.0, 23.0, 24.0, 35.0, 33.0, 42.0, 27.0, 42.0, 51.0, 27.0, 44.0, 34.0, 49.0, 42.0, 34.0, 24.0, 40.0, 22.0, 29.0, 26.0, 31.0, 14.0, 27.0, 17.0, 19.0, 13.0, 12.0, 6.0, 5.0, 8.0, 7.0, 9.0, 3.0, 3.0, 4.0, 4.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 1.0, 2.0], "bins": [-0.1681891679763794, -0.1626477688550949, -0.15710636973381042, -0.15156497061252594, -0.14602357149124146, -0.14048217236995697, -0.13494077324867249, -0.1293993592262268, -0.12385796755552292, -0.11831656843423843, -0.11277516931295395, -0.10723376274108887, -0.10169236361980438, -0.0961509644985199, -0.09060956537723541, -0.08506816625595093, -0.07952676713466644, -0.07398536801338196, -0.06844396889209747, -0.06290256977081299, -0.057361166924238205, -0.05181976780295372, -0.04627836495637894, -0.04073696583509445, -0.03519556671380997, -0.029654167592525482, -0.024112766608595848, -0.018571365624666214, -0.013029966503381729, -0.007488567382097244, -0.001947164535522461, 0.003594234585762024, 0.009135633707046509, 0.014677033759653568, 0.020218433812260628, 0.025759834796190262, 0.03130123391747475, 0.03684263303875923, 0.042384035885334015, 0.0479254350066185, 0.053466834127902985, 0.05900823324918747, 0.06454963237047195, 0.07009103894233704, 0.07563243806362152, 0.081173837184906, 0.08671523630619049, 0.09225663542747498, 0.09779803454875946, 0.10333943367004395, 0.10888083279132843, 0.11442223191261292, 0.1199636310338974, 0.12550503015518188, 0.13104644417762756, 0.13658782839775085, 0.14212924242019653, 0.14767064154148102, 0.1532120406627655, 0.15875343978405, 0.16429483890533447, 0.16983623802661896, 0.17537763714790344, 0.18091905117034912, 0.1864604353904724]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 8.0, 7.0, 4.0, 2.0, 3.0, 4.0, 8.0, 5.0, 16.0, 7.0, 18.0, 18.0, 25.0, 22.0, 28.0, 35.0, 37.0, 27.0, 37.0, 34.0, 44.0, 32.0, 53.0, 65.0, 50.0, 51.0, 47.0, 34.0, 35.0, 31.0, 40.0, 27.0, 25.0, 27.0, 17.0, 26.0, 11.0, 14.0, 6.0, 4.0, 4.0, 3.0, 7.0, 0.0, 0.0, 5.0, 5.0, 2.0, 0.0, 1.0, 4.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.03045654296875, -0.029483795166015625, -0.02851104736328125, -0.027538299560546875, -0.0265655517578125, -0.025592803955078125, -0.02462005615234375, -0.023647308349609375, -0.022674560546875, -0.021701812744140625, -0.02072906494140625, -0.019756317138671875, -0.0187835693359375, -0.017810821533203125, -0.01683807373046875, -0.015865325927734375, -0.014892578125, -0.013919830322265625, -0.01294708251953125, -0.011974334716796875, -0.0110015869140625, -0.010028839111328125, -0.00905609130859375, -0.008083343505859375, -0.007110595703125, -0.006137847900390625, -0.00516510009765625, -0.004192352294921875, -0.0032196044921875, -0.002246856689453125, -0.00127410888671875, -0.000301361083984375, 0.00067138671875, 0.001644134521484375, 0.00261688232421875, 0.003589630126953125, 0.0045623779296875, 0.005535125732421875, 0.00650787353515625, 0.007480621337890625, 0.008453369140625, 0.009426116943359375, 0.01039886474609375, 0.011371612548828125, 0.0123443603515625, 0.013317108154296875, 0.01428985595703125, 0.015262603759765625, 0.0162353515625, 0.017208099365234375, 0.01818084716796875, 0.019153594970703125, 0.0201263427734375, 0.021099090576171875, 0.02207183837890625, 0.023044586181640625, 0.024017333984375, 0.024990081787109375, 0.02596282958984375, 0.026935577392578125, 0.0279083251953125, 0.028881072998046875, 0.02985382080078125, 0.030826568603515625, 0.03179931640625]}, "gradients/decoder.transformer.h.9.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 2.0, 9.0, 11.0, 9.0, 26.0, 19.0, 35.0, 51.0, 83.0, 102.0, 167.0, 171.0, 279.0, 404.0, 485.0, 747.0, 1003.0, 1458.0, 1996.0, 3095.0, 4331.0, 6734.0, 10165.0, 15542.0, 24439.0, 39539.0, 66320.0, 123638.0, 359952.0, 172303.0, 83386.0, 47743.0, 29392.0, 18521.0, 12054.0, 7683.0, 5003.0, 3463.0, 2331.0, 1625.0, 1261.0, 830.0, 608.0, 426.0, 340.0, 234.0, 170.0, 112.0, 78.0, 62.0, 41.0, 33.0, 20.0, 15.0, 7.0, 7.0, 4.0, 4.0, 2.0, 1.0], "bins": [-0.00016009807586669922, -0.00015520118176937103, -0.00015030428767204285, -0.00014540739357471466, -0.00014051049947738647, -0.0001356136053800583, -0.0001307167112827301, -0.00012581981718540192, -0.00012092292308807373, -0.00011602602899074554, -0.00011112913489341736, -0.00010623224079608917, -0.00010133534669876099, -9.64384526014328e-05, -9.154155850410461e-05, -8.664466440677643e-05, -8.174777030944824e-05, -7.685087621212006e-05, -7.195398211479187e-05, -6.705708801746368e-05, -6.21601939201355e-05, -5.726329982280731e-05, -5.2366405725479126e-05, -4.746951162815094e-05, -4.2572617530822754e-05, -3.767572343349457e-05, -3.277882933616638e-05, -2.7881935238838196e-05, -2.298504114151001e-05, -1.8088147044181824e-05, -1.3191252946853638e-05, -8.294358849525452e-06, -3.3974647521972656e-06, 1.4994293451309204e-06, 6.3963234424591064e-06, 1.1293217539787292e-05, 1.619011163711548e-05, 2.1087005734443665e-05, 2.598389983177185e-05, 3.088079392910004e-05, 3.577768802642822e-05, 4.067458212375641e-05, 4.5571476221084595e-05, 5.046837031841278e-05, 5.536526441574097e-05, 6.026215851306915e-05, 6.515905261039734e-05, 7.005594670772552e-05, 7.495284080505371e-05, 7.98497349023819e-05, 8.474662899971008e-05, 8.964352309703827e-05, 9.454041719436646e-05, 9.943731129169464e-05, 0.00010433420538902283, 0.00010923109948635101, 0.0001141279935836792, 0.00011902488768100739, 0.00012392178177833557, 0.00012881867587566376, 0.00013371556997299194, 0.00013861246407032013, 0.00014350935816764832, 0.0001484062522649765, 0.0001533031463623047]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 3.0, 6.0, 6.0, 12.0, 4.0, 14.0, 6.0, 16.0, 19.0, 15.0, 23.0, 21.0, 29.0, 26.0, 31.0, 35.0, 27.0, 37.0, 36.0, 31.0, 30.0, 32.0, 1068.0, 46.0, 43.0, 31.0, 37.0, 41.0, 32.0, 20.0, 39.0, 18.0, 19.0, 27.0, 21.0, 22.0, 18.0, 20.0, 13.0, 12.0, 7.0, 9.0, 11.0, 5.0, 4.0, 5.0, 2.0, 3.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.0296173095703125, -0.028705358505249023, -0.027793407440185547, -0.02688145637512207, -0.025969505310058594, -0.025057554244995117, -0.02414560317993164, -0.023233652114868164, -0.022321701049804688, -0.02140974998474121, -0.020497798919677734, -0.019585847854614258, -0.01867389678955078, -0.017761945724487305, -0.016849994659423828, -0.01593804359436035, -0.015026092529296875, -0.014114141464233398, -0.013202190399169922, -0.012290239334106445, -0.011378288269042969, -0.010466337203979492, -0.009554386138916016, -0.008642435073852539, -0.0077304840087890625, -0.006818532943725586, -0.005906581878662109, -0.004994630813598633, -0.004082679748535156, -0.0031707286834716797, -0.002258777618408203, -0.0013468265533447266, -0.00043487548828125, 0.00047707557678222656, 0.0013890266418457031, 0.0023009777069091797, 0.0032129287719726562, 0.004124879837036133, 0.005036830902099609, 0.005948781967163086, 0.0068607330322265625, 0.007772684097290039, 0.008684635162353516, 0.009596586227416992, 0.010508537292480469, 0.011420488357543945, 0.012332439422607422, 0.013244390487670898, 0.014156341552734375, 0.015068292617797852, 0.015980243682861328, 0.016892194747924805, 0.01780414581298828, 0.018716096878051758, 0.019628047943115234, 0.02053999900817871, 0.021451950073242188, 0.022363901138305664, 0.02327585220336914, 0.024187803268432617, 0.025099754333496094, 0.02601170539855957, 0.026923656463623047, 0.027835607528686523, 0.02874755859375]}, "gradients/decoder.transformer.h.9.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 1.0, 4.0, 3.0, 8.0, 9.0, 9.0, 9.0, 10.0, 13.0, 17.0, 23.0, 20.0, 21.0, 21.0, 27.0, 17.0, 32.0, 29.0, 39.0, 59.0, 121.0, 321.0, 1436.0, 9706.0, 2071519.0, 11289.0, 1519.0, 351.0, 132.0, 66.0, 37.0, 30.0, 35.0, 26.0, 28.0, 20.0, 23.0, 17.0, 18.0, 15.0, 13.0, 4.0, 10.0, 11.0, 5.0, 8.0, 1.0, 1.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.153085708618164e-05, -3.053061664104462e-05, -2.9530376195907593e-05, -2.853013575077057e-05, -2.7529895305633545e-05, -2.652965486049652e-05, -2.5529414415359497e-05, -2.4529173970222473e-05, -2.352893352508545e-05, -2.2528693079948425e-05, -2.15284526348114e-05, -2.0528212189674377e-05, -1.9527971744537354e-05, -1.852773129940033e-05, -1.7527490854263306e-05, -1.6527250409126282e-05, -1.5527009963989258e-05, -1.4526769518852234e-05, -1.352652907371521e-05, -1.2526288628578186e-05, -1.1526048183441162e-05, -1.0525807738304138e-05, -9.525567293167114e-06, -8.52532684803009e-06, -7.525086402893066e-06, -6.5248459577560425e-06, -5.5246055126190186e-06, -4.524365067481995e-06, -3.5241246223449707e-06, -2.5238841772079468e-06, -1.5236437320709229e-06, -5.234032869338989e-07, 4.76837158203125e-07, 1.477077603340149e-06, 2.477318048477173e-06, 3.4775584936141968e-06, 4.477798938751221e-06, 5.478039383888245e-06, 6.4782798290252686e-06, 7.4785202741622925e-06, 8.478760719299316e-06, 9.47900116443634e-06, 1.0479241609573364e-05, 1.1479482054710388e-05, 1.2479722499847412e-05, 1.3479962944984436e-05, 1.448020339012146e-05, 1.5480443835258484e-05, 1.6480684280395508e-05, 1.7480924725532532e-05, 1.8481165170669556e-05, 1.948140561580658e-05, 2.0481646060943604e-05, 2.1481886506080627e-05, 2.248212695121765e-05, 2.3482367396354675e-05, 2.44826078414917e-05, 2.5482848286628723e-05, 2.6483088731765747e-05, 2.748332917690277e-05, 2.8483569622039795e-05, 2.948381006717682e-05, 3.0484050512313843e-05, 3.148429095745087e-05, 3.248453140258789e-05]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.9.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 8.0, 7.0, 4.0, 2.0, 3.0, 4.0, 8.0, 5.0, 16.0, 7.0, 18.0, 18.0, 25.0, 22.0, 28.0, 35.0, 37.0, 27.0, 37.0, 34.0, 44.0, 32.0, 53.0, 65.0, 50.0, 51.0, 47.0, 34.0, 35.0, 31.0, 40.0, 27.0, 25.0, 27.0, 17.0, 26.0, 11.0, 14.0, 6.0, 4.0, 4.0, 3.0, 7.0, 0.0, 0.0, 5.0, 5.0, 2.0, 0.0, 1.0, 4.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.03045654296875, -0.029483795166015625, -0.02851104736328125, -0.027538299560546875, -0.0265655517578125, -0.025592803955078125, -0.02462005615234375, -0.023647308349609375, -0.022674560546875, -0.021701812744140625, -0.02072906494140625, -0.019756317138671875, -0.0187835693359375, -0.017810821533203125, -0.01683807373046875, -0.015865325927734375, -0.014892578125, -0.013919830322265625, -0.01294708251953125, -0.011974334716796875, -0.0110015869140625, -0.010028839111328125, -0.00905609130859375, -0.008083343505859375, -0.007110595703125, -0.006137847900390625, -0.00516510009765625, -0.004192352294921875, -0.0032196044921875, -0.002246856689453125, -0.00127410888671875, -0.000301361083984375, 0.00067138671875, 0.001644134521484375, 0.00261688232421875, 0.003589630126953125, 0.0045623779296875, 0.005535125732421875, 0.00650787353515625, 0.007480621337890625, 0.008453369140625, 0.009426116943359375, 0.01039886474609375, 0.011371612548828125, 0.0123443603515625, 0.013317108154296875, 0.01428985595703125, 0.015262603759765625, 0.0162353515625, 0.017208099365234375, 0.01818084716796875, 0.019153594970703125, 0.0201263427734375, 0.021099090576171875, 0.02207183837890625, 0.023044586181640625, 0.024017333984375, 0.024990081787109375, 0.02596282958984375, 0.026935577392578125, 0.0279083251953125, 0.028881072998046875, 0.02985382080078125, 0.030826568603515625, 0.03179931640625]}, "gradients/decoder.transformer.h.9.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 6.0, 4.0, 11.0, 12.0, 25.0, 26.0, 40.0, 36.0, 103.0, 128.0, 230.0, 311.0, 511.0, 826.0, 1393.0, 2329.0, 4162.0, 7603.0, 14195.0, 29138.0, 83789.0, 561342.0, 245205.0, 50696.0, 21241.0, 10979.0, 5994.0, 3357.0, 1883.0, 1133.0, 659.0, 406.0, 260.0, 168.0, 114.0, 91.0, 53.0, 37.0, 27.0, 12.0, 7.0, 9.0, 7.0, 2.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.058807373046875, -0.0570673942565918, -0.055327415466308594, -0.05358743667602539, -0.05184745788574219, -0.050107479095458984, -0.04836750030517578, -0.04662752151489258, -0.044887542724609375, -0.04314756393432617, -0.04140758514404297, -0.039667606353759766, -0.03792762756347656, -0.03618764877319336, -0.034447669982910156, -0.03270769119262695, -0.03096771240234375, -0.029227733612060547, -0.027487754821777344, -0.02574777603149414, -0.024007797241210938, -0.022267818450927734, -0.02052783966064453, -0.018787860870361328, -0.017047882080078125, -0.015307903289794922, -0.013567924499511719, -0.011827945709228516, -0.010087966918945312, -0.00834798812866211, -0.006608009338378906, -0.004868030548095703, -0.0031280517578125, -0.0013880729675292969, 0.00035190582275390625, 0.0020918846130371094, 0.0038318634033203125, 0.005571842193603516, 0.007311820983886719, 0.009051799774169922, 0.010791778564453125, 0.012531757354736328, 0.014271736145019531, 0.016011714935302734, 0.017751693725585938, 0.01949167251586914, 0.021231651306152344, 0.022971630096435547, 0.02471160888671875, 0.026451587677001953, 0.028191566467285156, 0.02993154525756836, 0.03167152404785156, 0.033411502838134766, 0.03515148162841797, 0.03689146041870117, 0.038631439208984375, 0.04037141799926758, 0.04211139678955078, 0.043851375579833984, 0.04559135437011719, 0.04733133316040039, 0.049071311950683594, 0.0508112907409668, 0.05255126953125]}, "gradients/decoder.transformer.h.9.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 1.0, 1.0, 4.0, 1.0, 1.0, 6.0, 3.0, 5.0, 5.0, 11.0, 10.0, 9.0, 15.0, 14.0, 22.0, 23.0, 29.0, 31.0, 36.0, 31.0, 41.0, 48.0, 71.0, 87.0, 146.0, 1487.0, 324.0, 116.0, 81.0, 56.0, 45.0, 47.0, 37.0, 32.0, 27.0, 22.0, 21.0, 23.0, 14.0, 13.0, 17.0, 14.0, 7.0, 5.0, 4.0, 4.0, 4.0, 4.0, 1.0, 1.0, 5.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.10150146484375, -0.09859371185302734, -0.09568595886230469, -0.09277820587158203, -0.08987045288085938, -0.08696269989013672, -0.08405494689941406, -0.0811471939086914, -0.07823944091796875, -0.0753316879272461, -0.07242393493652344, -0.06951618194580078, -0.06660842895507812, -0.06370067596435547, -0.06079292297363281, -0.057885169982910156, -0.0549774169921875, -0.052069664001464844, -0.04916191101074219, -0.04625415802001953, -0.043346405029296875, -0.04043865203857422, -0.03753089904785156, -0.034623146057128906, -0.03171539306640625, -0.028807640075683594, -0.025899887084960938, -0.02299213409423828, -0.020084381103515625, -0.01717662811279297, -0.014268875122070312, -0.011361122131347656, -0.008453369140625, -0.005545616149902344, -0.0026378631591796875, 0.00026988983154296875, 0.003177642822265625, 0.006085395812988281, 0.008993148803710938, 0.011900901794433594, 0.01480865478515625, 0.017716407775878906, 0.020624160766601562, 0.02353191375732422, 0.026439666748046875, 0.02934741973876953, 0.03225517272949219, 0.035162925720214844, 0.0380706787109375, 0.040978431701660156, 0.04388618469238281, 0.04679393768310547, 0.049701690673828125, 0.05260944366455078, 0.05551719665527344, 0.058424949645996094, 0.06133270263671875, 0.0642404556274414, 0.06714820861816406, 0.07005596160888672, 0.07296371459960938, 0.07587146759033203, 0.07877922058105469, 0.08168697357177734, 0.0845947265625]}, "gradients/decoder.transformer.h.9.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 5.0, 6.0, 4.0, 19.0, 11.0, 16.0, 33.0, 45.0, 70.0, 67.0, 120.0, 201.0, 356.0, 1064.0, 4337.0, 34749.0, 2570909.0, 510346.0, 18913.0, 2825.0, 775.0, 320.0, 154.0, 113.0, 73.0, 48.0, 37.0, 22.0, 21.0, 14.0, 10.0, 6.0, 7.0, 0.0, 4.0, 5.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.2239990234375, -0.2179241180419922, -0.21184921264648438, -0.20577430725097656, -0.19969940185546875, -0.19362449645996094, -0.18754959106445312, -0.1814746856689453, -0.1753997802734375, -0.1693248748779297, -0.16324996948242188, -0.15717506408691406, -0.15110015869140625, -0.14502525329589844, -0.13895034790039062, -0.1328754425048828, -0.126800537109375, -0.12072563171386719, -0.11465072631835938, -0.10857582092285156, -0.10250091552734375, -0.09642601013183594, -0.09035110473632812, -0.08427619934082031, -0.0782012939453125, -0.07212638854980469, -0.06605148315429688, -0.05997657775878906, -0.05390167236328125, -0.04782676696777344, -0.041751861572265625, -0.03567695617675781, -0.02960205078125, -0.023527145385742188, -0.017452239990234375, -0.011377334594726562, -0.00530242919921875, 0.0007724761962890625, 0.006847381591796875, 0.012922286987304688, 0.0189971923828125, 0.025072097778320312, 0.031147003173828125, 0.03722190856933594, 0.04329681396484375, 0.04937171936035156, 0.055446624755859375, 0.06152153015136719, 0.067596435546875, 0.07367134094238281, 0.07974624633789062, 0.08582115173339844, 0.09189605712890625, 0.09797096252441406, 0.10404586791992188, 0.11012077331542969, 0.1161956787109375, 0.12227058410644531, 0.12834548950195312, 0.13442039489746094, 0.14049530029296875, 0.14657020568847656, 0.15264511108398438, 0.1587200164794922, 0.164794921875]}, "gradients/decoder.transformer.h.9.ln_1.weight": {"_type": "histogram", "values": [3.0, 6.0, 17.0, 34.0, 74.0, 125.0, 170.0, 216.0, 161.0, 109.0, 60.0, 29.0, 12.0, 3.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.06921190768480301, -0.05968518927693367, -0.05015847086906433, -0.04063175246119499, -0.031105034053325653, -0.021578315645456314, -0.012051597237586975, -0.0025248751044273376, 0.007001839578151703, 0.016528557986021042, 0.02605527639389038, 0.03558199480175972, 0.04510871320962906, 0.0546354316174984, 0.06416215002536774, 0.07368887215852737, 0.08321558684110641, 0.09274230897426605, 0.10226902365684509, 0.11179573833942413, 0.12132246047258377, 0.1308491826057434, 0.14037589728832245, 0.1499026119709015, 0.15942934155464172, 0.16895605623722076, 0.1784827709197998, 0.18800950050354004, 0.19753621518611908, 0.20706292986869812, 0.21658965945243835, 0.2261163741350174, 0.23564308881759644, 0.24516980350017548, 0.2546965181827545, 0.26422324776649475, 0.2737499475479126, 0.28327667713165283, 0.29280340671539307, 0.3023301362991333, 0.31185683608055115, 0.3213835656642914, 0.33091026544570923, 0.34043699502944946, 0.3499637246131897, 0.35949042439460754, 0.3690171539783478, 0.3785438537597656, 0.38807058334350586, 0.3975973129272461, 0.40712401270866394, 0.4166507422924042, 0.426177442073822, 0.43570417165756226, 0.4452309012413025, 0.4547576308250427, 0.46428433060646057, 0.4738110601902008, 0.48333775997161865, 0.4928644895553589, 0.5023912191390991, 0.5119179487228394, 0.5214446187019348, 0.530971348285675, 0.5404980778694153]}, "gradients/decoder.transformer.h.9.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 4.0, 2.0, 1.0, 8.0, 6.0, 3.0, 5.0, 13.0, 12.0, 7.0, 8.0, 13.0, 12.0, 20.0, 18.0, 22.0, 27.0, 34.0, 36.0, 36.0, 32.0, 37.0, 35.0, 44.0, 33.0, 44.0, 40.0, 50.0, 46.0, 42.0, 32.0, 48.0, 30.0, 27.0, 21.0, 23.0, 23.0, 13.0, 16.0, 16.0, 9.0, 15.0, 14.0, 8.0, 8.0, 8.0, 4.0, 3.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.27250707149505615, -0.2638692557811737, -0.25523144006729126, -0.24659360945224762, -0.23795579373836517, -0.22931797802448273, -0.2206801474094391, -0.21204233169555664, -0.2034045159816742, -0.19476670026779175, -0.1861288845539093, -0.17749105393886566, -0.16885323822498322, -0.16021542251110077, -0.15157759189605713, -0.14293977618217468, -0.13430196046829224, -0.1256641447544098, -0.11702632158994675, -0.1083884984254837, -0.09975068271160126, -0.09111286699771881, -0.08247504383325577, -0.07383722066879272, -0.06519940495491028, -0.056561585515737534, -0.04792376607656479, -0.039285946637392044, -0.0306481271982193, -0.022010307759046555, -0.01337248831987381, -0.004734668880701065, 0.0039031505584716797, 0.012540969997644424, 0.02117878943681717, 0.029816608875989914, 0.03845442831516266, 0.0470922477543354, 0.05573006719350815, 0.06436789035797119, 0.07300570607185364, 0.08164352178573608, 0.09028134495019913, 0.09891916811466217, 0.10755698382854462, 0.11619479954242706, 0.1248326227068901, 0.13347044587135315, 0.1421082615852356, 0.15074607729911804, 0.1593838930130005, 0.16802172362804413, 0.17665953934192657, 0.18529735505580902, 0.19393518567085266, 0.2025730013847351, 0.21121081709861755, 0.2198486328125, 0.22848644852638245, 0.2371242791414261, 0.24576209485530853, 0.2543999254703522, 0.2630377411842346, 0.27167555689811707, 0.2803133726119995]}, "gradients/decoder.transformer.h.8.mlp.c_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 4.0, 7.0, 6.0, 2.0, 6.0, 9.0, 5.0, 7.0, 5.0, 15.0, 12.0, 16.0, 18.0, 33.0, 31.0, 33.0, 25.0, 32.0, 38.0, 46.0, 45.0, 46.0, 39.0, 51.0, 45.0, 56.0, 42.0, 40.0, 36.0, 32.0, 33.0, 29.0, 21.0, 25.0, 29.0, 23.0, 16.0, 9.0, 5.0, 5.0, 4.0, 6.0, 6.0, 2.0, 2.0, 3.0, 3.0, 2.0, 2.0, 1.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.030242919921875, -0.029246807098388672, -0.028250694274902344, -0.027254581451416016, -0.026258468627929688, -0.02526235580444336, -0.02426624298095703, -0.023270130157470703, -0.022274017333984375, -0.021277904510498047, -0.02028179168701172, -0.01928567886352539, -0.018289566040039062, -0.017293453216552734, -0.016297340393066406, -0.015301227569580078, -0.01430511474609375, -0.013309001922607422, -0.012312889099121094, -0.011316776275634766, -0.010320663452148438, -0.00932455062866211, -0.008328437805175781, -0.007332324981689453, -0.006336212158203125, -0.005340099334716797, -0.004343986511230469, -0.0033478736877441406, -0.0023517608642578125, -0.0013556480407714844, -0.00035953521728515625, 0.0006365776062011719, 0.0016326904296875, 0.002628803253173828, 0.0036249160766601562, 0.004621028900146484, 0.0056171417236328125, 0.006613254547119141, 0.007609367370605469, 0.008605480194091797, 0.009601593017578125, 0.010597705841064453, 0.011593818664550781, 0.01258993148803711, 0.013586044311523438, 0.014582157135009766, 0.015578269958496094, 0.016574382781982422, 0.01757049560546875, 0.018566608428955078, 0.019562721252441406, 0.020558834075927734, 0.021554946899414062, 0.02255105972290039, 0.02354717254638672, 0.024543285369873047, 0.025539398193359375, 0.026535511016845703, 0.02753162384033203, 0.02852773666381836, 0.029523849487304688, 0.030519962310791016, 0.031516075134277344, 0.03251218795776367, 0.03350830078125]}, "gradients/decoder.transformer.h.8.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 2.0, 3.0, 4.0, 5.0, 8.0, 14.0, 19.0, 23.0, 56.0, 84.0, 145.0, 238.0, 398.0, 752.0, 1352.0, 2811.0, 5304.0, 10890.0, 24660.0, 61697.0, 191729.0, 730963.0, 1908369.0, 900310.0, 231602.0, 70784.0, 27456.0, 12094.0, 5792.0, 2983.0, 1574.0, 851.0, 509.0, 280.0, 199.0, 110.0, 79.0, 46.0, 33.0, 20.0, 14.0, 7.0, 10.0, 2.0, 5.0, 6.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0369873046875, -0.03554105758666992, -0.034094810485839844, -0.032648563385009766, -0.031202316284179688, -0.02975606918334961, -0.02830982208251953, -0.026863574981689453, -0.025417327880859375, -0.023971080780029297, -0.02252483367919922, -0.02107858657836914, -0.019632339477539062, -0.018186092376708984, -0.016739845275878906, -0.015293598175048828, -0.01384735107421875, -0.012401103973388672, -0.010954856872558594, -0.009508609771728516, -0.008062362670898438, -0.006616115570068359, -0.005169868469238281, -0.003723621368408203, -0.002277374267578125, -0.0008311271667480469, 0.0006151199340820312, 0.0020613670349121094, 0.0035076141357421875, 0.004953861236572266, 0.006400108337402344, 0.007846355438232422, 0.0092926025390625, 0.010738849639892578, 0.012185096740722656, 0.013631343841552734, 0.015077590942382812, 0.01652383804321289, 0.01797008514404297, 0.019416332244873047, 0.020862579345703125, 0.022308826446533203, 0.02375507354736328, 0.02520132064819336, 0.026647567749023438, 0.028093814849853516, 0.029540061950683594, 0.030986309051513672, 0.03243255615234375, 0.03387880325317383, 0.035325050354003906, 0.036771297454833984, 0.03821754455566406, 0.03966379165649414, 0.04111003875732422, 0.0425562858581543, 0.044002532958984375, 0.04544878005981445, 0.04689502716064453, 0.04834127426147461, 0.04978752136230469, 0.051233768463134766, 0.052680015563964844, 0.05412626266479492, 0.055572509765625]}, "gradients/decoder.transformer.h.8.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 3.0, 3.0, 9.0, 12.0, 13.0, 16.0, 23.0, 33.0, 24.0, 60.0, 77.0, 74.0, 130.0, 169.0, 217.0, 294.0, 405.0, 520.0, 481.0, 381.0, 295.0, 225.0, 121.0, 129.0, 82.0, 66.0, 59.0, 41.0, 31.0, 32.0, 15.0, 18.0, 4.0, 6.0, 2.0, 2.0, 1.0, 3.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0665283203125, -0.06482076644897461, -0.06311321258544922, -0.06140565872192383, -0.05969810485839844, -0.05799055099487305, -0.056282997131347656, -0.054575443267822266, -0.052867889404296875, -0.051160335540771484, -0.049452781677246094, -0.0477452278137207, -0.04603767395019531, -0.04433012008666992, -0.04262256622314453, -0.04091501235961914, -0.03920745849609375, -0.03749990463256836, -0.03579235076904297, -0.03408479690551758, -0.03237724304199219, -0.030669689178466797, -0.028962135314941406, -0.027254581451416016, -0.025547027587890625, -0.023839473724365234, -0.022131919860839844, -0.020424365997314453, -0.018716812133789062, -0.017009258270263672, -0.015301704406738281, -0.01359415054321289, -0.0118865966796875, -0.01017904281616211, -0.008471488952636719, -0.006763935089111328, -0.0050563812255859375, -0.003348827362060547, -0.0016412734985351562, 6.628036499023438e-05, 0.001773834228515625, 0.0034813880920410156, 0.005188941955566406, 0.006896495819091797, 0.008604049682617188, 0.010311603546142578, 0.012019157409667969, 0.01372671127319336, 0.01543426513671875, 0.01714181900024414, 0.01884937286376953, 0.020556926727294922, 0.022264480590820312, 0.023972034454345703, 0.025679588317871094, 0.027387142181396484, 0.029094696044921875, 0.030802249908447266, 0.032509803771972656, 0.03421735763549805, 0.03592491149902344, 0.03763246536254883, 0.03934001922607422, 0.04104757308959961, 0.042755126953125]}, "gradients/decoder.transformer.h.8.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 2.0, 1.0, 1.0, 2.0, 0.0, 4.0, 9.0, 8.0, 18.0, 23.0, 28.0, 40.0, 45.0, 71.0, 92.0, 125.0, 180.0, 364.0, 798.0, 4864.0, 111556.0, 3716692.0, 346423.0, 10573.0, 1171.0, 438.0, 250.0, 151.0, 109.0, 60.0, 56.0, 34.0, 23.0, 25.0, 22.0, 4.0, 11.0, 4.0, 4.0, 5.0, 4.0, 1.0, 2.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.16552734375, -0.15880966186523438, -0.15209197998046875, -0.14537429809570312, -0.1386566162109375, -0.13193893432617188, -0.12522125244140625, -0.11850357055664062, -0.111785888671875, -0.10506820678710938, -0.09835052490234375, -0.09163284301757812, -0.0849151611328125, -0.07819747924804688, -0.07147979736328125, -0.06476211547851562, -0.05804443359375, -0.051326751708984375, -0.04460906982421875, -0.037891387939453125, -0.0311737060546875, -0.024456024169921875, -0.01773834228515625, -0.011020660400390625, -0.004302978515625, 0.002414703369140625, 0.00913238525390625, 0.015850067138671875, 0.0225677490234375, 0.029285430908203125, 0.03600311279296875, 0.042720794677734375, 0.0494384765625, 0.056156158447265625, 0.06287384033203125, 0.06959152221679688, 0.0763092041015625, 0.08302688598632812, 0.08974456787109375, 0.09646224975585938, 0.103179931640625, 0.10989761352539062, 0.11661529541015625, 0.12333297729492188, 0.1300506591796875, 0.13676834106445312, 0.14348602294921875, 0.15020370483398438, 0.15692138671875, 0.16363906860351562, 0.17035675048828125, 0.17707443237304688, 0.1837921142578125, 0.19050979614257812, 0.19722747802734375, 0.20394515991210938, 0.210662841796875, 0.21738052368164062, 0.22409820556640625, 0.23081588745117188, 0.2375335693359375, 0.24425125122070312, 0.25096893310546875, 0.2576866149902344, 0.264404296875]}, "gradients/decoder.transformer.h.8.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 68.0, 466.0, 410.0, 67.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.893511176109314, -1.8435622453689575, -1.7936134338378906, -1.7436645030975342, -1.6937156915664673, -1.6437667608261108, -1.593817949295044, -1.5438690185546875, -1.4939202070236206, -1.4439712762832642, -1.3940224647521973, -1.3440735340118408, -1.294124722480774, -1.2441757917404175, -1.1942269802093506, -1.1442780494689941, -1.0943291187286377, -1.0443801879882812, -0.9944313764572144, -0.9444825053215027, -0.894533634185791, -0.8445847630500793, -0.7946358919143677, -0.7446869611740112, -0.6947381496429443, -0.6447892785072327, -0.594840407371521, -0.5448915362358093, -0.49494266510009766, -0.444993793964386, -0.39504489302635193, -0.34509602189064026, -0.295147180557251, -0.2451983094215393, -0.19524943828582764, -0.14530055224895477, -0.0953516811132431, -0.04540280997753143, 0.004546076059341431, 0.0544949471950531, 0.10444381833076477, 0.15439268946647644, 0.2043415606021881, 0.25429046154022217, 0.30423933267593384, 0.3541882038116455, 0.4041370749473572, 0.45408594608306885, 0.5040348172187805, 0.5539836883544922, 0.6039325594902039, 0.6538814306259155, 0.7038303017616272, 0.7537791728973389, 0.8037281036376953, 0.8536769151687622, 0.9036258459091187, 0.9535747170448303, 1.003523588180542, 1.0534725189208984, 1.1034213304519653, 1.1533702611923218, 1.2033190727233887, 1.2532680034637451, 1.303216814994812]}, "gradients/decoder.transformer.h.8.ln_2.bias": {"_type": "histogram", "values": [3.0, 2.0, 2.0, 4.0, 4.0, 3.0, 7.0, 7.0, 5.0, 7.0, 18.0, 17.0, 11.0, 20.0, 22.0, 21.0, 21.0, 30.0, 27.0, 26.0, 39.0, 33.0, 31.0, 38.0, 43.0, 42.0, 40.0, 39.0, 37.0, 38.0, 48.0, 26.0, 31.0, 43.0, 25.0, 30.0, 22.0, 24.0, 24.0, 23.0, 13.0, 18.0, 7.0, 4.0, 7.0, 6.0, 5.0, 4.0, 8.0, 1.0, 4.0, 4.0, 4.0, 1.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.15399384498596191, -0.14821092784404755, -0.14242799580097198, -0.13664507865905762, -0.13086214661598206, -0.1250792294740677, -0.11929631233215332, -0.11351338773965836, -0.10773046314716339, -0.10194753855466843, -0.09616461396217346, -0.0903816968202591, -0.08459877222776413, -0.07881584763526917, -0.0730329304933548, -0.06725000590085983, -0.06146708130836487, -0.055684156715869904, -0.04990123584866524, -0.04411831498146057, -0.03833539038896561, -0.03255246579647064, -0.026769544929265976, -0.02098662406206131, -0.015203699469566345, -0.00942077673971653, -0.0036378540098667145, 0.002145068719983101, 0.007927991449832916, 0.013710914179682732, 0.019493836909532547, 0.025276757776737213, 0.031059682369232178, 0.03684260696172714, 0.04262552782893181, 0.048408448696136475, 0.05419137328863144, 0.059974297881126404, 0.06575721502304077, 0.07154013961553574, 0.0773230642080307, 0.08310598880052567, 0.08888891339302063, 0.094671830534935, 0.10045475512742996, 0.10623767971992493, 0.1120205968618393, 0.11780352145433426, 0.12358644604682922, 0.1293693631887436, 0.13515229523181915, 0.14093521237373352, 0.14671814441680908, 0.15250106155872345, 0.15828397870063782, 0.16406691074371338, 0.16984982788562775, 0.17563274502754211, 0.18141567707061768, 0.18719859421253204, 0.1929815113544464, 0.19876444339752197, 0.20454736053943634, 0.2103302776813507, 0.21611320972442627]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 5.0, 1.0, 5.0, 6.0, 3.0, 7.0, 8.0, 6.0, 7.0, 13.0, 12.0, 11.0, 11.0, 19.0, 25.0, 33.0, 36.0, 32.0, 30.0, 33.0, 45.0, 59.0, 40.0, 55.0, 45.0, 42.0, 39.0, 48.0, 45.0, 32.0, 45.0, 31.0, 34.0, 28.0, 20.0, 21.0, 13.0, 14.0, 10.0, 3.0, 5.0, 9.0, 4.0, 8.0, 5.0, 3.0, 2.0, 2.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.030548095703125, -0.029539108276367188, -0.028530120849609375, -0.027521133422851562, -0.02651214599609375, -0.025503158569335938, -0.024494171142578125, -0.023485183715820312, -0.0224761962890625, -0.021467208862304688, -0.020458221435546875, -0.019449234008789062, -0.01844024658203125, -0.017431259155273438, -0.016422271728515625, -0.015413284301757812, -0.014404296875, -0.013395309448242188, -0.012386322021484375, -0.011377334594726562, -0.01036834716796875, -0.009359359741210938, -0.008350372314453125, -0.0073413848876953125, -0.0063323974609375, -0.0053234100341796875, -0.004314422607421875, -0.0033054351806640625, -0.00229644775390625, -0.0012874603271484375, -0.000278472900390625, 0.0007305145263671875, 0.001739501953125, 0.0027484893798828125, 0.003757476806640625, 0.0047664642333984375, 0.00577545166015625, 0.0067844390869140625, 0.007793426513671875, 0.008802413940429688, 0.0098114013671875, 0.010820388793945312, 0.011829376220703125, 0.012838363647460938, 0.01384735107421875, 0.014856338500976562, 0.015865325927734375, 0.016874313354492188, 0.01788330078125, 0.018892288208007812, 0.019901275634765625, 0.020910263061523438, 0.02191925048828125, 0.022928237915039062, 0.023937225341796875, 0.024946212768554688, 0.0259552001953125, 0.026964187622070312, 0.027973175048828125, 0.028982162475585938, 0.02999114990234375, 0.031000137329101562, 0.032009124755859375, 0.03301811218261719, 0.034027099609375]}, "gradients/decoder.transformer.h.8.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 6.0, 5.0, 4.0, 7.0, 12.0, 16.0, 31.0, 46.0, 56.0, 87.0, 148.0, 241.0, 324.0, 498.0, 804.0, 1181.0, 1800.0, 2753.0, 4031.0, 6740.0, 10805.0, 18928.0, 32600.0, 60950.0, 130134.0, 384947.0, 202371.0, 84437.0, 43591.0, 24070.0, 14098.0, 8042.0, 5118.0, 3353.0, 2165.0, 1405.0, 936.0, 630.0, 379.0, 263.0, 188.0, 115.0, 78.0, 55.0, 41.0, 22.0, 17.0, 18.0, 6.0, 8.0, 1.0, 4.0, 2.0, 1.0, 1.0, 1.0], "bins": [-0.00019991397857666016, -0.00019398704171180725, -0.00018806010484695435, -0.00018213316798210144, -0.00017620623111724854, -0.00017027929425239563, -0.00016435235738754272, -0.00015842542052268982, -0.00015249848365783691, -0.000146571546792984, -0.0001406446099281311, -0.0001347176730632782, -0.0001287907361984253, -0.0001228637993335724, -0.00011693686246871948, -0.00011100992560386658, -0.00010508298873901367, -9.915605187416077e-05, -9.322911500930786e-05, -8.730217814445496e-05, -8.137524127960205e-05, -7.544830441474915e-05, -6.952136754989624e-05, -6.359443068504333e-05, -5.766749382019043e-05, -5.1740556955337524e-05, -4.581362009048462e-05, -3.9886683225631714e-05, -3.395974636077881e-05, -2.8032809495925903e-05, -2.2105872631072998e-05, -1.6178935766220093e-05, -1.0251998901367188e-05, -4.325062036514282e-06, 1.601874828338623e-06, 7.528811693191528e-06, 1.3455748558044434e-05, 1.938268542289734e-05, 2.5309622287750244e-05, 3.123655915260315e-05, 3.7163496017456055e-05, 4.309043288230896e-05, 4.9017369747161865e-05, 5.494430661201477e-05, 6.0871243476867676e-05, 6.679818034172058e-05, 7.272511720657349e-05, 7.865205407142639e-05, 8.45789909362793e-05, 9.05059278011322e-05, 9.643286466598511e-05, 0.00010235980153083801, 0.00010828673839569092, 0.00011421367526054382, 0.00012014061212539673, 0.00012606754899024963, 0.00013199448585510254, 0.00013792142271995544, 0.00014384835958480835, 0.00014977529644966125, 0.00015570223331451416, 0.00016162917017936707, 0.00016755610704421997, 0.00017348304390907288, 0.00017940998077392578]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 6.0, 5.0, 12.0, 9.0, 9.0, 7.0, 9.0, 16.0, 20.0, 13.0, 18.0, 15.0, 26.0, 31.0, 30.0, 33.0, 35.0, 45.0, 41.0, 42.0, 41.0, 36.0, 1070.0, 37.0, 40.0, 38.0, 41.0, 40.0, 26.0, 26.0, 21.0, 20.0, 34.0, 21.0, 22.0, 13.0, 13.0, 10.0, 13.0, 3.0, 12.0, 8.0, 6.0, 9.0, 2.0, 6.0, 2.0, 2.0, 0.0, 2.0, 0.0, 2.0], "bins": [-0.0311737060546875, -0.030266284942626953, -0.029358863830566406, -0.02845144271850586, -0.027544021606445312, -0.026636600494384766, -0.02572917938232422, -0.024821758270263672, -0.023914337158203125, -0.023006916046142578, -0.02209949493408203, -0.021192073822021484, -0.020284652709960938, -0.01937723159790039, -0.018469810485839844, -0.017562389373779297, -0.01665496826171875, -0.015747547149658203, -0.014840126037597656, -0.01393270492553711, -0.013025283813476562, -0.012117862701416016, -0.011210441589355469, -0.010303020477294922, -0.009395599365234375, -0.008488178253173828, -0.007580757141113281, -0.006673336029052734, -0.0057659149169921875, -0.004858493804931641, -0.003951072692871094, -0.003043651580810547, -0.00213623046875, -0.0012288093566894531, -0.00032138824462890625, 0.0005860328674316406, 0.0014934539794921875, 0.0024008750915527344, 0.0033082962036132812, 0.004215717315673828, 0.005123138427734375, 0.006030559539794922, 0.006937980651855469, 0.007845401763916016, 0.008752822875976562, 0.00966024398803711, 0.010567665100097656, 0.011475086212158203, 0.01238250732421875, 0.013289928436279297, 0.014197349548339844, 0.01510477066040039, 0.016012191772460938, 0.016919612884521484, 0.01782703399658203, 0.018734455108642578, 0.019641876220703125, 0.020549297332763672, 0.02145671844482422, 0.022364139556884766, 0.023271560668945312, 0.02417898178100586, 0.025086402893066406, 0.025993824005126953, 0.0269012451171875]}, "gradients/decoder.transformer.h.8.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 3.0, 2.0, 5.0, 6.0, 3.0, 8.0, 8.0, 10.0, 5.0, 14.0, 11.0, 10.0, 17.0, 21.0, 25.0, 31.0, 25.0, 13.0, 28.0, 35.0, 68.0, 132.0, 331.0, 1305.0, 8996.0, 2074861.0, 9024.0, 1314.0, 322.0, 150.0, 59.0, 37.0, 44.0, 25.0, 30.0, 26.0, 15.0, 21.0, 11.0, 20.0, 12.0, 9.0, 9.0, 6.0, 11.0, 11.0, 4.0, 5.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.944469451904297e-05, -2.8446316719055176e-05, -2.7447938919067383e-05, -2.644956111907959e-05, -2.5451183319091797e-05, -2.4452805519104004e-05, -2.345442771911621e-05, -2.2456049919128418e-05, -2.1457672119140625e-05, -2.0459294319152832e-05, -1.946091651916504e-05, -1.8462538719177246e-05, -1.7464160919189453e-05, -1.646578311920166e-05, -1.5467405319213867e-05, -1.4469027519226074e-05, -1.3470649719238281e-05, -1.2472271919250488e-05, -1.1473894119262695e-05, -1.0475516319274902e-05, -9.47713851928711e-06, -8.478760719299316e-06, -7.4803829193115234e-06, -6.4820051193237305e-06, -5.4836273193359375e-06, -4.4852495193481445e-06, -3.4868717193603516e-06, -2.4884939193725586e-06, -1.4901161193847656e-06, -4.917383193969727e-07, 5.066394805908203e-07, 1.5050172805786133e-06, 2.5033950805664062e-06, 3.5017728805541992e-06, 4.500150680541992e-06, 5.498528480529785e-06, 6.496906280517578e-06, 7.495284080505371e-06, 8.493661880493164e-06, 9.492039680480957e-06, 1.049041748046875e-05, 1.1488795280456543e-05, 1.2487173080444336e-05, 1.3485550880432129e-05, 1.4483928680419922e-05, 1.5482306480407715e-05, 1.6480684280395508e-05, 1.74790620803833e-05, 1.8477439880371094e-05, 1.9475817680358887e-05, 2.047419548034668e-05, 2.1472573280334473e-05, 2.2470951080322266e-05, 2.346932888031006e-05, 2.446770668029785e-05, 2.5466084480285645e-05, 2.6464462280273438e-05, 2.746284008026123e-05, 2.8461217880249023e-05, 2.9459595680236816e-05, 3.045797348022461e-05, 3.14563512802124e-05, 3.2454729080200195e-05, 3.345310688018799e-05, 3.445148468017578e-05]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.8.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 5.0, 1.0, 5.0, 6.0, 3.0, 7.0, 8.0, 6.0, 7.0, 13.0, 12.0, 11.0, 11.0, 19.0, 25.0, 33.0, 36.0, 32.0, 30.0, 33.0, 45.0, 59.0, 40.0, 55.0, 45.0, 42.0, 39.0, 48.0, 45.0, 32.0, 45.0, 31.0, 34.0, 28.0, 20.0, 21.0, 13.0, 14.0, 10.0, 3.0, 5.0, 9.0, 4.0, 8.0, 5.0, 3.0, 2.0, 2.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.030548095703125, -0.029539108276367188, -0.028530120849609375, -0.027521133422851562, -0.02651214599609375, -0.025503158569335938, -0.024494171142578125, -0.023485183715820312, -0.0224761962890625, -0.021467208862304688, -0.020458221435546875, -0.019449234008789062, -0.01844024658203125, -0.017431259155273438, -0.016422271728515625, -0.015413284301757812, -0.014404296875, -0.013395309448242188, -0.012386322021484375, -0.011377334594726562, -0.01036834716796875, -0.009359359741210938, -0.008350372314453125, -0.0073413848876953125, -0.0063323974609375, -0.0053234100341796875, -0.004314422607421875, -0.0033054351806640625, -0.00229644775390625, -0.0012874603271484375, -0.000278472900390625, 0.0007305145263671875, 0.001739501953125, 0.0027484893798828125, 0.003757476806640625, 0.0047664642333984375, 0.00577545166015625, 0.0067844390869140625, 0.007793426513671875, 0.008802413940429688, 0.0098114013671875, 0.010820388793945312, 0.011829376220703125, 0.012838363647460938, 0.01384735107421875, 0.014856338500976562, 0.015865325927734375, 0.016874313354492188, 0.01788330078125, 0.018892288208007812, 0.019901275634765625, 0.020910263061523438, 0.02191925048828125, 0.022928237915039062, 0.023937225341796875, 0.024946212768554688, 0.0259552001953125, 0.026964187622070312, 0.027973175048828125, 0.028982162475585938, 0.02999114990234375, 0.031000137329101562, 0.032009124755859375, 0.03301811218261719, 0.034027099609375]}, "gradients/decoder.transformer.h.8.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 1.0, 3.0, 4.0, 6.0, 10.0, 13.0, 26.0, 31.0, 72.0, 95.0, 188.0, 293.0, 478.0, 853.0, 1477.0, 2711.0, 4933.0, 8799.0, 16273.0, 32605.0, 77643.0, 243895.0, 420380.0, 136065.0, 50786.0, 23625.0, 12232.0, 6620.0, 3646.0, 2072.0, 1136.0, 633.0, 388.0, 204.0, 149.0, 90.0, 45.0, 31.0, 17.0, 12.0, 9.0, 11.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.041046142578125, -0.03948354721069336, -0.03792095184326172, -0.03635835647583008, -0.03479576110839844, -0.0332331657409668, -0.031670570373535156, -0.030107975006103516, -0.028545379638671875, -0.026982784271240234, -0.025420188903808594, -0.023857593536376953, -0.022294998168945312, -0.020732402801513672, -0.01916980743408203, -0.01760721206665039, -0.01604461669921875, -0.01448202133178711, -0.012919425964355469, -0.011356830596923828, -0.009794235229492188, -0.008231639862060547, -0.006669044494628906, -0.005106449127197266, -0.003543853759765625, -0.0019812583923339844, -0.00041866302490234375, 0.0011439323425292969, 0.0027065277099609375, 0.004269123077392578, 0.005831718444824219, 0.007394313812255859, 0.0089569091796875, 0.01051950454711914, 0.012082099914550781, 0.013644695281982422, 0.015207290649414062, 0.016769886016845703, 0.018332481384277344, 0.019895076751708984, 0.021457672119140625, 0.023020267486572266, 0.024582862854003906, 0.026145458221435547, 0.027708053588867188, 0.029270648956298828, 0.03083324432373047, 0.03239583969116211, 0.03395843505859375, 0.03552103042602539, 0.03708362579345703, 0.03864622116088867, 0.04020881652832031, 0.04177141189575195, 0.043334007263183594, 0.044896602630615234, 0.046459197998046875, 0.048021793365478516, 0.049584388732910156, 0.0511469841003418, 0.05270957946777344, 0.05427217483520508, 0.05583477020263672, 0.05739736557006836, 0.0589599609375]}, "gradients/decoder.transformer.h.8.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 4.0, 4.0, 6.0, 8.0, 12.0, 12.0, 20.0, 10.0, 21.0, 20.0, 31.0, 28.0, 32.0, 36.0, 51.0, 44.0, 78.0, 97.0, 146.0, 303.0, 1406.0, 190.0, 93.0, 51.0, 56.0, 43.0, 40.0, 33.0, 34.0, 32.0, 30.0, 21.0, 7.0, 8.0, 12.0, 6.0, 6.0, 6.0, 5.0, 3.0, 2.0, 2.0, 6.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1024169921875, -0.09900856018066406, -0.09560012817382812, -0.09219169616699219, -0.08878326416015625, -0.08537483215332031, -0.08196640014648438, -0.07855796813964844, -0.0751495361328125, -0.07174110412597656, -0.06833267211914062, -0.06492424011230469, -0.06151580810546875, -0.05810737609863281, -0.054698944091796875, -0.05129051208496094, -0.047882080078125, -0.04447364807128906, -0.041065216064453125, -0.03765678405761719, -0.03424835205078125, -0.030839920043945312, -0.027431488037109375, -0.024023056030273438, -0.0206146240234375, -0.017206192016601562, -0.013797760009765625, -0.010389328002929688, -0.00698089599609375, -0.0035724639892578125, -0.000164031982421875, 0.0032444000244140625, 0.00665283203125, 0.010061264038085938, 0.013469696044921875, 0.016878128051757812, 0.02028656005859375, 0.023694992065429688, 0.027103424072265625, 0.030511856079101562, 0.0339202880859375, 0.03732872009277344, 0.040737152099609375, 0.04414558410644531, 0.04755401611328125, 0.05096244812011719, 0.054370880126953125, 0.05777931213378906, 0.061187744140625, 0.06459617614746094, 0.06800460815429688, 0.07141304016113281, 0.07482147216796875, 0.07822990417480469, 0.08163833618164062, 0.08504676818847656, 0.0884552001953125, 0.09186363220214844, 0.09527206420898438, 0.09868049621582031, 0.10208892822265625, 0.10549736022949219, 0.10890579223632812, 0.11231422424316406, 0.11572265625]}, "gradients/decoder.transformer.h.8.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 5.0, 2.0, 3.0, 2.0, 2.0, 5.0, 4.0, 12.0, 12.0, 16.0, 23.0, 26.0, 36.0, 56.0, 74.0, 121.0, 168.0, 346.0, 702.0, 1618.0, 4376.0, 14830.0, 65285.0, 690498.0, 2199139.0, 131965.0, 25103.0, 6887.0, 2332.0, 886.0, 480.0, 226.0, 134.0, 96.0, 62.0, 47.0, 37.0, 34.0, 20.0, 13.0, 10.0, 10.0, 1.0, 4.0, 7.0, 2.0, 4.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.101318359375, -0.0979623794555664, -0.09460639953613281, -0.09125041961669922, -0.08789443969726562, -0.08453845977783203, -0.08118247985839844, -0.07782649993896484, -0.07447052001953125, -0.07111454010009766, -0.06775856018066406, -0.06440258026123047, -0.061046600341796875, -0.05769062042236328, -0.05433464050292969, -0.050978660583496094, -0.0476226806640625, -0.044266700744628906, -0.04091072082519531, -0.03755474090576172, -0.034198760986328125, -0.03084278106689453, -0.027486801147460938, -0.024130821228027344, -0.02077484130859375, -0.017418861389160156, -0.014062881469726562, -0.010706901550292969, -0.007350921630859375, -0.003994941711425781, -0.0006389617919921875, 0.0027170181274414062, 0.006072998046875, 0.009428977966308594, 0.012784957885742188, 0.01614093780517578, 0.019496917724609375, 0.02285289764404297, 0.026208877563476562, 0.029564857482910156, 0.03292083740234375, 0.036276817321777344, 0.03963279724121094, 0.04298877716064453, 0.046344757080078125, 0.04970073699951172, 0.05305671691894531, 0.056412696838378906, 0.0597686767578125, 0.0631246566772461, 0.06648063659667969, 0.06983661651611328, 0.07319259643554688, 0.07654857635498047, 0.07990455627441406, 0.08326053619384766, 0.08661651611328125, 0.08997249603271484, 0.09332847595214844, 0.09668445587158203, 0.10004043579101562, 0.10339641571044922, 0.10675239562988281, 0.1101083755493164, 0.11346435546875]}, "gradients/decoder.transformer.h.8.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 59.0, 698.0, 256.0, 5.0], "bins": [-3.6323602199554443, -3.5734786987304688, -3.514596939086914, -3.4557154178619385, -3.396833896636963, -3.337952136993408, -3.2790706157684326, -3.220189094543457, -3.1613075733184814, -3.102426052093506, -3.043544292449951, -2.9846627712249756, -2.92578125, -2.8668994903564453, -2.8080179691314697, -2.749136447906494, -2.6902546882629395, -2.631373167037964, -2.572491407394409, -2.5136098861694336, -2.454728364944458, -2.3958468437194824, -2.3369650840759277, -2.278083562850952, -2.2192020416259766, -2.160320520401001, -2.1014387607574463, -2.0425572395324707, -1.9836757183074951, -1.92479407787323, -1.8659124374389648, -1.8070309162139893, -1.7481492757797241, -1.689267635345459, -1.6303861141204834, -1.5715044736862183, -1.5126229524612427, -1.4537413120269775, -1.394859790802002, -1.3359781503677368, -1.2770965099334717, -1.2182148694992065, -1.159333348274231, -1.1004517078399658, -1.0415701866149902, -0.9826885461807251, -0.9238069653511047, -0.8649253845214844, -0.806043803691864, -0.7471622228622437, -0.6882806420326233, -0.6293990612030029, -0.5705174207687378, -0.5116358399391174, -0.45275425910949707, -0.3938726484775543, -0.33499106764793396, -0.2761094868183136, -0.21722787618637085, -0.1583462953567505, -0.09946469962596893, -0.04058310389518738, 0.018298476934432983, 0.07718008756637573, 0.1360616683959961]}, "gradients/decoder.transformer.h.8.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 4.0, 4.0, 4.0, 10.0, 6.0, 7.0, 7.0, 13.0, 18.0, 19.0, 11.0, 21.0, 29.0, 21.0, 31.0, 30.0, 56.0, 47.0, 38.0, 37.0, 49.0, 44.0, 43.0, 42.0, 43.0, 28.0, 43.0, 26.0, 35.0, 30.0, 30.0, 30.0, 32.0, 17.0, 13.0, 12.0, 20.0, 12.0, 14.0, 11.0, 3.0, 4.0, 8.0, 4.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.26378804445266724, -0.2548002004623413, -0.2458123415708542, -0.23682449758052826, -0.22783665359020233, -0.2188487946987152, -0.20986095070838928, -0.20087310671806335, -0.19188526272773743, -0.1828974187374115, -0.17390955984592438, -0.16492171585559845, -0.15593387186527252, -0.1469460129737854, -0.13795816898345947, -0.12897032499313354, -0.11998246610164642, -0.1109946146607399, -0.10200677067041397, -0.09301891922950745, -0.08403107523918152, -0.075043223798275, -0.06605537235736847, -0.05706752836704254, -0.04807967692613602, -0.03909182921051979, -0.030103979632258415, -0.02111613005399704, -0.012128282338380814, -0.0031404346227645874, 0.005847416818141937, 0.014835260808467865, 0.02382311224937439, 0.032810959964990616, 0.04179880768060684, 0.05078665912151337, 0.05977450683712959, 0.06876235455274582, 0.07775020599365234, 0.08673804998397827, 0.0957259014248848, 0.10471375286579132, 0.11370159685611725, 0.12268944829702377, 0.1316772997379303, 0.14066514372825623, 0.14965298771858215, 0.15864083170890808, 0.1676286906003952, 0.17661653459072113, 0.18560439348220825, 0.19459223747253418, 0.2035800814628601, 0.21256792545318604, 0.22155578434467316, 0.23054362833499908, 0.2395314872264862, 0.24851933121681213, 0.25750717520713806, 0.2664950489997864, 0.2754828929901123, 0.28447073698043823, 0.29345858097076416, 0.3024464249610901, 0.311434268951416]}, "gradients/decoder.transformer.h.7.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 2.0, 2.0, 7.0, 6.0, 9.0, 7.0, 8.0, 9.0, 5.0, 11.0, 11.0, 16.0, 20.0, 30.0, 32.0, 27.0, 31.0, 27.0, 36.0, 47.0, 30.0, 53.0, 50.0, 47.0, 36.0, 56.0, 35.0, 38.0, 44.0, 31.0, 34.0, 30.0, 32.0, 24.0, 19.0, 20.0, 19.0, 9.0, 9.0, 10.0, 3.0, 6.0, 4.0, 3.0, 7.0, 2.0, 6.0, 1.0, 4.0, 3.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0309600830078125, -0.029950380325317383, -0.028940677642822266, -0.02793097496032715, -0.02692127227783203, -0.025911569595336914, -0.024901866912841797, -0.02389216423034668, -0.022882461547851562, -0.021872758865356445, -0.020863056182861328, -0.01985335350036621, -0.018843650817871094, -0.017833948135375977, -0.01682424545288086, -0.015814542770385742, -0.014804840087890625, -0.013795137405395508, -0.01278543472290039, -0.011775732040405273, -0.010766029357910156, -0.009756326675415039, -0.008746623992919922, -0.007736921310424805, -0.0067272186279296875, -0.00571751594543457, -0.004707813262939453, -0.003698110580444336, -0.0026884078979492188, -0.0016787052154541016, -0.0006690025329589844, 0.0003407001495361328, 0.00135040283203125, 0.002360105514526367, 0.0033698081970214844, 0.0043795108795166016, 0.005389213562011719, 0.006398916244506836, 0.007408618927001953, 0.00841832160949707, 0.009428024291992188, 0.010437726974487305, 0.011447429656982422, 0.012457132339477539, 0.013466835021972656, 0.014476537704467773, 0.01548624038696289, 0.016495943069458008, 0.017505645751953125, 0.018515348434448242, 0.01952505111694336, 0.020534753799438477, 0.021544456481933594, 0.02255415916442871, 0.023563861846923828, 0.024573564529418945, 0.025583267211914062, 0.02659296989440918, 0.027602672576904297, 0.028612375259399414, 0.02962207794189453, 0.03063178062438965, 0.031641483306884766, 0.03265118598937988, 0.033660888671875]}, "gradients/decoder.transformer.h.7.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 3.0, 2.0, 1.0, 2.0, 5.0, 6.0, 3.0, 10.0, 9.0, 11.0, 16.0, 21.0, 18.0, 30.0, 31.0, 53.0, 91.0, 183.0, 461.0, 1037.0, 2717.0, 7438.0, 21955.0, 80068.0, 443961.0, 2621449.0, 842055.0, 125158.0, 31252.0, 10064.0, 3568.0, 1375.0, 584.0, 254.0, 126.0, 74.0, 59.0, 31.0, 26.0, 25.0, 10.0, 5.0, 10.0, 6.0, 7.0, 7.0, 5.0, 3.0, 4.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.06939697265625, -0.06697463989257812, -0.06455230712890625, -0.062129974365234375, -0.0597076416015625, -0.057285308837890625, -0.05486297607421875, -0.052440643310546875, -0.050018310546875, -0.047595977783203125, -0.04517364501953125, -0.042751312255859375, -0.0403289794921875, -0.037906646728515625, -0.03548431396484375, -0.033061981201171875, -0.0306396484375, -0.028217315673828125, -0.02579498291015625, -0.023372650146484375, -0.0209503173828125, -0.018527984619140625, -0.01610565185546875, -0.013683319091796875, -0.011260986328125, -0.008838653564453125, -0.00641632080078125, -0.003993988037109375, -0.0015716552734375, 0.000850677490234375, 0.00327301025390625, 0.005695343017578125, 0.00811767578125, 0.010540008544921875, 0.01296234130859375, 0.015384674072265625, 0.0178070068359375, 0.020229339599609375, 0.02265167236328125, 0.025074005126953125, 0.027496337890625, 0.029918670654296875, 0.03234100341796875, 0.034763336181640625, 0.0371856689453125, 0.039608001708984375, 0.04203033447265625, 0.044452667236328125, 0.046875, 0.049297332763671875, 0.05171966552734375, 0.054141998291015625, 0.0565643310546875, 0.058986663818359375, 0.06140899658203125, 0.06383132934570312, 0.066253662109375, 0.06867599487304688, 0.07109832763671875, 0.07352066040039062, 0.0759429931640625, 0.07836532592773438, 0.08078765869140625, 0.08320999145507812, 0.08563232421875]}, "gradients/decoder.transformer.h.7.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 5.0, 2.0, 2.0, 4.0, 4.0, 5.0, 15.0, 17.0, 12.0, 18.0, 29.0, 27.0, 56.0, 58.0, 93.0, 138.0, 160.0, 192.0, 269.0, 379.0, 509.0, 558.0, 408.0, 293.0, 214.0, 176.0, 116.0, 81.0, 72.0, 61.0, 35.0, 18.0, 19.0, 8.0, 13.0, 5.0, 4.0, 4.0, 2.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.07366943359375, -0.0716867446899414, -0.06970405578613281, -0.06772136688232422, -0.06573867797851562, -0.06375598907470703, -0.06177330017089844, -0.059790611267089844, -0.05780792236328125, -0.055825233459472656, -0.05384254455566406, -0.05185985565185547, -0.049877166748046875, -0.04789447784423828, -0.04591178894042969, -0.043929100036621094, -0.0419464111328125, -0.039963722229003906, -0.03798103332519531, -0.03599834442138672, -0.034015655517578125, -0.03203296661376953, -0.030050277709960938, -0.028067588806152344, -0.02608489990234375, -0.024102210998535156, -0.022119522094726562, -0.02013683319091797, -0.018154144287109375, -0.01617145538330078, -0.014188766479492188, -0.012206077575683594, -0.010223388671875, -0.008240699768066406, -0.0062580108642578125, -0.004275321960449219, -0.002292633056640625, -0.00030994415283203125, 0.0016727447509765625, 0.0036554336547851562, 0.00563812255859375, 0.007620811462402344, 0.009603500366210938, 0.011586189270019531, 0.013568878173828125, 0.015551567077636719, 0.017534255981445312, 0.019516944885253906, 0.0214996337890625, 0.023482322692871094, 0.025465011596679688, 0.02744770050048828, 0.029430389404296875, 0.03141307830810547, 0.03339576721191406, 0.035378456115722656, 0.03736114501953125, 0.039343833923339844, 0.04132652282714844, 0.04330921173095703, 0.045291900634765625, 0.04727458953857422, 0.04925727844238281, 0.051239967346191406, 0.05322265625]}, "gradients/decoder.transformer.h.7.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 4.0, 2.0, 6.0, 7.0, 7.0, 11.0, 10.0, 28.0, 49.0, 54.0, 100.0, 137.0, 226.0, 497.0, 1400.0, 7482.0, 100096.0, 3284545.0, 765910.0, 28541.0, 3351.0, 845.0, 364.0, 222.0, 126.0, 77.0, 48.0, 44.0, 23.0, 22.0, 22.0, 11.0, 9.0, 7.0, 3.0, 4.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.184326171875, -0.1774444580078125, -0.170562744140625, -0.1636810302734375, -0.15679931640625, -0.1499176025390625, -0.143035888671875, -0.1361541748046875, -0.1292724609375, -0.1223907470703125, -0.115509033203125, -0.1086273193359375, -0.10174560546875, -0.0948638916015625, -0.087982177734375, -0.0811004638671875, -0.07421875, -0.0673370361328125, -0.060455322265625, -0.0535736083984375, -0.04669189453125, -0.0398101806640625, -0.032928466796875, -0.0260467529296875, -0.0191650390625, -0.0122833251953125, -0.005401611328125, 0.0014801025390625, 0.00836181640625, 0.0152435302734375, 0.022125244140625, 0.0290069580078125, 0.035888671875, 0.0427703857421875, 0.049652099609375, 0.0565338134765625, 0.06341552734375, 0.0702972412109375, 0.077178955078125, 0.0840606689453125, 0.0909423828125, 0.0978240966796875, 0.104705810546875, 0.1115875244140625, 0.11846923828125, 0.1253509521484375, 0.132232666015625, 0.1391143798828125, 0.14599609375, 0.1528778076171875, 0.159759521484375, 0.1666412353515625, 0.17352294921875, 0.1804046630859375, 0.187286376953125, 0.1941680908203125, 0.2010498046875, 0.2079315185546875, 0.214813232421875, 0.2216949462890625, 0.22857666015625, 0.2354583740234375, 0.242340087890625, 0.2492218017578125, 0.256103515625]}, "gradients/decoder.transformer.h.7.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 10.0, 41.0, 118.0, 244.0, 233.0, 198.0, 113.0, 34.0, 17.0, 6.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4169635772705078, -0.3944272994995117, -0.3718910217285156, -0.34935474395751953, -0.32681846618652344, -0.30428218841552734, -0.28174594044685364, -0.25920966267585754, -0.23667338490486145, -0.21413710713386536, -0.19160082936286926, -0.16906456649303436, -0.14652828872203827, -0.12399201095104218, -0.10145574808120728, -0.07891947031021118, -0.05638319253921509, -0.03384691849350929, -0.011310644447803497, 0.011225625872612, 0.03376190364360809, 0.05629818141460419, 0.07883444428443909, 0.10137072205543518, 0.12390699982643127, 0.14644327759742737, 0.16897955536842346, 0.19151581823825836, 0.21405209600925446, 0.23658837378025055, 0.25912463665008545, 0.28166091442108154, 0.30419719219207764, 0.32673346996307373, 0.3492697477340698, 0.3718060255050659, 0.394342303276062, 0.4168785810470581, 0.4394148290157318, 0.4619511067867279, 0.484487384557724, 0.5070236325263977, 0.5295599102973938, 0.5520961880683899, 0.574632465839386, 0.5971687436103821, 0.6197050213813782, 0.6422412991523743, 0.6647775769233704, 0.6873138546943665, 0.7098501324653625, 0.7323864102363586, 0.7549226880073547, 0.7774589657783508, 0.7999951839447021, 0.8225314617156982, 0.8450677394866943, 0.8676040172576904, 0.8901402950286865, 0.9126765727996826, 0.9352128505706787, 0.9577491283416748, 0.9802854061126709, 1.002821683883667, 1.025357961654663]}, "gradients/decoder.transformer.h.7.ln_2.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 3.0, 1.0, 3.0, 4.0, 6.0, 2.0, 5.0, 3.0, 7.0, 9.0, 11.0, 14.0, 11.0, 14.0, 20.0, 11.0, 15.0, 18.0, 20.0, 26.0, 25.0, 24.0, 37.0, 24.0, 25.0, 42.0, 42.0, 40.0, 28.0, 34.0, 39.0, 37.0, 39.0, 36.0, 35.0, 34.0, 29.0, 29.0, 31.0, 25.0, 17.0, 17.0, 23.0, 14.0, 15.0, 21.0, 6.0, 8.0, 9.0, 6.0, 6.0, 6.0, 1.0, 2.0, 5.0, 3.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.19670039415359497, -0.1906644105911255, -0.184628427028656, -0.17859244346618652, -0.17255645990371704, -0.16652046144008636, -0.16048447787761688, -0.1544484943151474, -0.14841251075267792, -0.14237652719020844, -0.13634054362773895, -0.13030456006526947, -0.12426856905221939, -0.11823258548974991, -0.11219659447669983, -0.10616061091423035, -0.10012462735176086, -0.09408864378929138, -0.0880526602268219, -0.08201666921377182, -0.07598068565130234, -0.06994470208883286, -0.06390871107578278, -0.05787272751331329, -0.05183674395084381, -0.04580076038837433, -0.03976477310061455, -0.03372878581285477, -0.027692802250385284, -0.021656816825270653, -0.015620831400156021, -0.00958484411239624, -0.003548860549926758, 0.002487124875187874, 0.008523110300302505, 0.014559095725417137, 0.02059508115053177, 0.0266310665756464, 0.03266705200076103, 0.03870303928852081, 0.044739022850990295, 0.05077500641345978, 0.05681099370121956, 0.06284698098897934, 0.06888296455144882, 0.0749189481139183, 0.08095493912696838, 0.08699092268943787, 0.09302690625190735, 0.09906288981437683, 0.10509887337684631, 0.11113486438989639, 0.11717084795236588, 0.12320683151483536, 0.12924282252788544, 0.13527880609035492, 0.1413147896528244, 0.14735077321529388, 0.15338675677776337, 0.15942274034023285, 0.16545873880386353, 0.171494722366333, 0.1775307059288025, 0.18356668949127197, 0.18960267305374146]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 0.0, 4.0, 4.0, 3.0, 3.0, 6.0, 9.0, 8.0, 9.0, 8.0, 13.0, 10.0, 19.0, 39.0, 28.0, 36.0, 39.0, 33.0, 44.0, 47.0, 47.0, 55.0, 51.0, 50.0, 51.0, 42.0, 54.0, 48.0, 49.0, 39.0, 23.0, 28.0, 21.0, 17.0, 18.0, 15.0, 10.0, 9.0, 5.0, 3.0, 5.0, 2.0, 4.0, 5.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.03204345703125, -0.030800342559814453, -0.029557228088378906, -0.02831411361694336, -0.027070999145507812, -0.025827884674072266, -0.02458477020263672, -0.023341655731201172, -0.022098541259765625, -0.020855426788330078, -0.01961231231689453, -0.018369197845458984, -0.017126083374023438, -0.01588296890258789, -0.014639854431152344, -0.013396739959716797, -0.01215362548828125, -0.010910511016845703, -0.009667396545410156, -0.00842428207397461, -0.0071811676025390625, -0.005938053131103516, -0.004694938659667969, -0.003451824188232422, -0.002208709716796875, -0.0009655952453613281, 0.00027751922607421875, 0.0015206336975097656, 0.0027637481689453125, 0.004006862640380859, 0.005249977111816406, 0.006493091583251953, 0.0077362060546875, 0.008979320526123047, 0.010222434997558594, 0.01146554946899414, 0.012708663940429688, 0.013951778411865234, 0.015194892883300781, 0.016438007354736328, 0.017681121826171875, 0.018924236297607422, 0.02016735076904297, 0.021410465240478516, 0.022653579711914062, 0.02389669418334961, 0.025139808654785156, 0.026382923126220703, 0.02762603759765625, 0.028869152069091797, 0.030112266540527344, 0.03135538101196289, 0.03259849548339844, 0.033841609954833984, 0.03508472442626953, 0.03632783889770508, 0.037570953369140625, 0.03881406784057617, 0.04005718231201172, 0.041300296783447266, 0.04254341125488281, 0.04378652572631836, 0.045029640197753906, 0.04627275466918945, 0.047515869140625]}, "gradients/decoder.transformer.h.7.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 4.0, 5.0, 3.0, 5.0, 13.0, 26.0, 31.0, 37.0, 65.0, 85.0, 132.0, 221.0, 328.0, 547.0, 867.0, 1403.0, 2336.0, 4162.0, 7193.0, 12658.0, 23637.0, 47185.0, 99078.0, 261449.0, 359287.0, 113929.0, 53329.0, 26955.0, 14437.0, 7859.0, 4442.0, 2663.0, 1613.0, 924.0, 619.0, 348.0, 257.0, 140.0, 101.0, 70.0, 40.0, 29.0, 20.0, 13.0, 6.0, 6.0, 3.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0002155303955078125, -0.00020920857787132263, -0.00020288676023483276, -0.0001965649425983429, -0.00019024312496185303, -0.00018392130732536316, -0.0001775994896888733, -0.00017127767205238342, -0.00016495585441589355, -0.0001586340367794037, -0.00015231221914291382, -0.00014599040150642395, -0.00013966858386993408, -0.00013334676623344421, -0.00012702494859695435, -0.00012070313096046448, -0.00011438131332397461, -0.00010805949568748474, -0.00010173767805099487, -9.5415860414505e-05, -8.909404277801514e-05, -8.277222514152527e-05, -7.64504075050354e-05, -7.012858986854553e-05, -6.380677223205566e-05, -5.7484954595565796e-05, -5.116313695907593e-05, -4.484131932258606e-05, -3.851950168609619e-05, -3.219768404960632e-05, -2.5875866413116455e-05, -1.9554048776626587e-05, -1.3232231140136719e-05, -6.910413503646851e-06, -5.885958671569824e-07, 5.733221769332886e-06, 1.2055039405822754e-05, 1.8376857042312622e-05, 2.469867467880249e-05, 3.102049231529236e-05, 3.7342309951782227e-05, 4.3664127588272095e-05, 4.998594522476196e-05, 5.630776286125183e-05, 6.26295804977417e-05, 6.895139813423157e-05, 7.527321577072144e-05, 8.15950334072113e-05, 8.791685104370117e-05, 9.423866868019104e-05, 0.00010056048631668091, 0.00010688230395317078, 0.00011320412158966064, 0.00011952593922615051, 0.00012584775686264038, 0.00013216957449913025, 0.00013849139213562012, 0.00014481320977210999, 0.00015113502740859985, 0.00015745684504508972, 0.0001637786626815796, 0.00017010048031806946, 0.00017642229795455933, 0.0001827441155910492, 0.00018906593322753906]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 5.0, 4.0, 5.0, 12.0, 4.0, 9.0, 13.0, 20.0, 14.0, 18.0, 21.0, 21.0, 39.0, 33.0, 35.0, 40.0, 30.0, 40.0, 45.0, 35.0, 43.0, 1070.0, 46.0, 45.0, 36.0, 40.0, 33.0, 40.0, 41.0, 32.0, 33.0, 26.0, 20.0, 18.0, 18.0, 5.0, 8.0, 4.0, 13.0, 2.0, 6.0, 4.0, 1.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0306243896484375, -0.0295407772064209, -0.028457164764404297, -0.027373552322387695, -0.026289939880371094, -0.025206327438354492, -0.02412271499633789, -0.02303910255432129, -0.021955490112304688, -0.020871877670288086, -0.019788265228271484, -0.018704652786254883, -0.01762104034423828, -0.01653742790222168, -0.015453815460205078, -0.014370203018188477, -0.013286590576171875, -0.012202978134155273, -0.011119365692138672, -0.01003575325012207, -0.008952140808105469, -0.007868528366088867, -0.006784915924072266, -0.005701303482055664, -0.0046176910400390625, -0.003534078598022461, -0.0024504661560058594, -0.0013668537139892578, -0.00028324127197265625, 0.0008003711700439453, 0.0018839836120605469, 0.0029675960540771484, 0.00405120849609375, 0.0051348209381103516, 0.006218433380126953, 0.007302045822143555, 0.008385658264160156, 0.009469270706176758, 0.01055288314819336, 0.011636495590209961, 0.012720108032226562, 0.013803720474243164, 0.014887332916259766, 0.015970945358276367, 0.01705455780029297, 0.01813817024230957, 0.019221782684326172, 0.020305395126342773, 0.021389007568359375, 0.022472620010375977, 0.023556232452392578, 0.02463984489440918, 0.02572345733642578, 0.026807069778442383, 0.027890682220458984, 0.028974294662475586, 0.030057907104492188, 0.03114151954650879, 0.03222513198852539, 0.03330874443054199, 0.034392356872558594, 0.035475969314575195, 0.0365595817565918, 0.0376431941986084, 0.038726806640625]}, "gradients/decoder.transformer.h.7.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 0.0, 2.0, 1.0, 2.0, 4.0, 4.0, 8.0, 7.0, 7.0, 8.0, 5.0, 20.0, 14.0, 23.0, 31.0, 28.0, 41.0, 35.0, 45.0, 47.0, 92.0, 236.0, 938.0, 7064.0, 2076073.0, 10447.0, 1253.0, 251.0, 96.0, 64.0, 34.0, 42.0, 37.0, 31.0, 21.0, 24.0, 15.0, 18.0, 18.0, 11.0, 8.0, 7.0, 8.0, 8.0, 1.0, 6.0, 4.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.2319297790527344e-05, -4.112906754016876e-05, -3.993883728981018e-05, -3.87486070394516e-05, -3.755837678909302e-05, -3.6368146538734436e-05, -3.5177916288375854e-05, -3.398768603801727e-05, -3.279745578765869e-05, -3.160722553730011e-05, -3.041699528694153e-05, -2.9226765036582947e-05, -2.8036534786224365e-05, -2.6846304535865784e-05, -2.5656074285507202e-05, -2.446584403514862e-05, -2.327561378479004e-05, -2.2085383534431458e-05, -2.0895153284072876e-05, -1.9704923033714294e-05, -1.8514692783355713e-05, -1.732446253299713e-05, -1.613423228263855e-05, -1.4944002032279968e-05, -1.3753771781921387e-05, -1.2563541531562805e-05, -1.1373311281204224e-05, -1.0183081030845642e-05, -8.99285078048706e-06, -7.802620530128479e-06, -6.6123902797698975e-06, -5.422160029411316e-06, -4.231929779052734e-06, -3.041699528694153e-06, -1.8514692783355713e-06, -6.612390279769897e-07, 5.289912223815918e-07, 1.7192214727401733e-06, 2.909451723098755e-06, 4.0996819734573364e-06, 5.289912223815918e-06, 6.4801424741744995e-06, 7.670372724533081e-06, 8.860602974891663e-06, 1.0050833225250244e-05, 1.1241063475608826e-05, 1.2431293725967407e-05, 1.3621523976325989e-05, 1.481175422668457e-05, 1.6001984477043152e-05, 1.7192214727401733e-05, 1.8382444977760315e-05, 1.9572675228118896e-05, 2.0762905478477478e-05, 2.195313572883606e-05, 2.314336597919464e-05, 2.4333596229553223e-05, 2.5523826479911804e-05, 2.6714056730270386e-05, 2.7904286980628967e-05, 2.909451723098755e-05, 3.028474748134613e-05, 3.147497773170471e-05, 3.2665207982063293e-05, 3.3855438232421875e-05]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.7.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 0.0, 4.0, 4.0, 3.0, 3.0, 6.0, 9.0, 8.0, 9.0, 8.0, 13.0, 10.0, 19.0, 39.0, 28.0, 36.0, 39.0, 33.0, 44.0, 47.0, 47.0, 55.0, 51.0, 50.0, 51.0, 42.0, 54.0, 48.0, 49.0, 39.0, 23.0, 28.0, 21.0, 17.0, 18.0, 15.0, 10.0, 9.0, 5.0, 3.0, 5.0, 2.0, 4.0, 5.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.03204345703125, -0.030800342559814453, -0.029557228088378906, -0.02831411361694336, -0.027070999145507812, -0.025827884674072266, -0.02458477020263672, -0.023341655731201172, -0.022098541259765625, -0.020855426788330078, -0.01961231231689453, -0.018369197845458984, -0.017126083374023438, -0.01588296890258789, -0.014639854431152344, -0.013396739959716797, -0.01215362548828125, -0.010910511016845703, -0.009667396545410156, -0.00842428207397461, -0.0071811676025390625, -0.005938053131103516, -0.004694938659667969, -0.003451824188232422, -0.002208709716796875, -0.0009655952453613281, 0.00027751922607421875, 0.0015206336975097656, 0.0027637481689453125, 0.004006862640380859, 0.005249977111816406, 0.006493091583251953, 0.0077362060546875, 0.008979320526123047, 0.010222434997558594, 0.01146554946899414, 0.012708663940429688, 0.013951778411865234, 0.015194892883300781, 0.016438007354736328, 0.017681121826171875, 0.018924236297607422, 0.02016735076904297, 0.021410465240478516, 0.022653579711914062, 0.02389669418334961, 0.025139808654785156, 0.026382923126220703, 0.02762603759765625, 0.028869152069091797, 0.030112266540527344, 0.03135538101196289, 0.03259849548339844, 0.033841609954833984, 0.03508472442626953, 0.03632783889770508, 0.037570953369140625, 0.03881406784057617, 0.04005718231201172, 0.041300296783447266, 0.04254341125488281, 0.04378652572631836, 0.045029640197753906, 0.04627275466918945, 0.047515869140625]}, "gradients/decoder.transformer.h.7.attn.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 3.0, 1.0, 3.0, 5.0, 13.0, 16.0, 16.0, 24.0, 38.0, 59.0, 80.0, 126.0, 207.0, 282.0, 453.0, 728.0, 1136.0, 2038.0, 3535.0, 6329.0, 11443.0, 23481.0, 53990.0, 147601.0, 387094.0, 252941.0, 86434.0, 34577.0, 16277.0, 8412.0, 4544.0, 2621.0, 1516.0, 975.0, 547.0, 336.0, 243.0, 149.0, 95.0, 65.0, 41.0, 21.0, 23.0, 13.0, 13.0, 5.0, 6.0, 5.0, 5.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.042083740234375, -0.04056692123413086, -0.03905010223388672, -0.03753328323364258, -0.03601646423339844, -0.0344996452331543, -0.032982826232910156, -0.031466007232666016, -0.029949188232421875, -0.028432369232177734, -0.026915550231933594, -0.025398731231689453, -0.023881912231445312, -0.022365093231201172, -0.02084827423095703, -0.01933145523071289, -0.01781463623046875, -0.01629781723022461, -0.014780998229980469, -0.013264179229736328, -0.011747360229492188, -0.010230541229248047, -0.008713722229003906, -0.007196903228759766, -0.005680084228515625, -0.004163265228271484, -0.0026464462280273438, -0.0011296272277832031, 0.0003871917724609375, 0.0019040107727050781, 0.0034208297729492188, 0.004937648773193359, 0.0064544677734375, 0.00797128677368164, 0.009488105773925781, 0.011004924774169922, 0.012521743774414062, 0.014038562774658203, 0.015555381774902344, 0.017072200775146484, 0.018589019775390625, 0.020105838775634766, 0.021622657775878906, 0.023139476776123047, 0.024656295776367188, 0.026173114776611328, 0.02768993377685547, 0.02920675277709961, 0.03072357177734375, 0.03224039077758789, 0.03375720977783203, 0.03527402877807617, 0.03679084777832031, 0.03830766677856445, 0.039824485778808594, 0.041341304779052734, 0.042858123779296875, 0.044374942779541016, 0.045891761779785156, 0.0474085807800293, 0.04892539978027344, 0.05044221878051758, 0.05195903778076172, 0.05347585678100586, 0.05499267578125]}, "gradients/decoder.transformer.h.7.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 4.0, 1.0, 0.0, 2.0, 1.0, 5.0, 4.0, 3.0, 1.0, 8.0, 8.0, 5.0, 10.0, 13.0, 15.0, 20.0, 25.0, 17.0, 35.0, 30.0, 29.0, 37.0, 28.0, 46.0, 52.0, 58.0, 100.0, 177.0, 1426.0, 290.0, 134.0, 79.0, 51.0, 37.0, 41.0, 32.0, 23.0, 26.0, 26.0, 27.0, 17.0, 27.0, 21.0, 11.0, 10.0, 10.0, 6.0, 4.0, 7.0, 7.0, 6.0, 4.0, 5.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0965576171875, -0.09352397918701172, -0.09049034118652344, -0.08745670318603516, -0.08442306518554688, -0.0813894271850586, -0.07835578918457031, -0.07532215118408203, -0.07228851318359375, -0.06925487518310547, -0.06622123718261719, -0.0631875991821289, -0.060153961181640625, -0.057120323181152344, -0.05408668518066406, -0.05105304718017578, -0.0480194091796875, -0.04498577117919922, -0.04195213317871094, -0.038918495178222656, -0.035884857177734375, -0.032851219177246094, -0.029817581176757812, -0.02678394317626953, -0.02375030517578125, -0.02071666717529297, -0.017683029174804688, -0.014649391174316406, -0.011615753173828125, -0.008582115173339844, -0.0055484771728515625, -0.0025148391723632812, 0.000518798828125, 0.0035524368286132812, 0.0065860748291015625, 0.009619712829589844, 0.012653350830078125, 0.015686988830566406, 0.018720626831054688, 0.02175426483154297, 0.02478790283203125, 0.02782154083251953, 0.030855178833007812, 0.033888816833496094, 0.036922454833984375, 0.039956092834472656, 0.04298973083496094, 0.04602336883544922, 0.0490570068359375, 0.05209064483642578, 0.05512428283691406, 0.058157920837402344, 0.061191558837890625, 0.0642251968383789, 0.06725883483886719, 0.07029247283935547, 0.07332611083984375, 0.07635974884033203, 0.07939338684082031, 0.0824270248413086, 0.08546066284179688, 0.08849430084228516, 0.09152793884277344, 0.09456157684326172, 0.09759521484375]}, "gradients/decoder.transformer.h.7.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 2.0, 0.0, 5.0, 2.0, 6.0, 15.0, 24.0, 29.0, 37.0, 70.0, 70.0, 130.0, 235.0, 492.0, 1316.0, 4660.0, 24591.0, 393136.0, 2630006.0, 76470.0, 10374.0, 2409.0, 785.0, 345.0, 186.0, 120.0, 62.0, 38.0, 28.0, 16.0, 18.0, 17.0, 10.0, 7.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.141845703125, -0.1368255615234375, -0.131805419921875, -0.1267852783203125, -0.12176513671875, -0.1167449951171875, -0.111724853515625, -0.1067047119140625, -0.1016845703125, -0.0966644287109375, -0.091644287109375, -0.0866241455078125, -0.08160400390625, -0.0765838623046875, -0.071563720703125, -0.0665435791015625, -0.0615234375, -0.0565032958984375, -0.051483154296875, -0.0464630126953125, -0.04144287109375, -0.0364227294921875, -0.031402587890625, -0.0263824462890625, -0.0213623046875, -0.0163421630859375, -0.011322021484375, -0.0063018798828125, -0.00128173828125, 0.0037384033203125, 0.008758544921875, 0.0137786865234375, 0.018798828125, 0.0238189697265625, 0.028839111328125, 0.0338592529296875, 0.03887939453125, 0.0438995361328125, 0.048919677734375, 0.0539398193359375, 0.0589599609375, 0.0639801025390625, 0.069000244140625, 0.0740203857421875, 0.07904052734375, 0.0840606689453125, 0.089080810546875, 0.0941009521484375, 0.09912109375, 0.1041412353515625, 0.109161376953125, 0.1141815185546875, 0.11920166015625, 0.1242218017578125, 0.129241943359375, 0.1342620849609375, 0.1392822265625, 0.1443023681640625, 0.149322509765625, 0.1543426513671875, 0.15936279296875, 0.1643829345703125, 0.169403076171875, 0.1744232177734375, 0.179443359375]}, "gradients/decoder.transformer.h.7.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 12.0, 42.0, 186.0, 350.0, 311.0, 100.0, 17.0], "bins": [-1.2561877965927124, -1.2354646921157837, -1.2147414684295654, -1.1940183639526367, -1.173295259475708, -1.1525720357894897, -1.131848931312561, -1.1111258268356323, -1.090402603149414, -1.0696794986724854, -1.048956274986267, -1.0282331705093384, -1.0075100660324097, -0.9867868423461914, -0.9660637378692627, -0.9453405737876892, -0.9246174693107605, -0.903894305229187, -0.8831712007522583, -0.8624480366706848, -0.8417248725891113, -0.8210017681121826, -0.8002786040306091, -0.7795554399490356, -0.7588323354721069, -0.7381091713905334, -0.7173860669136047, -0.6966629028320312, -0.6759397387504578, -0.6552165746688843, -0.6344934701919556, -0.6137703061103821, -0.5930470824241638, -0.5723239183425903, -0.5516008138656616, -0.5308776497840881, -0.5101544857025146, -0.48943135142326355, -0.46870821714401245, -0.44798505306243896, -0.42726194858551025, -0.40653881430625916, -0.38581565022468567, -0.36509251594543457, -0.3443693518638611, -0.32364621758461, -0.3029230833053589, -0.2821999192237854, -0.2614767551422119, -0.24075360596179962, -0.22003045678138733, -0.19930732250213623, -0.17858417332172394, -0.15786102414131165, -0.13713788986206055, -0.11641474068164825, -0.09569160640239716, -0.07496845722198486, -0.05424531549215317, -0.033522170037031174, -0.01279902458190918, 0.007924124598503113, 0.02864726632833481, 0.049370408058166504, 0.0700935572385788]}, "gradients/decoder.transformer.h.7.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 3.0, 1.0, 4.0, 3.0, 4.0, 6.0, 4.0, 9.0, 12.0, 13.0, 13.0, 12.0, 9.0, 16.0, 22.0, 17.0, 23.0, 22.0, 34.0, 32.0, 45.0, 41.0, 30.0, 49.0, 40.0, 33.0, 41.0, 44.0, 37.0, 41.0, 45.0, 27.0, 33.0, 43.0, 27.0, 30.0, 24.0, 23.0, 16.0, 18.0, 13.0, 12.0, 4.0, 11.0, 7.0, 8.0, 2.0, 2.0, 4.0, 1.0, 4.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.31062233448028564, -0.3010269105434418, -0.2914314866065979, -0.28183606266975403, -0.27224063873291016, -0.2626451849937439, -0.2530497908592224, -0.24345433712005615, -0.23385891318321228, -0.2242634892463684, -0.21466806530952454, -0.20507264137268066, -0.1954772025346756, -0.18588177859783173, -0.17628635466098785, -0.1666909158229828, -0.1570955067873001, -0.14750008285045624, -0.13790465891361237, -0.1283092200756073, -0.11871379613876343, -0.10911837220191956, -0.09952294826507568, -0.08992751687765121, -0.08033209294080734, -0.07073666900396347, -0.061141237616539, -0.05154581367969513, -0.04195038601756096, -0.03235495835542679, -0.022759534418582916, -0.013164103031158447, -0.003568679094314575, 0.006026747636497021, 0.015622174367308617, 0.025217600166797638, 0.03481302782893181, 0.04440845549106598, 0.05400387942790985, 0.06359931081533432, 0.07319473475217819, 0.08279015868902206, 0.09238559007644653, 0.1019810140132904, 0.11157643795013428, 0.12117186933755875, 0.13076728582382202, 0.1403627246618271, 0.14995814859867096, 0.15955357253551483, 0.1691489964723587, 0.17874443531036377, 0.18833985924720764, 0.1979352831840515, 0.20753070712089539, 0.21712613105773926, 0.22672155499458313, 0.236316978931427, 0.24591240286827087, 0.25550782680511475, 0.2651032507419586, 0.2746986746788025, 0.28429412841796875, 0.2938895523548126, 0.3034849762916565]}, "gradients/decoder.transformer.h.6.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 4.0, 2.0, 4.0, 6.0, 3.0, 4.0, 11.0, 10.0, 7.0, 7.0, 16.0, 21.0, 17.0, 22.0, 31.0, 40.0, 42.0, 37.0, 38.0, 47.0, 40.0, 52.0, 45.0, 44.0, 51.0, 54.0, 54.0, 47.0, 44.0, 40.0, 20.0, 26.0, 31.0, 16.0, 16.0, 10.0, 12.0, 10.0, 11.0, 4.0, 4.0, 4.0, 5.0, 4.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.033538818359375, -0.0322871208190918, -0.031035423278808594, -0.02978372573852539, -0.028532028198242188, -0.027280330657958984, -0.02602863311767578, -0.024776935577392578, -0.023525238037109375, -0.022273540496826172, -0.02102184295654297, -0.019770145416259766, -0.018518447875976562, -0.01726675033569336, -0.016015052795410156, -0.014763355255126953, -0.01351165771484375, -0.012259960174560547, -0.011008262634277344, -0.00975656509399414, -0.008504867553710938, -0.007253170013427734, -0.006001472473144531, -0.004749774932861328, -0.003498077392578125, -0.002246379852294922, -0.0009946823120117188, 0.0002570152282714844, 0.0015087127685546875, 0.0027604103088378906, 0.004012107849121094, 0.005263805389404297, 0.0065155029296875, 0.007767200469970703, 0.009018898010253906, 0.01027059555053711, 0.011522293090820312, 0.012773990631103516, 0.014025688171386719, 0.015277385711669922, 0.016529083251953125, 0.017780780792236328, 0.01903247833251953, 0.020284175872802734, 0.021535873413085938, 0.02278757095336914, 0.024039268493652344, 0.025290966033935547, 0.02654266357421875, 0.027794361114501953, 0.029046058654785156, 0.03029775619506836, 0.03154945373535156, 0.032801151275634766, 0.03405284881591797, 0.03530454635620117, 0.036556243896484375, 0.03780794143676758, 0.03905963897705078, 0.040311336517333984, 0.04156303405761719, 0.04281473159790039, 0.044066429138183594, 0.0453181266784668, 0.04656982421875]}, "gradients/decoder.transformer.h.6.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 2.0, 2.0, 5.0, 10.0, 16.0, 17.0, 24.0, 24.0, 62.0, 103.0, 178.0, 333.0, 632.0, 1125.0, 2243.0, 4411.0, 9433.0, 22243.0, 58284.0, 182560.0, 832527.0, 2183530.0, 658216.0, 152091.0, 49865.0, 19604.0, 8363.0, 4001.0, 1997.0, 1035.0, 551.0, 309.0, 199.0, 91.0, 72.0, 54.0, 24.0, 19.0, 7.0, 6.0, 4.0, 4.0, 3.0, 7.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.052337646484375, -0.050496578216552734, -0.04865550994873047, -0.0468144416809082, -0.04497337341308594, -0.04313230514526367, -0.041291236877441406, -0.03945016860961914, -0.037609100341796875, -0.03576803207397461, -0.033926963806152344, -0.03208589553833008, -0.030244827270507812, -0.028403759002685547, -0.02656269073486328, -0.024721622467041016, -0.02288055419921875, -0.021039485931396484, -0.01919841766357422, -0.017357349395751953, -0.015516281127929688, -0.013675212860107422, -0.011834144592285156, -0.00999307632446289, -0.008152008056640625, -0.006310939788818359, -0.004469871520996094, -0.002628803253173828, -0.0007877349853515625, 0.0010533332824707031, 0.0028944015502929688, 0.004735469818115234, 0.0065765380859375, 0.008417606353759766, 0.010258674621582031, 0.012099742889404297, 0.013940811157226562, 0.015781879425048828, 0.017622947692871094, 0.01946401596069336, 0.021305084228515625, 0.02314615249633789, 0.024987220764160156, 0.026828289031982422, 0.028669357299804688, 0.030510425567626953, 0.03235149383544922, 0.034192562103271484, 0.03603363037109375, 0.037874698638916016, 0.03971576690673828, 0.04155683517456055, 0.04339790344238281, 0.04523897171020508, 0.047080039978027344, 0.04892110824584961, 0.050762176513671875, 0.05260324478149414, 0.054444313049316406, 0.05628538131713867, 0.05812644958496094, 0.0599675178527832, 0.06180858612060547, 0.06364965438842773, 0.06549072265625]}, "gradients/decoder.transformer.h.6.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 4.0, 1.0, 1.0, 6.0, 3.0, 6.0, 5.0, 8.0, 12.0, 15.0, 22.0, 31.0, 33.0, 47.0, 61.0, 70.0, 107.0, 140.0, 199.0, 234.0, 371.0, 448.0, 576.0, 463.0, 337.0, 209.0, 166.0, 144.0, 101.0, 68.0, 54.0, 41.0, 30.0, 19.0, 11.0, 11.0, 7.0, 11.0, 3.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.06878662109375, -0.06684732437133789, -0.06490802764892578, -0.06296873092651367, -0.06102943420410156, -0.05909013748168945, -0.057150840759277344, -0.055211544036865234, -0.053272247314453125, -0.051332950592041016, -0.049393653869628906, -0.0474543571472168, -0.04551506042480469, -0.04357576370239258, -0.04163646697998047, -0.03969717025756836, -0.03775787353515625, -0.03581857681274414, -0.03387928009033203, -0.03193998336791992, -0.030000686645507812, -0.028061389923095703, -0.026122093200683594, -0.024182796478271484, -0.022243499755859375, -0.020304203033447266, -0.018364906311035156, -0.016425609588623047, -0.014486312866210938, -0.012547016143798828, -0.010607719421386719, -0.00866842269897461, -0.0067291259765625, -0.004789829254150391, -0.0028505325317382812, -0.0009112358093261719, 0.0010280609130859375, 0.002967357635498047, 0.004906654357910156, 0.006845951080322266, 0.008785247802734375, 0.010724544525146484, 0.012663841247558594, 0.014603137969970703, 0.016542434692382812, 0.018481731414794922, 0.02042102813720703, 0.02236032485961914, 0.02429962158203125, 0.02623891830444336, 0.02817821502685547, 0.030117511749267578, 0.03205680847167969, 0.0339961051940918, 0.035935401916503906, 0.037874698638916016, 0.039813995361328125, 0.041753292083740234, 0.043692588806152344, 0.04563188552856445, 0.04757118225097656, 0.04951047897338867, 0.05144977569580078, 0.05338907241821289, 0.055328369140625]}, "gradients/decoder.transformer.h.6.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 6.0, 4.0, 6.0, 11.0, 13.0, 19.0, 24.0, 23.0, 56.0, 84.0, 157.0, 221.0, 420.0, 855.0, 2509.0, 9830.0, 57133.0, 584589.0, 3184883.0, 307719.0, 35544.0, 6744.0, 1814.0, 699.0, 319.0, 194.0, 106.0, 88.0, 60.0, 48.0, 25.0, 23.0, 18.0, 4.0, 9.0, 10.0, 6.0, 4.0, 5.0, 2.0, 1.0, 4.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1368408203125, -0.13218307495117188, -0.12752532958984375, -0.12286758422851562, -0.1182098388671875, -0.11355209350585938, -0.10889434814453125, -0.10423660278320312, -0.099578857421875, -0.09492111206054688, -0.09026336669921875, -0.08560562133789062, -0.0809478759765625, -0.07629013061523438, -0.07163238525390625, -0.06697463989257812, -0.06231689453125, -0.057659149169921875, -0.05300140380859375, -0.048343658447265625, -0.0436859130859375, -0.039028167724609375, -0.03437042236328125, -0.029712677001953125, -0.025054931640625, -0.020397186279296875, -0.01573944091796875, -0.011081695556640625, -0.0064239501953125, -0.001766204833984375, 0.00289154052734375, 0.007549285888671875, 0.01220703125, 0.016864776611328125, 0.02152252197265625, 0.026180267333984375, 0.0308380126953125, 0.035495758056640625, 0.04015350341796875, 0.044811248779296875, 0.049468994140625, 0.054126739501953125, 0.05878448486328125, 0.06344223022460938, 0.0680999755859375, 0.07275772094726562, 0.07741546630859375, 0.08207321166992188, 0.08673095703125, 0.09138870239257812, 0.09604644775390625, 0.10070419311523438, 0.1053619384765625, 0.11001968383789062, 0.11467742919921875, 0.11933517456054688, 0.123992919921875, 0.12865066528320312, 0.13330841064453125, 0.13796615600585938, 0.1426239013671875, 0.14728164672851562, 0.15193939208984375, 0.15659713745117188, 0.1612548828125]}, "gradients/decoder.transformer.h.6.ln_2.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 9.0, 43.0, 183.0, 346.0, 314.0, 90.0, 28.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.25918447971343994, -0.22635230422019958, -0.19352011382579803, -0.16068792343139648, -0.12785574793815613, -0.09502357244491577, -0.06219138205051422, -0.02935919165611267, 0.0034729838371276855, 0.03630516678094864, 0.06913734972476959, 0.10196953266859055, 0.1348017156124115, 0.16763389110565186, 0.2004660815000534, 0.23329827189445496, 0.2661304473876953, 0.29896262288093567, 0.331794798374176, 0.36462700366973877, 0.3974591791629791, 0.4302913546562195, 0.4631235599517822, 0.4959557354450226, 0.5287879109382629, 0.5616201162338257, 0.5944522619247437, 0.6272844672203064, 0.6601166725158691, 0.6929488182067871, 0.7257810235023499, 0.7586132287979126, 0.7914453744888306, 0.8242775797843933, 0.8571097254753113, 0.889941930770874, 0.922774076461792, 0.9556062817573547, 0.9884384870529175, 1.0212706327438354, 1.054102897644043, 1.086935043334961, 1.1197673082351685, 1.1525994539260864, 1.1854315996170044, 1.218263864517212, 1.2510960102081299, 1.2839281558990479, 1.3167603015899658, 1.3495924472808838, 1.3824247121810913, 1.4152568578720093, 1.4480890035629272, 1.4809212684631348, 1.5137534141540527, 1.5465855598449707, 1.5794177055358887, 1.6122498512268066, 1.6450821161270142, 1.6779142618179321, 1.71074640750885, 1.7435786724090576, 1.7764108180999756, 1.8092429637908936, 1.842075228691101]}, "gradients/decoder.transformer.h.6.ln_2.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 3.0, 2.0, 5.0, 7.0, 5.0, 5.0, 10.0, 15.0, 14.0, 8.0, 21.0, 26.0, 21.0, 23.0, 20.0, 25.0, 26.0, 27.0, 31.0, 38.0, 24.0, 33.0, 44.0, 30.0, 38.0, 34.0, 27.0, 29.0, 32.0, 33.0, 38.0, 44.0, 28.0, 18.0, 29.0, 27.0, 21.0, 16.0, 16.0, 16.0, 17.0, 14.0, 8.0, 9.0, 14.0, 8.0, 4.0, 8.0, 5.0, 2.0, 4.0, 2.0, 3.0, 1.0, 3.0, 4.0], "bins": [-0.20579850673675537, -0.19961538910865784, -0.1934322714805603, -0.18724915385246277, -0.18106603622436523, -0.1748829185962677, -0.16869980096817017, -0.16251668334007263, -0.1563335657119751, -0.15015044808387756, -0.14396733045578003, -0.1377842128276825, -0.13160109519958496, -0.12541797757148743, -0.11923485994338989, -0.11305174231529236, -0.10686862468719482, -0.10068550705909729, -0.09450238943099976, -0.08831927180290222, -0.08213615417480469, -0.07595303654670715, -0.06976991891860962, -0.06358680129051208, -0.05740368366241455, -0.05122056603431702, -0.04503744840621948, -0.03885433077812195, -0.032671213150024414, -0.02648809552192688, -0.020304977893829346, -0.014121860265731812, -0.007938742637634277, -0.0017556250095367432, 0.004427492618560791, 0.010610610246658325, 0.01679372787475586, 0.022976845502853394, 0.029159963130950928, 0.03534308075904846, 0.041526198387145996, 0.04770931601524353, 0.053892433643341064, 0.0600755512714386, 0.06625866889953613, 0.07244178652763367, 0.0786249041557312, 0.08480802178382874, 0.09099113941192627, 0.0971742570400238, 0.10335737466812134, 0.10954049229621887, 0.1157236099243164, 0.12190672755241394, 0.12808984518051147, 0.134272962808609, 0.14045608043670654, 0.14663919806480408, 0.1528223156929016, 0.15900543332099915, 0.16518855094909668, 0.1713716685771942, 0.17755478620529175, 0.18373790383338928, 0.18992102146148682]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 2.0, 0.0, 3.0, 1.0, 2.0, 5.0, 7.0, 4.0, 1.0, 8.0, 8.0, 9.0, 9.0, 21.0, 16.0, 24.0, 22.0, 20.0, 36.0, 31.0, 32.0, 33.0, 40.0, 31.0, 42.0, 52.0, 47.0, 45.0, 46.0, 44.0, 40.0, 42.0, 41.0, 26.0, 32.0, 35.0, 32.0, 21.0, 27.0, 13.0, 11.0, 12.0, 10.0, 3.0, 6.0, 3.0, 7.0, 5.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.035064697265625, -0.03392601013183594, -0.032787322998046875, -0.03164863586425781, -0.03050994873046875, -0.029371261596679688, -0.028232574462890625, -0.027093887329101562, -0.0259552001953125, -0.024816513061523438, -0.023677825927734375, -0.022539138793945312, -0.02140045166015625, -0.020261764526367188, -0.019123077392578125, -0.017984390258789062, -0.016845703125, -0.015707015991210938, -0.014568328857421875, -0.013429641723632812, -0.01229095458984375, -0.011152267456054688, -0.010013580322265625, -0.008874893188476562, -0.0077362060546875, -0.0065975189208984375, -0.005458831787109375, -0.0043201446533203125, -0.00318145751953125, -0.0020427703857421875, -0.000904083251953125, 0.0002346038818359375, 0.001373291015625, 0.0025119781494140625, 0.003650665283203125, 0.0047893524169921875, 0.00592803955078125, 0.0070667266845703125, 0.008205413818359375, 0.009344100952148438, 0.0104827880859375, 0.011621475219726562, 0.012760162353515625, 0.013898849487304688, 0.01503753662109375, 0.016176223754882812, 0.017314910888671875, 0.018453598022460938, 0.01959228515625, 0.020730972290039062, 0.021869659423828125, 0.023008346557617188, 0.02414703369140625, 0.025285720825195312, 0.026424407958984375, 0.027563095092773438, 0.0287017822265625, 0.029840469360351562, 0.030979156494140625, 0.03211784362792969, 0.03325653076171875, 0.03439521789550781, 0.035533905029296875, 0.03667259216308594, 0.037811279296875]}, "gradients/decoder.transformer.h.6.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 5.0, 5.0, 2.0, 11.0, 18.0, 27.0, 38.0, 46.0, 61.0, 107.0, 129.0, 161.0, 203.0, 337.0, 521.0, 650.0, 918.0, 1322.0, 1974.0, 2748.0, 3934.0, 5963.0, 8712.0, 13371.0, 20212.0, 31841.0, 50308.0, 86032.0, 162766.0, 326611.0, 131158.0, 71928.0, 43929.0, 27597.0, 18166.0, 11694.0, 7812.0, 5354.0, 3585.0, 2462.0, 1729.0, 1152.0, 816.0, 632.0, 493.0, 309.0, 197.0, 143.0, 137.0, 82.0, 46.0, 35.0, 21.0, 18.0, 16.0, 8.0, 5.0, 7.0, 1.0, 6.0, 1.0], "bins": [-0.00015914440155029297, -0.000154225155711174, -0.00014930590987205505, -0.0001443866640329361, -0.00013946741819381714, -0.00013454817235469818, -0.00012962892651557922, -0.00012470968067646027, -0.00011979043483734131, -0.00011487118899822235, -0.0001099519431591034, -0.00010503269731998444, -0.00010011345148086548, -9.519420564174652e-05, -9.027495980262756e-05, -8.53557139635086e-05, -8.043646812438965e-05, -7.551722228527069e-05, -7.059797644615173e-05, -6.567873060703278e-05, -6.075948476791382e-05, -5.584023892879486e-05, -5.09209930896759e-05, -4.6001747250556946e-05, -4.108250141143799e-05, -3.616325557231903e-05, -3.124400973320007e-05, -2.6324763894081116e-05, -2.1405518054962158e-05, -1.64862722158432e-05, -1.1567026376724243e-05, -6.647780537605286e-06, -1.7285346984863281e-06, 3.1907111406326294e-06, 8.109956979751587e-06, 1.3029202818870544e-05, 1.7948448657989502e-05, 2.286769449710846e-05, 2.7786940336227417e-05, 3.2706186175346375e-05, 3.762543201446533e-05, 4.254467785358429e-05, 4.746392369270325e-05, 5.2383169531822205e-05, 5.730241537094116e-05, 6.222166121006012e-05, 6.714090704917908e-05, 7.206015288829803e-05, 7.697939872741699e-05, 8.189864456653595e-05, 8.681789040565491e-05, 9.173713624477386e-05, 9.665638208389282e-05, 0.00010157562792301178, 0.00010649487376213074, 0.0001114141196012497, 0.00011633336544036865, 0.00012125261127948761, 0.00012617185711860657, 0.00013109110295772552, 0.00013601034879684448, 0.00014092959463596344, 0.0001458488404750824, 0.00015076808631420135, 0.0001556873321533203]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 5.0, 3.0, 4.0, 7.0, 4.0, 9.0, 17.0, 12.0, 20.0, 14.0, 26.0, 30.0, 31.0, 22.0, 26.0, 33.0, 31.0, 47.0, 37.0, 42.0, 44.0, 1063.0, 34.0, 49.0, 39.0, 40.0, 34.0, 33.0, 31.0, 40.0, 36.0, 26.0, 20.0, 14.0, 25.0, 15.0, 16.0, 9.0, 7.0, 11.0, 9.0, 5.0, 2.0, 5.0, 2.0, 1.0, 1.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.03289794921875, -0.031794071197509766, -0.03069019317626953, -0.029586315155029297, -0.028482437133789062, -0.027378559112548828, -0.026274681091308594, -0.02517080307006836, -0.024066925048828125, -0.02296304702758789, -0.021859169006347656, -0.020755290985107422, -0.019651412963867188, -0.018547534942626953, -0.01744365692138672, -0.016339778900146484, -0.01523590087890625, -0.014132022857666016, -0.013028144836425781, -0.011924266815185547, -0.010820388793945312, -0.009716510772705078, -0.008612632751464844, -0.007508754730224609, -0.006404876708984375, -0.005300998687744141, -0.004197120666503906, -0.003093242645263672, -0.0019893646240234375, -0.0008854866027832031, 0.00021839141845703125, 0.0013222694396972656, 0.0024261474609375, 0.0035300254821777344, 0.004633903503417969, 0.005737781524658203, 0.0068416595458984375, 0.007945537567138672, 0.009049415588378906, 0.01015329360961914, 0.011257171630859375, 0.01236104965209961, 0.013464927673339844, 0.014568805694580078, 0.015672683715820312, 0.016776561737060547, 0.01788043975830078, 0.018984317779541016, 0.02008819580078125, 0.021192073822021484, 0.02229595184326172, 0.023399829864501953, 0.024503707885742188, 0.025607585906982422, 0.026711463928222656, 0.02781534194946289, 0.028919219970703125, 0.03002309799194336, 0.031126976013183594, 0.03223085403442383, 0.03333473205566406, 0.0344386100769043, 0.03554248809814453, 0.036646366119384766, 0.037750244140625]}, "gradients/decoder.transformer.h.6.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 1.0, 0.0, 6.0, 2.0, 6.0, 5.0, 13.0, 7.0, 7.0, 13.0, 18.0, 19.0, 16.0, 19.0, 19.0, 36.0, 35.0, 41.0, 40.0, 46.0, 94.0, 243.0, 881.0, 6174.0, 2071540.0, 15321.0, 1687.0, 363.0, 127.0, 65.0, 41.0, 34.0, 23.0, 26.0, 30.0, 29.0, 15.0, 22.0, 13.0, 16.0, 12.0, 7.0, 8.0, 3.0, 5.0, 4.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0], "bins": [-4.208087921142578e-05, -4.086736589670181e-05, -3.9653852581977844e-05, -3.8440339267253876e-05, -3.722682595252991e-05, -3.601331263780594e-05, -3.479979932308197e-05, -3.3586286008358e-05, -3.237277269363403e-05, -3.1159259378910065e-05, -2.9945746064186096e-05, -2.8732232749462128e-05, -2.751871943473816e-05, -2.630520612001419e-05, -2.5091692805290222e-05, -2.3878179490566254e-05, -2.2664666175842285e-05, -2.1451152861118317e-05, -2.0237639546394348e-05, -1.902412623167038e-05, -1.781061291694641e-05, -1.6597099602222443e-05, -1.5383586287498474e-05, -1.4170072972774506e-05, -1.2956559658050537e-05, -1.1743046343326569e-05, -1.05295330286026e-05, -9.316019713878632e-06, -8.102506399154663e-06, -6.888993084430695e-06, -5.675479769706726e-06, -4.4619664549827576e-06, -3.248453140258789e-06, -2.0349398255348206e-06, -8.21426510810852e-07, 3.9208680391311646e-07, 1.605600118637085e-06, 2.8191134333610535e-06, 4.032626748085022e-06, 5.2461400628089905e-06, 6.459653377532959e-06, 7.673166692256927e-06, 8.886680006980896e-06, 1.0100193321704865e-05, 1.1313706636428833e-05, 1.2527219951152802e-05, 1.374073326587677e-05, 1.4954246580600739e-05, 1.6167759895324707e-05, 1.7381273210048676e-05, 1.8594786524772644e-05, 1.9808299839496613e-05, 2.102181315422058e-05, 2.223532646894455e-05, 2.3448839783668518e-05, 2.4662353098392487e-05, 2.5875866413116455e-05, 2.7089379727840424e-05, 2.8302893042564392e-05, 2.951640635728836e-05, 3.072991967201233e-05, 3.19434329867363e-05, 3.3156946301460266e-05, 3.4370459616184235e-05, 3.55839729309082e-05]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.6.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 2.0, 0.0, 3.0, 1.0, 2.0, 5.0, 7.0, 4.0, 1.0, 8.0, 8.0, 9.0, 9.0, 21.0, 16.0, 24.0, 22.0, 20.0, 36.0, 31.0, 32.0, 33.0, 40.0, 31.0, 42.0, 52.0, 47.0, 45.0, 46.0, 44.0, 40.0, 42.0, 41.0, 26.0, 32.0, 35.0, 32.0, 21.0, 27.0, 13.0, 11.0, 12.0, 10.0, 3.0, 6.0, 3.0, 7.0, 5.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.035064697265625, -0.03392601013183594, -0.032787322998046875, -0.03164863586425781, -0.03050994873046875, -0.029371261596679688, -0.028232574462890625, -0.027093887329101562, -0.0259552001953125, -0.024816513061523438, -0.023677825927734375, -0.022539138793945312, -0.02140045166015625, -0.020261764526367188, -0.019123077392578125, -0.017984390258789062, -0.016845703125, -0.015707015991210938, -0.014568328857421875, -0.013429641723632812, -0.01229095458984375, -0.011152267456054688, -0.010013580322265625, -0.008874893188476562, -0.0077362060546875, -0.0065975189208984375, -0.005458831787109375, -0.0043201446533203125, -0.00318145751953125, -0.0020427703857421875, -0.000904083251953125, 0.0002346038818359375, 0.001373291015625, 0.0025119781494140625, 0.003650665283203125, 0.0047893524169921875, 0.00592803955078125, 0.0070667266845703125, 0.008205413818359375, 0.009344100952148438, 0.0104827880859375, 0.011621475219726562, 0.012760162353515625, 0.013898849487304688, 0.01503753662109375, 0.016176223754882812, 0.017314910888671875, 0.018453598022460938, 0.01959228515625, 0.020730972290039062, 0.021869659423828125, 0.023008346557617188, 0.02414703369140625, 0.025285720825195312, 0.026424407958984375, 0.027563095092773438, 0.0287017822265625, 0.029840469360351562, 0.030979156494140625, 0.03211784362792969, 0.03325653076171875, 0.03439521789550781, 0.035533905029296875, 0.03667259216308594, 0.037811279296875]}, "gradients/decoder.transformer.h.6.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 4.0, 1.0, 1.0, 3.0, 6.0, 2.0, 14.0, 17.0, 25.0, 30.0, 34.0, 69.0, 94.0, 128.0, 221.0, 298.0, 442.0, 737.0, 1134.0, 1802.0, 2732.0, 4261.0, 6829.0, 11045.0, 17533.0, 29587.0, 57864.0, 145580.0, 498434.0, 138451.0, 55742.0, 29211.0, 17168.0, 10743.0, 6553.0, 4304.0, 2652.0, 1733.0, 1041.0, 651.0, 475.0, 294.0, 190.0, 145.0, 96.0, 57.0, 43.0, 32.0, 23.0, 16.0, 11.0, 7.0, 2.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.055084228515625, -0.05333423614501953, -0.05158424377441406, -0.049834251403808594, -0.048084259033203125, -0.046334266662597656, -0.04458427429199219, -0.04283428192138672, -0.04108428955078125, -0.03933429718017578, -0.03758430480957031, -0.035834312438964844, -0.034084320068359375, -0.032334327697753906, -0.030584335327148438, -0.02883434295654297, -0.0270843505859375, -0.02533435821533203, -0.023584365844726562, -0.021834373474121094, -0.020084381103515625, -0.018334388732910156, -0.016584396362304688, -0.014834403991699219, -0.01308441162109375, -0.011334419250488281, -0.009584426879882812, -0.007834434509277344, -0.006084442138671875, -0.004334449768066406, -0.0025844573974609375, -0.0008344650268554688, 0.00091552734375, 0.0026655197143554688, 0.0044155120849609375, 0.006165504455566406, 0.007915496826171875, 0.009665489196777344, 0.011415481567382812, 0.013165473937988281, 0.01491546630859375, 0.01666545867919922, 0.018415451049804688, 0.020165443420410156, 0.021915435791015625, 0.023665428161621094, 0.025415420532226562, 0.02716541290283203, 0.0289154052734375, 0.03066539764404297, 0.03241539001464844, 0.034165382385253906, 0.035915374755859375, 0.037665367126464844, 0.03941535949707031, 0.04116535186767578, 0.04291534423828125, 0.04466533660888672, 0.04641532897949219, 0.048165321350097656, 0.049915313720703125, 0.051665306091308594, 0.05341529846191406, 0.05516529083251953, 0.056915283203125]}, "gradients/decoder.transformer.h.6.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 4.0, 3.0, 2.0, 6.0, 6.0, 11.0, 15.0, 17.0, 13.0, 15.0, 18.0, 22.0, 25.0, 34.0, 28.0, 31.0, 43.0, 42.0, 49.0, 67.0, 105.0, 228.0, 1563.0, 174.0, 104.0, 65.0, 43.0, 43.0, 44.0, 33.0, 35.0, 31.0, 34.0, 19.0, 24.0, 11.0, 8.0, 6.0, 9.0, 9.0, 6.0, 6.0, 1.0, 3.0, 6.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.09893798828125, -0.09568023681640625, -0.0924224853515625, -0.08916473388671875, -0.085906982421875, -0.08264923095703125, -0.0793914794921875, -0.07613372802734375, -0.0728759765625, -0.06961822509765625, -0.0663604736328125, -0.06310272216796875, -0.059844970703125, -0.05658721923828125, -0.0533294677734375, -0.05007171630859375, -0.04681396484375, -0.04355621337890625, -0.0402984619140625, -0.03704071044921875, -0.033782958984375, -0.03052520751953125, -0.0272674560546875, -0.02400970458984375, -0.020751953125, -0.01749420166015625, -0.0142364501953125, -0.01097869873046875, -0.007720947265625, -0.00446319580078125, -0.0012054443359375, 0.00205230712890625, 0.00531005859375, 0.00856781005859375, 0.0118255615234375, 0.01508331298828125, 0.018341064453125, 0.02159881591796875, 0.0248565673828125, 0.02811431884765625, 0.0313720703125, 0.03462982177734375, 0.0378875732421875, 0.04114532470703125, 0.044403076171875, 0.04766082763671875, 0.0509185791015625, 0.05417633056640625, 0.05743408203125, 0.06069183349609375, 0.0639495849609375, 0.06720733642578125, 0.070465087890625, 0.07372283935546875, 0.0769805908203125, 0.08023834228515625, 0.08349609375, 0.08675384521484375, 0.0900115966796875, 0.09326934814453125, 0.096527099609375, 0.09978485107421875, 0.1030426025390625, 0.10630035400390625, 0.10955810546875]}, "gradients/decoder.transformer.h.6.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 2.0, 6.0, 3.0, 7.0, 5.0, 4.0, 10.0, 14.0, 21.0, 34.0, 59.0, 65.0, 108.0, 221.0, 469.0, 1328.0, 5262.0, 24852.0, 242267.0, 2762591.0, 89296.0, 14189.0, 3154.0, 916.0, 365.0, 149.0, 117.0, 67.0, 35.0, 30.0, 14.0, 18.0, 12.0, 5.0, 4.0, 6.0, 5.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1558837890625, -0.15038108825683594, -0.14487838745117188, -0.1393756866455078, -0.13387298583984375, -0.1283702850341797, -0.12286758422851562, -0.11736488342285156, -0.1118621826171875, -0.10635948181152344, -0.10085678100585938, -0.09535408020019531, -0.08985137939453125, -0.08434867858886719, -0.07884597778320312, -0.07334327697753906, -0.067840576171875, -0.06233787536621094, -0.056835174560546875, -0.05133247375488281, -0.04582977294921875, -0.04032707214355469, -0.034824371337890625, -0.029321670532226562, -0.0238189697265625, -0.018316268920898438, -0.012813568115234375, -0.0073108673095703125, -0.00180816650390625, 0.0036945343017578125, 0.009197235107421875, 0.014699935913085938, 0.02020263671875, 0.025705337524414062, 0.031208038330078125, 0.03671073913574219, 0.04221343994140625, 0.04771614074707031, 0.053218841552734375, 0.05872154235839844, 0.0642242431640625, 0.06972694396972656, 0.07522964477539062, 0.08073234558105469, 0.08623504638671875, 0.09173774719238281, 0.09724044799804688, 0.10274314880371094, 0.108245849609375, 0.11374855041503906, 0.11925125122070312, 0.12475395202636719, 0.13025665283203125, 0.1357593536376953, 0.14126205444335938, 0.14676475524902344, 0.1522674560546875, 0.15777015686035156, 0.16327285766601562, 0.1687755584716797, 0.17427825927734375, 0.1797809600830078, 0.18528366088867188, 0.19078636169433594, 0.1962890625]}, "gradients/decoder.transformer.h.6.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 11.0, 26.0, 66.0, 165.0, 245.0, 258.0, 135.0, 74.0, 25.0, 7.0, 2.0, 2.0], "bins": [-0.7914113402366638, -0.777515709400177, -0.7636200189590454, -0.7497243881225586, -0.735828697681427, -0.7219330668449402, -0.7080373764038086, -0.6941417455673218, -0.6802460551261902, -0.6663504242897034, -0.6524547338485718, -0.638559103012085, -0.6246634125709534, -0.6107677817344666, -0.596872091293335, -0.5829764604568481, -0.5690807700157166, -0.5551851391792297, -0.5412894487380981, -0.5273938179016113, -0.5134981274604797, -0.49960246682167053, -0.48570680618286133, -0.4718111455440521, -0.4579155147075653, -0.4440198540687561, -0.4301241934299469, -0.4162285327911377, -0.4023328721523285, -0.3884372115135193, -0.3745415508747101, -0.3606458902359009, -0.3467502295970917, -0.33285456895828247, -0.31895890831947327, -0.30506324768066406, -0.29116758704185486, -0.27727192640304565, -0.26337626576423645, -0.24948060512542725, -0.23558494448661804, -0.22168928384780884, -0.20779362320899963, -0.19389796257019043, -0.18000230193138123, -0.16610664129257202, -0.15221098065376282, -0.1383153200149536, -0.1244196742773056, -0.1105240136384964, -0.0966283529996872, -0.08273269236087799, -0.06883703172206879, -0.05494137853384018, -0.041045717895030975, -0.02715005725622177, -0.013254396617412567, 0.0006412630900740623, 0.014536922797560692, 0.028432581573724747, 0.04232824221253395, 0.056223899126052856, 0.07011955976486206, 0.08401522040367126, 0.09791088104248047]}, "gradients/decoder.transformer.h.6.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 1.0, 5.0, 4.0, 9.0, 7.0, 9.0, 10.0, 5.0, 18.0, 16.0, 16.0, 15.0, 19.0, 26.0, 32.0, 32.0, 30.0, 37.0, 41.0, 27.0, 40.0, 32.0, 43.0, 45.0, 41.0, 40.0, 35.0, 36.0, 32.0, 37.0, 28.0, 29.0, 32.0, 17.0, 26.0, 19.0, 19.0, 14.0, 20.0, 13.0, 10.0, 2.0, 12.0, 5.0, 4.0, 5.0, 2.0, 4.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.2505345940589905, -0.24229933321475983, -0.23406407237052917, -0.22582881152629852, -0.21759355068206787, -0.20935828983783722, -0.20112302899360657, -0.19288775324821472, -0.18465250730514526, -0.1764172464609146, -0.16818198561668396, -0.1599467247724533, -0.15171146392822266, -0.143476203083992, -0.13524094223976135, -0.1270056664943695, -0.11877040565013885, -0.1105351448059082, -0.10229988396167755, -0.0940646231174469, -0.08582936227321625, -0.0775941014289856, -0.06935883313417435, -0.061123572289943695, -0.05288831144571304, -0.04465305060148239, -0.03641778975725174, -0.02818252518773079, -0.019947264343500137, -0.011712003499269485, -0.003476738929748535, 0.004758521914482117, 0.012993782758712769, 0.02122904360294342, 0.02946430630981922, 0.03769956901669502, 0.045934829860925674, 0.054170090705156326, 0.06240535527467728, 0.07064061611890793, 0.07887587696313858, 0.08711113780736923, 0.09534639865159988, 0.10358166694641113, 0.11181692779064178, 0.12005218863487244, 0.1282874494791031, 0.13652271032333374, 0.1447579711675644, 0.15299323201179504, 0.1612284928560257, 0.16946375370025635, 0.177699014544487, 0.18593427538871765, 0.1941695511341095, 0.20240479707717896, 0.2106400728225708, 0.21887533366680145, 0.2271105945110321, 0.23534585535526276, 0.2435811161994934, 0.25181639194488525, 0.2600516378879547, 0.26828691363334656, 0.276522159576416]}, "gradients/decoder.transformer.h.5.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 1.0, 2.0, 2.0, 3.0, 4.0, 4.0, 9.0, 6.0, 4.0, 5.0, 16.0, 12.0, 12.0, 17.0, 25.0, 29.0, 27.0, 34.0, 27.0, 36.0, 34.0, 39.0, 34.0, 43.0, 44.0, 40.0, 56.0, 47.0, 41.0, 36.0, 32.0, 44.0, 31.0, 31.0, 22.0, 31.0, 32.0, 16.0, 16.0, 10.0, 16.0, 10.0, 6.0, 7.0, 6.0, 5.0, 2.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.036712646484375, -0.0355839729309082, -0.034455299377441406, -0.03332662582397461, -0.03219795227050781, -0.031069278717041016, -0.02994060516357422, -0.028811931610107422, -0.027683258056640625, -0.026554584503173828, -0.02542591094970703, -0.024297237396240234, -0.023168563842773438, -0.02203989028930664, -0.020911216735839844, -0.019782543182373047, -0.01865386962890625, -0.017525196075439453, -0.016396522521972656, -0.01526784896850586, -0.014139175415039062, -0.013010501861572266, -0.011881828308105469, -0.010753154754638672, -0.009624481201171875, -0.008495807647705078, -0.007367134094238281, -0.006238460540771484, -0.0051097869873046875, -0.003981113433837891, -0.0028524398803710938, -0.0017237663269042969, -0.0005950927734375, 0.0005335807800292969, 0.0016622543334960938, 0.0027909278869628906, 0.0039196014404296875, 0.005048274993896484, 0.006176948547363281, 0.007305622100830078, 0.008434295654296875, 0.009562969207763672, 0.010691642761230469, 0.011820316314697266, 0.012948989868164062, 0.01407766342163086, 0.015206336975097656, 0.016335010528564453, 0.01746368408203125, 0.018592357635498047, 0.019721031188964844, 0.02084970474243164, 0.021978378295898438, 0.023107051849365234, 0.02423572540283203, 0.025364398956298828, 0.026493072509765625, 0.027621746063232422, 0.02875041961669922, 0.029879093170166016, 0.031007766723632812, 0.03213644027709961, 0.033265113830566406, 0.0343937873840332, 0.0355224609375]}, "gradients/decoder.transformer.h.5.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 4.0, 5.0, 4.0, 3.0, 7.0, 12.0, 8.0, 16.0, 23.0, 30.0, 44.0, 71.0, 89.0, 170.0, 250.0, 507.0, 882.0, 1756.0, 3536.0, 7272.0, 15881.0, 38001.0, 100763.0, 344668.0, 1580549.0, 1581923.0, 347964.0, 101259.0, 37727.0, 16166.0, 7301.0, 3483.0, 1762.0, 904.0, 516.0, 271.0, 136.0, 105.0, 63.0, 45.0, 37.0, 16.0, 20.0, 13.0, 8.0, 6.0, 5.0, 7.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.0577392578125, -0.05581474304199219, -0.053890228271484375, -0.05196571350097656, -0.05004119873046875, -0.04811668395996094, -0.046192169189453125, -0.04426765441894531, -0.0423431396484375, -0.04041862487792969, -0.038494110107421875, -0.03656959533691406, -0.03464508056640625, -0.03272056579589844, -0.030796051025390625, -0.028871536254882812, -0.026947021484375, -0.025022506713867188, -0.023097991943359375, -0.021173477172851562, -0.01924896240234375, -0.017324447631835938, -0.015399932861328125, -0.013475418090820312, -0.0115509033203125, -0.009626388549804688, -0.007701873779296875, -0.0057773590087890625, -0.00385284423828125, -0.0019283294677734375, -3.814697265625e-06, 0.0019207000732421875, 0.00384521484375, 0.0057697296142578125, 0.007694244384765625, 0.009618759155273438, 0.01154327392578125, 0.013467788696289062, 0.015392303466796875, 0.017316818237304688, 0.0192413330078125, 0.021165847778320312, 0.023090362548828125, 0.025014877319335938, 0.02693939208984375, 0.028863906860351562, 0.030788421630859375, 0.03271293640136719, 0.034637451171875, 0.03656196594238281, 0.038486480712890625, 0.04041099548339844, 0.04233551025390625, 0.04426002502441406, 0.046184539794921875, 0.04810905456542969, 0.0500335693359375, 0.05195808410644531, 0.053882598876953125, 0.05580711364746094, 0.05773162841796875, 0.05965614318847656, 0.061580657958984375, 0.06350517272949219, 0.0654296875]}, "gradients/decoder.transformer.h.5.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 0.0, 1.0, 3.0, 0.0, 4.0, 2.0, 6.0, 15.0, 12.0, 7.0, 20.0, 18.0, 28.0, 28.0, 37.0, 47.0, 57.0, 89.0, 111.0, 135.0, 195.0, 224.0, 339.0, 418.0, 426.0, 429.0, 345.0, 256.0, 191.0, 146.0, 125.0, 83.0, 74.0, 55.0, 41.0, 25.0, 20.0, 17.0, 13.0, 11.0, 8.0, 7.0, 7.0, 3.0, 4.0, 4.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0711669921875, -0.06927251815795898, -0.06737804412841797, -0.06548357009887695, -0.06358909606933594, -0.06169462203979492, -0.059800148010253906, -0.05790567398071289, -0.056011199951171875, -0.05411672592163086, -0.052222251892089844, -0.05032777786254883, -0.04843330383300781, -0.0465388298034668, -0.04464435577392578, -0.042749881744384766, -0.04085540771484375, -0.038960933685302734, -0.03706645965576172, -0.0351719856262207, -0.03327751159667969, -0.03138303756713867, -0.029488563537597656, -0.02759408950805664, -0.025699615478515625, -0.02380514144897461, -0.021910667419433594, -0.020016193389892578, -0.018121719360351562, -0.016227245330810547, -0.014332771301269531, -0.012438297271728516, -0.0105438232421875, -0.008649349212646484, -0.006754875183105469, -0.004860401153564453, -0.0029659271240234375, -0.0010714530944824219, 0.0008230209350585938, 0.0027174949645996094, 0.004611968994140625, 0.006506443023681641, 0.008400917053222656, 0.010295391082763672, 0.012189865112304688, 0.014084339141845703, 0.01597881317138672, 0.017873287200927734, 0.01976776123046875, 0.021662235260009766, 0.02355670928955078, 0.025451183319091797, 0.027345657348632812, 0.029240131378173828, 0.031134605407714844, 0.03302907943725586, 0.034923553466796875, 0.03681802749633789, 0.038712501525878906, 0.04060697555541992, 0.04250144958496094, 0.04439592361450195, 0.04629039764404297, 0.048184871673583984, 0.050079345703125]}, "gradients/decoder.transformer.h.5.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 6.0, 6.0, 10.0, 16.0, 21.0, 29.0, 26.0, 33.0, 58.0, 77.0, 149.0, 194.0, 372.0, 670.0, 1589.0, 4717.0, 18325.0, 94142.0, 801595.0, 2897663.0, 311235.0, 47388.0, 10366.0, 3106.0, 1118.0, 548.0, 268.0, 166.0, 111.0, 66.0, 54.0, 46.0, 32.0, 21.0, 23.0, 15.0, 6.0, 3.0, 6.0, 4.0, 5.0, 1.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.12005615234375, -0.11565876007080078, -0.11126136779785156, -0.10686397552490234, -0.10246658325195312, -0.0980691909790039, -0.09367179870605469, -0.08927440643310547, -0.08487701416015625, -0.08047962188720703, -0.07608222961425781, -0.0716848373413086, -0.06728744506835938, -0.06289005279541016, -0.05849266052246094, -0.05409526824951172, -0.0496978759765625, -0.04530048370361328, -0.04090309143066406, -0.036505699157714844, -0.032108306884765625, -0.027710914611816406, -0.023313522338867188, -0.01891613006591797, -0.01451873779296875, -0.010121345520019531, -0.0057239532470703125, -0.0013265609741210938, 0.003070831298828125, 0.007468223571777344, 0.011865615844726562, 0.01626300811767578, 0.020660400390625, 0.02505779266357422, 0.029455184936523438, 0.033852577209472656, 0.038249969482421875, 0.042647361755371094, 0.04704475402832031, 0.05144214630126953, 0.05583953857421875, 0.06023693084716797, 0.06463432312011719, 0.0690317153930664, 0.07342910766601562, 0.07782649993896484, 0.08222389221191406, 0.08662128448486328, 0.0910186767578125, 0.09541606903076172, 0.09981346130371094, 0.10421085357666016, 0.10860824584960938, 0.1130056381225586, 0.11740303039550781, 0.12180042266845703, 0.12619781494140625, 0.13059520721435547, 0.1349925994873047, 0.1393899917602539, 0.14378738403320312, 0.14818477630615234, 0.15258216857910156, 0.15697956085205078, 0.161376953125]}, "gradients/decoder.transformer.h.5.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 5.0, 38.0, 108.0, 260.0, 323.0, 202.0, 65.0, 13.0, 5.0], "bins": [-1.9023241996765137, -1.8702081441879272, -1.8380922079086304, -1.805976152420044, -1.7738600969314575, -1.741744041442871, -1.7096281051635742, -1.6775120496749878, -1.6453959941864014, -1.613279938697815, -1.581164002418518, -1.5490479469299316, -1.5169318914413452, -1.4848158359527588, -1.452699899673462, -1.4205838441848755, -1.388467788696289, -1.3563517332077026, -1.3242357969284058, -1.2921197414398193, -1.260003685951233, -1.2278876304626465, -1.1957716941833496, -1.1636556386947632, -1.1315397024154663, -1.0994236469268799, -1.067307710647583, -1.0351916551589966, -1.0030755996704102, -0.9709596037864685, -0.9388436079025269, -0.9067275524139404, -0.8746116161346436, -0.8424956202507019, -0.8103795647621155, -0.7782635688781738, -0.7461475133895874, -0.7140315175056458, -0.6819155216217041, -0.6497994661331177, -0.6176834106445312, -0.5855674147605896, -0.5534513592720032, -0.5213353633880615, -0.4892193078994751, -0.45710331201553345, -0.4249872863292694, -0.39287126064300537, -0.36075523495674133, -0.3286392092704773, -0.29652318358421326, -0.2644071578979492, -0.23229114711284637, -0.20017512142658234, -0.1680591106414795, -0.13594308495521545, -0.10382705926895142, -0.07171103358268738, -0.03959501534700394, -0.007478997111320496, 0.024637028574943542, 0.05675305426120758, 0.08886906504631042, 0.12098509073257446, 0.1531011164188385]}, "gradients/decoder.transformer.h.5.ln_2.bias": {"_type": "histogram", "values": [2.0, 5.0, 1.0, 2.0, 1.0, 4.0, 6.0, 0.0, 6.0, 3.0, 10.0, 6.0, 5.0, 12.0, 15.0, 20.0, 18.0, 13.0, 26.0, 22.0, 30.0, 34.0, 26.0, 33.0, 39.0, 29.0, 30.0, 29.0, 30.0, 44.0, 37.0, 39.0, 40.0, 42.0, 31.0, 23.0, 20.0, 23.0, 33.0, 28.0, 25.0, 30.0, 22.0, 20.0, 16.0, 15.0, 10.0, 19.0, 7.0, 5.0, 10.0, 5.0, 4.0, 5.0, 3.0, 0.0, 2.0, 5.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.2044556736946106, -0.19774074852466583, -0.19102580845355988, -0.1843108832836151, -0.17759594321250916, -0.1708810180425644, -0.16416609287261963, -0.15745115280151367, -0.15073621273040771, -0.14402128756046295, -0.137306347489357, -0.13059142231941223, -0.12387648224830627, -0.11716155707836151, -0.11044662445783615, -0.10373169183731079, -0.09701676666736603, -0.09030183404684067, -0.08358690142631531, -0.07687197625637054, -0.07015703618526459, -0.06344211101531982, -0.056727178394794464, -0.050012245774269104, -0.043297313153743744, -0.036582380533218384, -0.029867449775338173, -0.023152519017457962, -0.016437586396932602, -0.009722653776407242, -0.00300772488117218, 0.00370720773935318, 0.01042214035987854, 0.0171370729804039, 0.02385200373828411, 0.030566934496164322, 0.03728186711668968, 0.04399679973721504, 0.050711728632450104, 0.057426661252975464, 0.06414159387350082, 0.07085652649402618, 0.07757145911455154, 0.0842863917350769, 0.09100131690502167, 0.09771625697612762, 0.10443118214607239, 0.11114611476659775, 0.11786104738712311, 0.12457598000764847, 0.13129091262817383, 0.1380058377981186, 0.14472077786922455, 0.1514357030391693, 0.15815064311027527, 0.16486556828022003, 0.1715804934501648, 0.17829541862010956, 0.18501035869121552, 0.19172528386116028, 0.19844022393226624, 0.205155149102211, 0.21187007427215576, 0.21858501434326172, 0.22529995441436768]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 1.0, 2.0, 2.0, 1.0, 4.0, 4.0, 6.0, 8.0, 15.0, 9.0, 17.0, 15.0, 18.0, 23.0, 36.0, 28.0, 26.0, 34.0, 26.0, 38.0, 43.0, 42.0, 44.0, 36.0, 47.0, 42.0, 50.0, 41.0, 32.0, 52.0, 35.0, 30.0, 35.0, 25.0, 20.0, 28.0, 20.0, 15.0, 11.0, 9.0, 6.0, 6.0, 8.0, 4.0, 3.0, 2.0, 4.0, 5.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.038421630859375, -0.037227630615234375, -0.03603363037109375, -0.034839630126953125, -0.0336456298828125, -0.032451629638671875, -0.03125762939453125, -0.030063629150390625, -0.02886962890625, -0.027675628662109375, -0.02648162841796875, -0.025287628173828125, -0.0240936279296875, -0.022899627685546875, -0.02170562744140625, -0.020511627197265625, -0.019317626953125, -0.018123626708984375, -0.01692962646484375, -0.015735626220703125, -0.0145416259765625, -0.013347625732421875, -0.01215362548828125, -0.010959625244140625, -0.009765625, -0.008571624755859375, -0.00737762451171875, -0.006183624267578125, -0.0049896240234375, -0.003795623779296875, -0.00260162353515625, -0.001407623291015625, -0.000213623046875, 0.000980377197265625, 0.00217437744140625, 0.003368377685546875, 0.0045623779296875, 0.005756378173828125, 0.00695037841796875, 0.008144378662109375, 0.00933837890625, 0.010532379150390625, 0.01172637939453125, 0.012920379638671875, 0.0141143798828125, 0.015308380126953125, 0.01650238037109375, 0.017696380615234375, 0.018890380859375, 0.020084381103515625, 0.02127838134765625, 0.022472381591796875, 0.0236663818359375, 0.024860382080078125, 0.02605438232421875, 0.027248382568359375, 0.0284423828125, 0.029636383056640625, 0.03083038330078125, 0.032024383544921875, 0.0332183837890625, 0.034412384033203125, 0.03560638427734375, 0.036800384521484375, 0.037994384765625]}, "gradients/decoder.transformer.h.5.crossattention.c_proj.weight": {"_type": "histogram", "values": [3.0, 2.0, 1.0, 4.0, 5.0, 10.0, 6.0, 14.0, 23.0, 20.0, 30.0, 42.0, 59.0, 74.0, 115.0, 168.0, 250.0, 337.0, 507.0, 710.0, 971.0, 1532.0, 2155.0, 3287.0, 4833.0, 7521.0, 11790.0, 18343.0, 29747.0, 49866.0, 91193.0, 211940.0, 340403.0, 115742.0, 60594.0, 35193.0, 21619.0, 13606.0, 8682.0, 5630.0, 3655.0, 2473.0, 1678.0, 1162.0, 772.0, 542.0, 377.0, 257.0, 180.0, 128.0, 100.0, 64.0, 41.0, 32.0, 32.0, 24.0, 10.0, 4.0, 6.0, 3.0, 5.0, 1.0, 1.0, 2.0], "bins": [-0.0001957416534423828, -0.00018965639173984528, -0.00018357113003730774, -0.0001774858683347702, -0.00017140060663223267, -0.00016531534492969513, -0.0001592300832271576, -0.00015314482152462006, -0.00014705955982208252, -0.00014097429811954498, -0.00013488903641700745, -0.0001288037747144699, -0.00012271851301193237, -0.00011663325130939484, -0.0001105479896068573, -0.00010446272790431976, -9.837746620178223e-05, -9.229220449924469e-05, -8.620694279670715e-05, -8.012168109416962e-05, -7.403641939163208e-05, -6.795115768909454e-05, -6.186589598655701e-05, -5.578063428401947e-05, -4.9695372581481934e-05, -4.36101108789444e-05, -3.752484917640686e-05, -3.1439587473869324e-05, -2.5354325771331787e-05, -1.926906406879425e-05, -1.3183802366256714e-05, -7.098540663719177e-06, -1.0132789611816406e-06, 5.071982741355896e-06, 1.1157244443893433e-05, 1.724250614643097e-05, 2.3327767848968506e-05, 2.9413029551506042e-05, 3.549829125404358e-05, 4.1583552956581116e-05, 4.766881465911865e-05, 5.375407636165619e-05, 5.9839338064193726e-05, 6.592459976673126e-05, 7.20098614692688e-05, 7.809512317180634e-05, 8.418038487434387e-05, 9.026564657688141e-05, 9.635090827941895e-05, 0.00010243616998195648, 0.00010852143168449402, 0.00011460669338703156, 0.00012069195508956909, 0.00012677721679210663, 0.00013286247849464417, 0.0001389477401971817, 0.00014503300189971924, 0.00015111826360225677, 0.0001572035253047943, 0.00016328878700733185, 0.00016937404870986938, 0.00017545931041240692, 0.00018154457211494446, 0.000187629833817482, 0.00019371509552001953]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 6.0, 10.0, 6.0, 5.0, 11.0, 12.0, 13.0, 15.0, 16.0, 21.0, 23.0, 11.0, 19.0, 37.0, 25.0, 28.0, 34.0, 26.0, 36.0, 37.0, 40.0, 39.0, 47.0, 1062.0, 36.0, 35.0, 44.0, 27.0, 33.0, 30.0, 28.0, 28.0, 36.0, 21.0, 10.0, 18.0, 17.0, 14.0, 21.0, 9.0, 7.0, 13.0, 5.0, 5.0, 4.0, 2.0, 2.0, 2.0, 3.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0], "bins": [-0.0350341796875, -0.03394889831542969, -0.032863616943359375, -0.03177833557128906, -0.03069305419921875, -0.029607772827148438, -0.028522491455078125, -0.027437210083007812, -0.0263519287109375, -0.025266647338867188, -0.024181365966796875, -0.023096084594726562, -0.02201080322265625, -0.020925521850585938, -0.019840240478515625, -0.018754959106445312, -0.017669677734375, -0.016584396362304688, -0.015499114990234375, -0.014413833618164062, -0.01332855224609375, -0.012243270874023438, -0.011157989501953125, -0.010072708129882812, -0.0089874267578125, -0.007902145385742188, -0.006816864013671875, -0.0057315826416015625, -0.00464630126953125, -0.0035610198974609375, -0.002475738525390625, -0.0013904571533203125, -0.00030517578125, 0.0007801055908203125, 0.001865386962890625, 0.0029506683349609375, 0.00403594970703125, 0.0051212310791015625, 0.006206512451171875, 0.0072917938232421875, 0.0083770751953125, 0.009462356567382812, 0.010547637939453125, 0.011632919311523438, 0.01271820068359375, 0.013803482055664062, 0.014888763427734375, 0.015974044799804688, 0.017059326171875, 0.018144607543945312, 0.019229888916015625, 0.020315170288085938, 0.02140045166015625, 0.022485733032226562, 0.023571014404296875, 0.024656295776367188, 0.0257415771484375, 0.026826858520507812, 0.027912139892578125, 0.028997421264648438, 0.03008270263671875, 0.031167984008789062, 0.032253265380859375, 0.03333854675292969, 0.034423828125]}, "gradients/decoder.transformer.h.5.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 3.0, 1.0, 1.0, 3.0, 2.0, 2.0, 2.0, 1.0, 4.0, 6.0, 3.0, 13.0, 9.0, 7.0, 18.0, 17.0, 15.0, 20.0, 9.0, 21.0, 36.0, 25.0, 34.0, 33.0, 45.0, 86.0, 267.0, 796.0, 4302.0, 2043653.0, 43636.0, 2886.0, 575.0, 184.0, 88.0, 43.0, 29.0, 35.0, 25.0, 32.0, 22.0, 16.0, 18.0, 25.0, 18.0, 13.0, 13.0, 7.0, 14.0, 5.0, 8.0, 8.0, 6.0, 2.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-3.826618194580078e-05, -3.706570714712143e-05, -3.586523234844208e-05, -3.4664757549762726e-05, -3.3464282751083374e-05, -3.226380795240402e-05, -3.106333315372467e-05, -2.986285835504532e-05, -2.8662383556365967e-05, -2.7461908757686615e-05, -2.6261433959007263e-05, -2.506095916032791e-05, -2.386048436164856e-05, -2.2660009562969208e-05, -2.1459534764289856e-05, -2.0259059965610504e-05, -1.9058585166931152e-05, -1.78581103682518e-05, -1.665763556957245e-05, -1.5457160770893097e-05, -1.4256685972213745e-05, -1.3056211173534393e-05, -1.1855736374855042e-05, -1.065526157617569e-05, -9.454786777496338e-06, -8.254311978816986e-06, -7.053837180137634e-06, -5.8533623814582825e-06, -4.652887582778931e-06, -3.452412784099579e-06, -2.251937985420227e-06, -1.0514631867408752e-06, 1.4901161193847656e-07, 1.3494864106178284e-06, 2.54996120929718e-06, 3.750436007976532e-06, 4.950910806655884e-06, 6.151385605335236e-06, 7.351860404014587e-06, 8.55233520269394e-06, 9.752810001373291e-06, 1.0953284800052643e-05, 1.2153759598731995e-05, 1.3354234397411346e-05, 1.4554709196090698e-05, 1.575518399477005e-05, 1.6955658793449402e-05, 1.8156133592128754e-05, 1.9356608390808105e-05, 2.0557083189487457e-05, 2.175755798816681e-05, 2.295803278684616e-05, 2.4158507585525513e-05, 2.5358982384204865e-05, 2.6559457182884216e-05, 2.7759931981563568e-05, 2.896040678024292e-05, 3.0160881578922272e-05, 3.1361356377601624e-05, 3.2561831176280975e-05, 3.376230597496033e-05, 3.496278077363968e-05, 3.616325557231903e-05, 3.736373037099838e-05, 3.8564205169677734e-05]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.5.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 1.0, 2.0, 2.0, 1.0, 4.0, 4.0, 6.0, 8.0, 15.0, 9.0, 17.0, 15.0, 18.0, 23.0, 36.0, 28.0, 26.0, 34.0, 26.0, 38.0, 43.0, 42.0, 44.0, 36.0, 47.0, 42.0, 50.0, 41.0, 32.0, 52.0, 35.0, 30.0, 35.0, 25.0, 20.0, 28.0, 20.0, 15.0, 11.0, 9.0, 6.0, 6.0, 8.0, 4.0, 3.0, 2.0, 4.0, 5.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.038421630859375, -0.037227630615234375, -0.03603363037109375, -0.034839630126953125, -0.0336456298828125, -0.032451629638671875, -0.03125762939453125, -0.030063629150390625, -0.02886962890625, -0.027675628662109375, -0.02648162841796875, -0.025287628173828125, -0.0240936279296875, -0.022899627685546875, -0.02170562744140625, -0.020511627197265625, -0.019317626953125, -0.018123626708984375, -0.01692962646484375, -0.015735626220703125, -0.0145416259765625, -0.013347625732421875, -0.01215362548828125, -0.010959625244140625, -0.009765625, -0.008571624755859375, -0.00737762451171875, -0.006183624267578125, -0.0049896240234375, -0.003795623779296875, -0.00260162353515625, -0.001407623291015625, -0.000213623046875, 0.000980377197265625, 0.00217437744140625, 0.003368377685546875, 0.0045623779296875, 0.005756378173828125, 0.00695037841796875, 0.008144378662109375, 0.00933837890625, 0.010532379150390625, 0.01172637939453125, 0.012920379638671875, 0.0141143798828125, 0.015308380126953125, 0.01650238037109375, 0.017696380615234375, 0.018890380859375, 0.020084381103515625, 0.02127838134765625, 0.022472381591796875, 0.0236663818359375, 0.024860382080078125, 0.02605438232421875, 0.027248382568359375, 0.0284423828125, 0.029636383056640625, 0.03083038330078125, 0.032024383544921875, 0.0332183837890625, 0.034412384033203125, 0.03560638427734375, 0.036800384521484375, 0.037994384765625]}, "gradients/decoder.transformer.h.5.attn.c_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 5.0, 2.0, 4.0, 7.0, 5.0, 16.0, 9.0, 28.0, 22.0, 44.0, 62.0, 99.0, 150.0, 229.0, 349.0, 575.0, 939.0, 1495.0, 2520.0, 4332.0, 7699.0, 13109.0, 23220.0, 40858.0, 71413.0, 132516.0, 270742.0, 224702.0, 110727.0, 60467.0, 34864.0, 19832.0, 11484.0, 6651.0, 3761.0, 2214.0, 1253.0, 765.0, 520.0, 297.0, 196.0, 120.0, 76.0, 61.0, 35.0, 39.0, 11.0, 11.0, 11.0, 11.0, 5.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.051055908203125, -0.049286842346191406, -0.04751777648925781, -0.04574871063232422, -0.043979644775390625, -0.04221057891845703, -0.04044151306152344, -0.038672447204589844, -0.03690338134765625, -0.035134315490722656, -0.03336524963378906, -0.03159618377685547, -0.029827117919921875, -0.02805805206298828, -0.026288986206054688, -0.024519920349121094, -0.0227508544921875, -0.020981788635253906, -0.019212722778320312, -0.01744365692138672, -0.015674591064453125, -0.013905525207519531, -0.012136459350585938, -0.010367393493652344, -0.00859832763671875, -0.006829261779785156, -0.0050601959228515625, -0.0032911300659179688, -0.001522064208984375, 0.00024700164794921875, 0.0020160675048828125, 0.0037851333618164062, 0.00555419921875, 0.007323265075683594, 0.009092330932617188, 0.010861396789550781, 0.012630462646484375, 0.014399528503417969, 0.016168594360351562, 0.017937660217285156, 0.01970672607421875, 0.021475791931152344, 0.023244857788085938, 0.02501392364501953, 0.026782989501953125, 0.02855205535888672, 0.030321121215820312, 0.032090187072753906, 0.0338592529296875, 0.035628318786621094, 0.03739738464355469, 0.03916645050048828, 0.040935516357421875, 0.04270458221435547, 0.04447364807128906, 0.046242713928222656, 0.04801177978515625, 0.049780845642089844, 0.05154991149902344, 0.05331897735595703, 0.055088043212890625, 0.05685710906982422, 0.05862617492675781, 0.060395240783691406, 0.062164306640625]}, "gradients/decoder.transformer.h.5.attn.c_attn.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 2.0, 3.0, 1.0, 2.0, 5.0, 7.0, 13.0, 8.0, 16.0, 11.0, 16.0, 16.0, 23.0, 22.0, 34.0, 38.0, 43.0, 42.0, 57.0, 55.0, 107.0, 156.0, 254.0, 1343.0, 202.0, 104.0, 77.0, 73.0, 56.0, 37.0, 48.0, 32.0, 28.0, 25.0, 14.0, 13.0, 17.0, 15.0, 10.0, 7.0, 7.0, 11.0, 2.0, 3.0, 4.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09075927734375, -0.08730792999267578, -0.08385658264160156, -0.08040523529052734, -0.07695388793945312, -0.0735025405883789, -0.07005119323730469, -0.06659984588623047, -0.06314849853515625, -0.05969715118408203, -0.05624580383300781, -0.052794456481933594, -0.049343109130859375, -0.045891761779785156, -0.04244041442871094, -0.03898906707763672, -0.0355377197265625, -0.03208637237548828, -0.028635025024414062, -0.025183677673339844, -0.021732330322265625, -0.018280982971191406, -0.014829635620117188, -0.011378288269042969, -0.00792694091796875, -0.004475593566894531, -0.0010242462158203125, 0.0024271011352539062, 0.005878448486328125, 0.009329795837402344, 0.012781143188476562, 0.01623249053955078, 0.019683837890625, 0.02313518524169922, 0.026586532592773438, 0.030037879943847656, 0.033489227294921875, 0.036940574645996094, 0.04039192199707031, 0.04384326934814453, 0.04729461669921875, 0.05074596405029297, 0.05419731140136719, 0.057648658752441406, 0.061100006103515625, 0.06455135345458984, 0.06800270080566406, 0.07145404815673828, 0.0749053955078125, 0.07835674285888672, 0.08180809020996094, 0.08525943756103516, 0.08871078491210938, 0.0921621322631836, 0.09561347961425781, 0.09906482696533203, 0.10251617431640625, 0.10596752166748047, 0.10941886901855469, 0.1128702163696289, 0.11632156372070312, 0.11977291107177734, 0.12322425842285156, 0.12667560577392578, 0.130126953125]}, "gradients/decoder.transformer.h.5.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 4.0, 2.0, 3.0, 5.0, 7.0, 9.0, 9.0, 8.0, 18.0, 11.0, 34.0, 34.0, 62.0, 99.0, 106.0, 174.0, 332.0, 646.0, 1312.0, 3743.0, 11696.0, 41985.0, 176250.0, 1538460.0, 1165451.0, 151710.0, 37104.0, 10524.0, 3163.0, 1243.0, 563.0, 315.0, 200.0, 136.0, 82.0, 56.0, 48.0, 31.0, 19.0, 17.0, 15.0, 10.0, 4.0, 5.0, 2.0, 2.0, 4.0, 2.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.10040283203125, -0.09705066680908203, -0.09369850158691406, -0.0903463363647461, -0.08699417114257812, -0.08364200592041016, -0.08028984069824219, -0.07693767547607422, -0.07358551025390625, -0.07023334503173828, -0.06688117980957031, -0.06352901458740234, -0.060176849365234375, -0.056824684143066406, -0.05347251892089844, -0.05012035369873047, -0.0467681884765625, -0.04341602325439453, -0.04006385803222656, -0.036711692810058594, -0.033359527587890625, -0.030007362365722656, -0.026655197143554688, -0.02330303192138672, -0.01995086669921875, -0.01659870147705078, -0.013246536254882812, -0.009894371032714844, -0.006542205810546875, -0.0031900405883789062, 0.0001621246337890625, 0.0035142898559570312, 0.006866455078125, 0.010218620300292969, 0.013570785522460938, 0.016922950744628906, 0.020275115966796875, 0.023627281188964844, 0.026979446411132812, 0.03033161163330078, 0.03368377685546875, 0.03703594207763672, 0.04038810729980469, 0.043740272521972656, 0.047092437744140625, 0.050444602966308594, 0.05379676818847656, 0.05714893341064453, 0.0605010986328125, 0.06385326385498047, 0.06720542907714844, 0.0705575942993164, 0.07390975952148438, 0.07726192474365234, 0.08061408996582031, 0.08396625518798828, 0.08731842041015625, 0.09067058563232422, 0.09402275085449219, 0.09737491607666016, 0.10072708129882812, 0.1040792465209961, 0.10743141174316406, 0.11078357696533203, 0.1141357421875]}, "gradients/decoder.transformer.h.5.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 6.0, 12.0, 44.0, 63.0, 107.0, 160.0, 193.0, 179.0, 125.0, 62.0, 37.0, 16.0, 6.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2298761010169983, -0.2140704095363617, -0.1982647329568863, -0.1824590563774109, -0.1666533648967743, -0.1508476734161377, -0.1350419968366623, -0.11923631280660629, -0.10343062877655029, -0.0876249447464943, -0.0718192607164383, -0.056013576686382294, -0.040207892656326294, -0.024402208626270294, -0.008596524596214294, 0.007209159433841705, 0.023014843463897705, 0.038820527493953705, 0.054626211524009705, 0.0704318955540657, 0.0862375795841217, 0.1020432636141777, 0.1178489476442337, 0.1336546242237091, 0.1494603157043457, 0.1652660071849823, 0.1810716837644577, 0.1968773603439331, 0.2126830518245697, 0.2284887433052063, 0.2442944198846817, 0.2601000964641571, 0.2759057879447937, 0.2917114794254303, 0.3075171709060669, 0.3233228325843811, 0.3391285240650177, 0.3549342155456543, 0.3707398772239685, 0.3865455687046051, 0.4023512601852417, 0.4181569516658783, 0.4339626431465149, 0.4497683048248291, 0.4655739963054657, 0.4813796877861023, 0.4971853494644165, 0.5129910707473755, 0.5287967324256897, 0.5446023941040039, 0.5604081153869629, 0.5762137770652771, 0.5920194387435913, 0.6078251600265503, 0.6236308217048645, 0.6394365429878235, 0.6552422046661377, 0.6710478663444519, 0.6868535876274109, 0.7026592493057251, 0.7184649705886841, 0.7342706322669983, 0.7500762939453125, 0.7658820152282715, 0.7816876769065857]}, "gradients/decoder.transformer.h.5.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 1.0, 5.0, 1.0, 14.0, 8.0, 10.0, 9.0, 9.0, 15.0, 17.0, 18.0, 26.0, 35.0, 30.0, 27.0, 32.0, 33.0, 36.0, 48.0, 34.0, 38.0, 38.0, 36.0, 41.0, 45.0, 41.0, 30.0, 34.0, 43.0, 28.0, 36.0, 23.0, 21.0, 23.0, 24.0, 22.0, 12.0, 9.0, 13.0, 11.0, 8.0, 5.0, 2.0, 6.0, 3.0, 4.0, 4.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.26863813400268555, -0.2601756155490875, -0.2517130970954895, -0.24325056374073029, -0.23478803038597107, -0.22632551193237305, -0.21786299347877502, -0.209400475025177, -0.20093794167041779, -0.19247542321681976, -0.18401288986206055, -0.17555037140846252, -0.1670878529548645, -0.15862531960010529, -0.15016280114650726, -0.14170026779174805, -0.13323774933815002, -0.1247752234339714, -0.11631269752979279, -0.10785017907619476, -0.09938765317201614, -0.09092512726783752, -0.0824626088142395, -0.07400008291006088, -0.06553755700588226, -0.057075031101703644, -0.04861250892281532, -0.040149986743927, -0.03168746083974838, -0.023224934935569763, -0.014762412756681442, -0.006299890577793121, 0.002162635326385498, 0.010625159367918968, 0.01908768340945244, 0.02755020745098591, 0.03601273149251938, 0.044475257396698, 0.05293777957558632, 0.06140030175447464, 0.06986282765865326, 0.07832535356283188, 0.0867878794670105, 0.09525039792060852, 0.10371292382478714, 0.11217544972896576, 0.12063796818256378, 0.129100501537323, 0.13756301999092102, 0.14602553844451904, 0.15448807179927826, 0.16295059025287628, 0.1714131236076355, 0.17987564206123352, 0.18833816051483154, 0.19680067896842957, 0.20526321232318878, 0.2137257307767868, 0.22218826413154602, 0.23065078258514404, 0.23911330103874207, 0.24757583439350128, 0.2560383677482605, 0.2645008862018585, 0.27296340465545654]}, "gradients/decoder.transformer.h.4.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 3.0, 3.0, 0.0, 0.0, 1.0, 8.0, 4.0, 4.0, 6.0, 8.0, 8.0, 15.0, 8.0, 18.0, 27.0, 30.0, 30.0, 34.0, 30.0, 30.0, 32.0, 45.0, 42.0, 29.0, 47.0, 65.0, 45.0, 44.0, 38.0, 43.0, 42.0, 33.0, 35.0, 28.0, 36.0, 24.0, 19.0, 20.0, 21.0, 15.0, 5.0, 11.0, 8.0, 7.0, 2.0, 0.0, 6.0, 4.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.041412353515625, -0.040142059326171875, -0.03887176513671875, -0.037601470947265625, -0.0363311767578125, -0.035060882568359375, -0.03379058837890625, -0.032520294189453125, -0.03125, -0.029979705810546875, -0.02870941162109375, -0.027439117431640625, -0.0261688232421875, -0.024898529052734375, -0.02362823486328125, -0.022357940673828125, -0.021087646484375, -0.019817352294921875, -0.01854705810546875, -0.017276763916015625, -0.0160064697265625, -0.014736175537109375, -0.01346588134765625, -0.012195587158203125, -0.01092529296875, -0.009654998779296875, -0.00838470458984375, -0.007114410400390625, -0.0058441162109375, -0.004573822021484375, -0.00330352783203125, -0.002033233642578125, -0.000762939453125, 0.000507354736328125, 0.00177764892578125, 0.003047943115234375, 0.0043182373046875, 0.005588531494140625, 0.00685882568359375, 0.008129119873046875, 0.0093994140625, 0.010669708251953125, 0.01194000244140625, 0.013210296630859375, 0.0144805908203125, 0.015750885009765625, 0.01702117919921875, 0.018291473388671875, 0.019561767578125, 0.020832061767578125, 0.02210235595703125, 0.023372650146484375, 0.0246429443359375, 0.025913238525390625, 0.02718353271484375, 0.028453826904296875, 0.02972412109375, 0.030994415283203125, 0.03226470947265625, 0.033535003662109375, 0.0348052978515625, 0.036075592041015625, 0.03734588623046875, 0.038616180419921875, 0.039886474609375]}, "gradients/decoder.transformer.h.4.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 4.0, 0.0, 2.0, 5.0, 6.0, 6.0, 10.0, 16.0, 27.0, 31.0, 46.0, 66.0, 139.0, 216.0, 519.0, 1016.0, 2637.0, 7962.0, 29286.0, 150389.0, 1847916.0, 1953968.0, 157618.0, 29966.0, 7841.0, 2576.0, 996.0, 422.0, 218.0, 129.0, 87.0, 55.0, 34.0, 24.0, 19.0, 21.0, 2.0, 3.0, 5.0, 6.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0955810546875, -0.09216880798339844, -0.08875656127929688, -0.08534431457519531, -0.08193206787109375, -0.07851982116699219, -0.07510757446289062, -0.07169532775878906, -0.0682830810546875, -0.06487083435058594, -0.061458587646484375, -0.05804634094238281, -0.05463409423828125, -0.05122184753417969, -0.047809600830078125, -0.04439735412597656, -0.040985107421875, -0.03757286071777344, -0.034160614013671875, -0.030748367309570312, -0.02733612060546875, -0.023923873901367188, -0.020511627197265625, -0.017099380493164062, -0.0136871337890625, -0.010274887084960938, -0.006862640380859375, -0.0034503936767578125, -3.814697265625e-05, 0.0033740997314453125, 0.006786346435546875, 0.010198593139648438, 0.01361083984375, 0.017023086547851562, 0.020435333251953125, 0.023847579956054688, 0.02725982666015625, 0.030672073364257812, 0.034084320068359375, 0.03749656677246094, 0.0409088134765625, 0.04432106018066406, 0.047733306884765625, 0.05114555358886719, 0.05455780029296875, 0.05797004699707031, 0.061382293701171875, 0.06479454040527344, 0.068206787109375, 0.07161903381347656, 0.07503128051757812, 0.07844352722167969, 0.08185577392578125, 0.08526802062988281, 0.08868026733398438, 0.09209251403808594, 0.0955047607421875, 0.09891700744628906, 0.10232925415039062, 0.10574150085449219, 0.10915374755859375, 0.11256599426269531, 0.11597824096679688, 0.11939048767089844, 0.122802734375]}, "gradients/decoder.transformer.h.4.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 3.0, 0.0, 1.0, 2.0, 2.0, 10.0, 8.0, 9.0, 12.0, 22.0, 22.0, 32.0, 52.0, 69.0, 96.0, 134.0, 178.0, 233.0, 373.0, 501.0, 656.0, 491.0, 347.0, 225.0, 147.0, 124.0, 112.0, 54.0, 39.0, 38.0, 21.0, 19.0, 16.0, 14.0, 8.0, 5.0, 3.0, 3.0, 5.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.0888671875, -0.08661556243896484, -0.08436393737792969, -0.08211231231689453, -0.07986068725585938, -0.07760906219482422, -0.07535743713378906, -0.0731058120727539, -0.07085418701171875, -0.0686025619506836, -0.06635093688964844, -0.06409931182861328, -0.061847686767578125, -0.05959606170654297, -0.05734443664550781, -0.055092811584472656, -0.0528411865234375, -0.050589561462402344, -0.04833793640136719, -0.04608631134033203, -0.043834686279296875, -0.04158306121826172, -0.03933143615722656, -0.037079811096191406, -0.03482818603515625, -0.032576560974121094, -0.030324935913085938, -0.02807331085205078, -0.025821685791015625, -0.02357006072998047, -0.021318435668945312, -0.019066810607910156, -0.016815185546875, -0.014563560485839844, -0.012311935424804688, -0.010060310363769531, -0.007808685302734375, -0.005557060241699219, -0.0033054351806640625, -0.0010538101196289062, 0.00119781494140625, 0.0034494400024414062, 0.0057010650634765625, 0.007952690124511719, 0.010204315185546875, 0.012455940246582031, 0.014707565307617188, 0.016959190368652344, 0.0192108154296875, 0.021462440490722656, 0.023714065551757812, 0.02596569061279297, 0.028217315673828125, 0.03046894073486328, 0.03272056579589844, 0.034972190856933594, 0.03722381591796875, 0.039475440979003906, 0.04172706604003906, 0.04397869110107422, 0.046230316162109375, 0.04848194122314453, 0.05073356628417969, 0.052985191345214844, 0.05523681640625]}, "gradients/decoder.transformer.h.4.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 7.0, 3.0, 2.0, 7.0, 7.0, 12.0, 20.0, 26.0, 30.0, 54.0, 104.0, 160.0, 316.0, 601.0, 1667.0, 5388.0, 20458.0, 103316.0, 905391.0, 2832877.0, 265432.0, 43438.0, 10095.0, 2849.0, 1108.0, 419.0, 199.0, 107.0, 60.0, 44.0, 34.0, 25.0, 11.0, 8.0, 7.0, 4.0, 0.0, 1.0, 7.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.1490478515625, -0.14493560791015625, -0.1408233642578125, -0.13671112060546875, -0.132598876953125, -0.12848663330078125, -0.1243743896484375, -0.12026214599609375, -0.11614990234375, -0.11203765869140625, -0.1079254150390625, -0.10381317138671875, -0.099700927734375, -0.09558868408203125, -0.0914764404296875, -0.08736419677734375, -0.083251953125, -0.07913970947265625, -0.0750274658203125, -0.07091522216796875, -0.066802978515625, -0.06269073486328125, -0.0585784912109375, -0.05446624755859375, -0.05035400390625, -0.04624176025390625, -0.0421295166015625, -0.03801727294921875, -0.033905029296875, -0.02979278564453125, -0.0256805419921875, -0.02156829833984375, -0.0174560546875, -0.01334381103515625, -0.0092315673828125, -0.00511932373046875, -0.001007080078125, 0.00310516357421875, 0.0072174072265625, 0.01132965087890625, 0.01544189453125, 0.01955413818359375, 0.0236663818359375, 0.02777862548828125, 0.031890869140625, 0.03600311279296875, 0.0401153564453125, 0.04422760009765625, 0.04833984375, 0.05245208740234375, 0.0565643310546875, 0.06067657470703125, 0.064788818359375, 0.06890106201171875, 0.0730133056640625, 0.07712554931640625, 0.08123779296875, 0.08535003662109375, 0.0894622802734375, 0.09357452392578125, 0.097686767578125, 0.10179901123046875, 0.1059112548828125, 0.11002349853515625, 0.1141357421875]}, "gradients/decoder.transformer.h.4.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 5.0, 26.0, 95.0, 209.0, 286.0, 238.0, 112.0, 43.0, 5.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.22933657467365265, -0.20274239778518677, -0.1761482208967209, -0.149554044008255, -0.12295987457036972, -0.09636570513248444, -0.06977152824401855, -0.04317735135555267, -0.016583174467086792, 0.01001100055873394, 0.03660517558455467, 0.06319934874773026, 0.08979352563619614, 0.11638769507408142, 0.1429818719625473, 0.16957604885101318, 0.19617022573947906, 0.22276440262794495, 0.24935857951641083, 0.2759527564048767, 0.3025469183921814, 0.3291410803794861, 0.35573527216911316, 0.38232946395874023, 0.4089236259460449, 0.4355177879333496, 0.4621119797229767, 0.48870614171028137, 0.5153003334999084, 0.5418944954872131, 0.5684886574745178, 0.5950828790664673, 0.6216769814491272, 0.6482711434364319, 0.6748653054237366, 0.701459527015686, 0.7280536890029907, 0.7546478509902954, 0.7812420129776001, 0.8078361749649048, 0.8344303965568542, 0.8610245585441589, 0.8876187205314636, 0.9142129421234131, 0.9408071041107178, 0.9674012660980225, 0.9939954280853271, 1.0205895900726318, 1.0471837520599365, 1.0737779140472412, 1.100372076034546, 1.1269662380218506, 1.1535604000091553, 1.18015456199646, 1.2067488431930542, 1.2333430051803589, 1.2599371671676636, 1.2865313291549683, 1.313125491142273, 1.3397196531295776, 1.3663138151168823, 1.3929080963134766, 1.4195022583007812, 1.446096420288086, 1.4726905822753906]}, "gradients/decoder.transformer.h.4.ln_2.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 7.0, 4.0, 10.0, 5.0, 18.0, 17.0, 19.0, 12.0, 18.0, 22.0, 23.0, 23.0, 24.0, 35.0, 34.0, 34.0, 40.0, 43.0, 36.0, 45.0, 44.0, 52.0, 42.0, 40.0, 47.0, 26.0, 40.0, 33.0, 37.0, 22.0, 24.0, 22.0, 12.0, 16.0, 18.0, 9.0, 7.0, 14.0, 7.0, 6.0, 7.0, 1.0, 1.0, 2.0, 5.0, 3.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2156890630722046, -0.20836780965328217, -0.20104655623435974, -0.19372530281543732, -0.1864040493965149, -0.17908278107643127, -0.17176152765750885, -0.16444027423858643, -0.157119020819664, -0.14979776740074158, -0.14247651398181915, -0.13515526056289673, -0.1278339922428131, -0.12051274627447128, -0.11319148540496826, -0.10587023198604584, -0.09854897856712341, -0.09122772514820099, -0.08390647172927856, -0.07658521085977554, -0.06926395744085312, -0.061942704021930695, -0.05462144687771797, -0.04730018973350525, -0.039978936314582825, -0.0326576828956604, -0.025336425751447678, -0.018015170469880104, -0.01069391518831253, -0.003372661769390106, 0.003948595374822617, 0.01126985251903534, 0.018591105937957764, 0.025912361219525337, 0.03323361650109291, 0.040554873645305634, 0.04787612706422806, 0.05519738048315048, 0.0625186413526535, 0.06983989477157593, 0.07716114819049835, 0.08448240160942078, 0.0918036550283432, 0.09912491589784622, 0.10644616931676865, 0.11376742273569107, 0.12108868360519409, 0.12840993702411652, 0.13573119044303894, 0.14305244386196136, 0.1503736972808838, 0.1576949506998062, 0.16501620411872864, 0.17233747243881226, 0.17965872585773468, 0.1869799792766571, 0.19430123269557953, 0.20162248611450195, 0.20894373953342438, 0.2162649929523468, 0.22358626127243042, 0.23090749979019165, 0.23822876811027527, 0.2455500215291977, 0.2528712749481201]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 2.0, 6.0, 11.0, 5.0, 10.0, 7.0, 10.0, 10.0, 14.0, 15.0, 21.0, 31.0, 33.0, 24.0, 30.0, 37.0, 31.0, 39.0, 34.0, 27.0, 38.0, 49.0, 49.0, 38.0, 44.0, 37.0, 38.0, 39.0, 39.0, 26.0, 25.0, 35.0, 23.0, 26.0, 13.0, 15.0, 11.0, 10.0, 10.0, 15.0, 8.0, 4.0, 5.0, 6.0, 1.0, 4.0, 2.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.04296875, -0.041745662689208984, -0.04052257537841797, -0.03929948806762695, -0.03807640075683594, -0.03685331344604492, -0.035630226135253906, -0.03440713882446289, -0.033184051513671875, -0.03196096420288086, -0.030737876892089844, -0.029514789581298828, -0.028291702270507812, -0.027068614959716797, -0.02584552764892578, -0.024622440338134766, -0.02339935302734375, -0.022176265716552734, -0.02095317840576172, -0.019730091094970703, -0.018507003784179688, -0.017283916473388672, -0.016060829162597656, -0.01483774185180664, -0.013614654541015625, -0.01239156723022461, -0.011168479919433594, -0.009945392608642578, -0.008722305297851562, -0.007499217987060547, -0.006276130676269531, -0.005053043365478516, -0.0038299560546875, -0.0026068687438964844, -0.0013837814331054688, -0.00016069412231445312, 0.0010623931884765625, 0.002285480499267578, 0.0035085678100585938, 0.004731655120849609, 0.005954742431640625, 0.007177829742431641, 0.008400917053222656, 0.009624004364013672, 0.010847091674804688, 0.012070178985595703, 0.013293266296386719, 0.014516353607177734, 0.01573944091796875, 0.016962528228759766, 0.01818561553955078, 0.019408702850341797, 0.020631790161132812, 0.021854877471923828, 0.023077964782714844, 0.02430105209350586, 0.025524139404296875, 0.02674722671508789, 0.027970314025878906, 0.029193401336669922, 0.030416488647460938, 0.03163957595825195, 0.03286266326904297, 0.034085750579833984, 0.035308837890625]}, "gradients/decoder.transformer.h.4.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 4.0, 3.0, 4.0, 9.0, 10.0, 23.0, 32.0, 31.0, 72.0, 105.0, 137.0, 224.0, 336.0, 566.0, 857.0, 1331.0, 2223.0, 3354.0, 5150.0, 8337.0, 13212.0, 21057.0, 34473.0, 57529.0, 98140.0, 207687.0, 311165.0, 114219.0, 64811.0, 39598.0, 23665.0, 14824.0, 9159.0, 5849.0, 3751.0, 2369.0, 1540.0, 966.0, 599.0, 419.0, 254.0, 157.0, 104.0, 74.0, 45.0, 31.0, 19.0, 14.0, 11.0, 9.0, 3.0, 3.0, 1.0, 2.0, 2.0], "bins": [-0.0002560615539550781, -0.00024877116084098816, -0.0002414807677268982, -0.00023419037461280823, -0.00022689998149871826, -0.0002196095883846283, -0.00021231919527053833, -0.00020502880215644836, -0.0001977384090423584, -0.00019044801592826843, -0.00018315762281417847, -0.0001758672297000885, -0.00016857683658599854, -0.00016128644347190857, -0.0001539960503578186, -0.00014670565724372864, -0.00013941526412963867, -0.0001321248710155487, -0.00012483447790145874, -0.00011754408478736877, -0.00011025369167327881, -0.00010296329855918884, -9.567290544509888e-05, -8.838251233100891e-05, -8.109211921691895e-05, -7.380172610282898e-05, -6.651133298873901e-05, -5.922093987464905e-05, -5.193054676055908e-05, -4.4640153646469116e-05, -3.734976053237915e-05, -3.0059367418289185e-05, -2.276897430419922e-05, -1.5478581190109253e-05, -8.188188076019287e-06, -8.977949619293213e-07, 6.3925981521606445e-06, 1.368299126625061e-05, 2.0973384380340576e-05, 2.8263777494430542e-05, 3.555417060852051e-05, 4.2844563722610474e-05, 5.013495683670044e-05, 5.7425349950790405e-05, 6.471574306488037e-05, 7.200613617897034e-05, 7.92965292930603e-05, 8.658692240715027e-05, 9.387731552124023e-05, 0.0001011677086353302, 0.00010845810174942017, 0.00011574849486351013, 0.0001230388879776001, 0.00013032928109169006, 0.00013761967420578003, 0.00014491006731987, 0.00015220046043395996, 0.00015949085354804993, 0.0001667812466621399, 0.00017407163977622986, 0.00018136203289031982, 0.0001886524260044098, 0.00019594281911849976, 0.00020323321223258972, 0.0002105236053466797]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 1.0, 0.0, 4.0, 3.0, 4.0, 2.0, 8.0, 6.0, 5.0, 5.0, 14.0, 17.0, 12.0, 18.0, 18.0, 27.0, 23.0, 33.0, 31.0, 35.0, 35.0, 38.0, 41.0, 41.0, 45.0, 35.0, 1062.0, 50.0, 35.0, 35.0, 34.0, 40.0, 35.0, 41.0, 34.0, 28.0, 33.0, 17.0, 18.0, 20.0, 9.0, 8.0, 8.0, 7.0, 6.0, 5.0, 4.0, 6.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.036590576171875, -0.03534364700317383, -0.034096717834472656, -0.032849788665771484, -0.03160285949707031, -0.03035593032836914, -0.02910900115966797, -0.027862071990966797, -0.026615142822265625, -0.025368213653564453, -0.02412128448486328, -0.02287435531616211, -0.021627426147460938, -0.020380496978759766, -0.019133567810058594, -0.017886638641357422, -0.01663970947265625, -0.015392780303955078, -0.014145851135253906, -0.012898921966552734, -0.011651992797851562, -0.01040506362915039, -0.009158134460449219, -0.007911205291748047, -0.006664276123046875, -0.005417346954345703, -0.004170417785644531, -0.0029234886169433594, -0.0016765594482421875, -0.0004296302795410156, 0.0008172988891601562, 0.002064228057861328, 0.0033111572265625, 0.004558086395263672, 0.005805015563964844, 0.007051944732666016, 0.008298873901367188, 0.00954580307006836, 0.010792732238769531, 0.012039661407470703, 0.013286590576171875, 0.014533519744873047, 0.01578044891357422, 0.01702737808227539, 0.018274307250976562, 0.019521236419677734, 0.020768165588378906, 0.022015094757080078, 0.02326202392578125, 0.024508953094482422, 0.025755882263183594, 0.027002811431884766, 0.028249740600585938, 0.02949666976928711, 0.03074359893798828, 0.03199052810668945, 0.033237457275390625, 0.0344843864440918, 0.03573131561279297, 0.03697824478149414, 0.03822517395019531, 0.039472103118896484, 0.040719032287597656, 0.04196596145629883, 0.043212890625]}, "gradients/decoder.transformer.h.4.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 2.0, 5.0, 4.0, 6.0, 7.0, 3.0, 13.0, 7.0, 10.0, 18.0, 16.0, 18.0, 40.0, 22.0, 35.0, 42.0, 41.0, 50.0, 99.0, 237.0, 899.0, 6502.0, 2073909.0, 12893.0, 1486.0, 298.0, 114.0, 56.0, 47.0, 32.0, 31.0, 33.0, 24.0, 25.0, 22.0, 13.0, 14.0, 16.0, 13.0, 8.0, 4.0, 6.0, 6.0, 3.0, 4.0, 3.0, 4.0, 0.0, 2.0, 0.0, 1.0, 3.0], "bins": [-4.76837158203125e-05, -4.630628973245621e-05, -4.4928863644599915e-05, -4.355143755674362e-05, -4.217401146888733e-05, -4.0796585381031036e-05, -3.9419159293174744e-05, -3.804173320531845e-05, -3.666430711746216e-05, -3.5286881029605865e-05, -3.390945494174957e-05, -3.253202885389328e-05, -3.115460276603699e-05, -2.9777176678180695e-05, -2.8399750590324402e-05, -2.702232450246811e-05, -2.5644898414611816e-05, -2.4267472326755524e-05, -2.289004623889923e-05, -2.1512620151042938e-05, -2.0135194063186646e-05, -1.8757767975330353e-05, -1.738034188747406e-05, -1.6002915799617767e-05, -1.4625489711761475e-05, -1.3248063623905182e-05, -1.187063753604889e-05, -1.0493211448192596e-05, -9.115785360336304e-06, -7.738359272480011e-06, -6.360933184623718e-06, -4.9835070967674255e-06, -3.606081008911133e-06, -2.22865492105484e-06, -8.512288331985474e-07, 5.261972546577454e-07, 1.903623342514038e-06, 3.281049430370331e-06, 4.6584755182266235e-06, 6.035901606082916e-06, 7.413327693939209e-06, 8.790753781795502e-06, 1.0168179869651794e-05, 1.1545605957508087e-05, 1.292303204536438e-05, 1.4300458133220673e-05, 1.5677884221076965e-05, 1.7055310308933258e-05, 1.843273639678955e-05, 1.9810162484645844e-05, 2.1187588572502136e-05, 2.256501466035843e-05, 2.394244074821472e-05, 2.5319866836071014e-05, 2.6697292923927307e-05, 2.80747190117836e-05, 2.9452145099639893e-05, 3.0829571187496185e-05, 3.220699727535248e-05, 3.358442336320877e-05, 3.4961849451065063e-05, 3.6339275538921356e-05, 3.771670162677765e-05, 3.909412771463394e-05, 4.0471553802490234e-05]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.4.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 2.0, 6.0, 11.0, 5.0, 10.0, 7.0, 10.0, 10.0, 14.0, 15.0, 21.0, 31.0, 33.0, 24.0, 30.0, 37.0, 31.0, 39.0, 34.0, 27.0, 38.0, 49.0, 49.0, 38.0, 44.0, 37.0, 38.0, 39.0, 39.0, 26.0, 25.0, 35.0, 23.0, 26.0, 13.0, 15.0, 11.0, 10.0, 10.0, 15.0, 8.0, 4.0, 5.0, 6.0, 1.0, 4.0, 2.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.04296875, -0.041745662689208984, -0.04052257537841797, -0.03929948806762695, -0.03807640075683594, -0.03685331344604492, -0.035630226135253906, -0.03440713882446289, -0.033184051513671875, -0.03196096420288086, -0.030737876892089844, -0.029514789581298828, -0.028291702270507812, -0.027068614959716797, -0.02584552764892578, -0.024622440338134766, -0.02339935302734375, -0.022176265716552734, -0.02095317840576172, -0.019730091094970703, -0.018507003784179688, -0.017283916473388672, -0.016060829162597656, -0.01483774185180664, -0.013614654541015625, -0.01239156723022461, -0.011168479919433594, -0.009945392608642578, -0.008722305297851562, -0.007499217987060547, -0.006276130676269531, -0.005053043365478516, -0.0038299560546875, -0.0026068687438964844, -0.0013837814331054688, -0.00016069412231445312, 0.0010623931884765625, 0.002285480499267578, 0.0035085678100585938, 0.004731655120849609, 0.005954742431640625, 0.007177829742431641, 0.008400917053222656, 0.009624004364013672, 0.010847091674804688, 0.012070178985595703, 0.013293266296386719, 0.014516353607177734, 0.01573944091796875, 0.016962528228759766, 0.01818561553955078, 0.019408702850341797, 0.020631790161132812, 0.021854877471923828, 0.023077964782714844, 0.02430105209350586, 0.025524139404296875, 0.02674722671508789, 0.027970314025878906, 0.029193401336669922, 0.030416488647460938, 0.03163957595825195, 0.03286266326904297, 0.034085750579833984, 0.035308837890625]}, "gradients/decoder.transformer.h.4.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 7.0, 7.0, 19.0, 40.0, 41.0, 55.0, 105.0, 134.0, 213.0, 281.0, 452.0, 706.0, 1149.0, 1625.0, 2438.0, 3737.0, 5607.0, 8083.0, 12175.0, 18528.0, 28378.0, 45489.0, 77635.0, 147757.0, 339610.0, 147983.0, 77672.0, 44889.0, 28322.0, 18346.0, 12164.0, 8323.0, 5581.0, 3714.0, 2469.0, 1689.0, 1065.0, 754.0, 497.0, 289.0, 195.0, 124.0, 72.0, 52.0, 32.0, 32.0, 16.0, 6.0, 4.0, 9.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.04693603515625, -0.045445919036865234, -0.04395580291748047, -0.0424656867980957, -0.04097557067871094, -0.03948545455932617, -0.037995338439941406, -0.03650522232055664, -0.035015106201171875, -0.03352499008178711, -0.032034873962402344, -0.030544757843017578, -0.029054641723632812, -0.027564525604248047, -0.02607440948486328, -0.024584293365478516, -0.02309417724609375, -0.021604061126708984, -0.02011394500732422, -0.018623828887939453, -0.017133712768554688, -0.015643596649169922, -0.014153480529785156, -0.01266336441040039, -0.011173248291015625, -0.00968313217163086, -0.008193016052246094, -0.006702899932861328, -0.0052127838134765625, -0.003722667694091797, -0.0022325515747070312, -0.0007424354553222656, 0.0007476806640625, 0.0022377967834472656, 0.0037279129028320312, 0.005218029022216797, 0.0067081451416015625, 0.008198261260986328, 0.009688377380371094, 0.01117849349975586, 0.012668609619140625, 0.01415872573852539, 0.015648841857910156, 0.017138957977294922, 0.018629074096679688, 0.020119190216064453, 0.02160930633544922, 0.023099422454833984, 0.02458953857421875, 0.026079654693603516, 0.02756977081298828, 0.029059886932373047, 0.030550003051757812, 0.03204011917114258, 0.033530235290527344, 0.03502035140991211, 0.036510467529296875, 0.03800058364868164, 0.039490699768066406, 0.04098081588745117, 0.04247093200683594, 0.0439610481262207, 0.04545116424560547, 0.046941280364990234, 0.048431396484375]}, "gradients/decoder.transformer.h.4.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 2.0, 3.0, 3.0, 4.0, 8.0, 8.0, 7.0, 9.0, 8.0, 21.0, 17.0, 16.0, 34.0, 27.0, 32.0, 35.0, 36.0, 33.0, 58.0, 72.0, 102.0, 172.0, 1342.0, 323.0, 177.0, 96.0, 68.0, 52.0, 45.0, 43.0, 36.0, 36.0, 22.0, 20.0, 15.0, 17.0, 13.0, 16.0, 10.0, 6.0, 1.0, 4.0, 5.0, 2.0, 4.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.10101318359375, -0.09752941131591797, -0.09404563903808594, -0.0905618667602539, -0.08707809448242188, -0.08359432220458984, -0.08011054992675781, -0.07662677764892578, -0.07314300537109375, -0.06965923309326172, -0.06617546081542969, -0.06269168853759766, -0.059207916259765625, -0.055724143981933594, -0.05224037170410156, -0.04875659942626953, -0.0452728271484375, -0.04178905487060547, -0.03830528259277344, -0.034821510314941406, -0.031337738037109375, -0.027853965759277344, -0.024370193481445312, -0.02088642120361328, -0.01740264892578125, -0.013918876647949219, -0.010435104370117188, -0.006951332092285156, -0.003467559814453125, 1.621246337890625e-05, 0.0034999847412109375, 0.006983757019042969, 0.010467529296875, 0.013951301574707031, 0.017435073852539062, 0.020918846130371094, 0.024402618408203125, 0.027886390686035156, 0.03137016296386719, 0.03485393524169922, 0.03833770751953125, 0.04182147979736328, 0.04530525207519531, 0.048789024353027344, 0.052272796630859375, 0.055756568908691406, 0.05924034118652344, 0.06272411346435547, 0.0662078857421875, 0.06969165802001953, 0.07317543029785156, 0.0766592025756836, 0.08014297485351562, 0.08362674713134766, 0.08711051940917969, 0.09059429168701172, 0.09407806396484375, 0.09756183624267578, 0.10104560852050781, 0.10452938079833984, 0.10801315307617188, 0.1114969253540039, 0.11498069763183594, 0.11846446990966797, 0.1219482421875]}, "gradients/decoder.transformer.h.4.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 7.0, 6.0, 3.0, 5.0, 9.0, 13.0, 17.0, 21.0, 43.0, 46.0, 63.0, 122.0, 216.0, 391.0, 1097.0, 3580.0, 13156.0, 56469.0, 523976.0, 2384143.0, 126764.0, 25843.0, 6494.0, 1898.0, 639.0, 233.0, 131.0, 84.0, 63.0, 54.0, 41.0, 26.0, 18.0, 13.0, 11.0, 5.0, 1.0, 2.0, 3.0, 2.0, 4.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.149658203125, -0.14528656005859375, -0.1409149169921875, -0.13654327392578125, -0.132171630859375, -0.12779998779296875, -0.1234283447265625, -0.11905670166015625, -0.11468505859375, -0.11031341552734375, -0.1059417724609375, -0.10157012939453125, -0.097198486328125, -0.09282684326171875, -0.0884552001953125, -0.08408355712890625, -0.0797119140625, -0.07534027099609375, -0.0709686279296875, -0.06659698486328125, -0.062225341796875, -0.05785369873046875, -0.0534820556640625, -0.04911041259765625, -0.04473876953125, -0.04036712646484375, -0.0359954833984375, -0.03162384033203125, -0.027252197265625, -0.02288055419921875, -0.0185089111328125, -0.01413726806640625, -0.009765625, -0.00539398193359375, -0.0010223388671875, 0.00334930419921875, 0.007720947265625, 0.01209259033203125, 0.0164642333984375, 0.02083587646484375, 0.02520751953125, 0.02957916259765625, 0.0339508056640625, 0.03832244873046875, 0.042694091796875, 0.04706573486328125, 0.0514373779296875, 0.05580902099609375, 0.0601806640625, 0.06455230712890625, 0.0689239501953125, 0.07329559326171875, 0.077667236328125, 0.08203887939453125, 0.0864105224609375, 0.09078216552734375, 0.09515380859375, 0.09952545166015625, 0.1038970947265625, 0.10826873779296875, 0.112640380859375, 0.11701202392578125, 0.1213836669921875, 0.12575531005859375, 0.130126953125]}, "gradients/decoder.transformer.h.4.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 14.0, 42.0, 106.0, 187.0, 223.0, 187.0, 142.0, 70.0, 22.0, 13.0, 6.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.34630221128463745, -0.3303598165512085, -0.31441742181777954, -0.2984750270843506, -0.28253263235092163, -0.2665902376174927, -0.2506478428840637, -0.23470543324947357, -0.21876303851604462, -0.20282064378261566, -0.1868782490491867, -0.17093583941459656, -0.1549934446811676, -0.13905104994773865, -0.12310865521430969, -0.10716626048088074, -0.09122386574745178, -0.07528147101402283, -0.059339072555303574, -0.04339667409658432, -0.027454279363155365, -0.01151188462972641, 0.004430517554283142, 0.020372912287712097, 0.03631530702114105, 0.05225770175457001, 0.06820009648799896, 0.08414249867200851, 0.10008489340543747, 0.11602728813886642, 0.13196969032287598, 0.14791208505630493, 0.1638544797897339, 0.17979687452316284, 0.1957392692565918, 0.21168166399002075, 0.2276240587234497, 0.24356645345687866, 0.2595088481903076, 0.2754512429237366, 0.2913936376571655, 0.3073360323905945, 0.32327842712402344, 0.3392208218574524, 0.35516321659088135, 0.3711056113243103, 0.38704800605773926, 0.4029904007911682, 0.41893282532691956, 0.4348752200603485, 0.45081761479377747, 0.4667600095272064, 0.4827024042606354, 0.49864479899406433, 0.5145872235298157, 0.5305296182632446, 0.5464720129966736, 0.5624144077301025, 0.5783568024635315, 0.5942991971969604, 0.6102415919303894, 0.6261839866638184, 0.6421263813972473, 0.6580687761306763, 0.6740111708641052]}, "gradients/decoder.transformer.h.4.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 6.0, 0.0, 3.0, 6.0, 5.0, 9.0, 4.0, 9.0, 4.0, 11.0, 17.0, 19.0, 17.0, 29.0, 22.0, 30.0, 37.0, 37.0, 32.0, 41.0, 37.0, 40.0, 38.0, 44.0, 47.0, 44.0, 43.0, 32.0, 48.0, 37.0, 39.0, 31.0, 30.0, 29.0, 21.0, 20.0, 13.0, 10.0, 18.0, 11.0, 5.0, 8.0, 4.0, 7.0, 5.0, 6.0, 0.0, 3.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.2907615900039673, -0.2819337546825409, -0.2731059193611145, -0.2642780840396881, -0.2554502487182617, -0.24662242829799652, -0.23779460787773132, -0.22896677255630493, -0.22013893723487854, -0.21131110191345215, -0.20248326659202576, -0.19365544617176056, -0.18482761085033417, -0.17599977552890778, -0.16717195510864258, -0.1583441197872162, -0.1495162844657898, -0.1406884491443634, -0.131860613822937, -0.12303279340267181, -0.11420495808124542, -0.10537712275981903, -0.09654929488897324, -0.08772146701812744, -0.07889363169670105, -0.07006579637527466, -0.061237968504428864, -0.05241013690829277, -0.04358230531215668, -0.034754473716020584, -0.02592664211988449, -0.017098810523748398, -0.008270978927612305, 0.0005568526685237885, 0.009384684264659882, 0.018212515860795975, 0.027040347456932068, 0.03586817905306816, 0.044696010649204254, 0.05352384224534035, 0.06235167384147644, 0.07117950916290283, 0.08000733703374863, 0.08883516490459442, 0.09766300022602081, 0.1064908355474472, 0.115318663418293, 0.1241464912891388, 0.13297432661056519, 0.14180216193199158, 0.15062999725341797, 0.15945781767368317, 0.16828565299510956, 0.17711348831653595, 0.18594130873680115, 0.19476914405822754, 0.20359697937965393, 0.21242481470108032, 0.2212526500225067, 0.2300804704427719, 0.2389083057641983, 0.2477361410856247, 0.2565639615058899, 0.2653917968273163, 0.2742196321487427]}, "gradients/decoder.transformer.h.3.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 5.0, 4.0, 3.0, 6.0, 12.0, 7.0, 7.0, 17.0, 13.0, 13.0, 19.0, 22.0, 21.0, 34.0, 30.0, 31.0, 28.0, 41.0, 36.0, 34.0, 39.0, 49.0, 43.0, 45.0, 34.0, 34.0, 39.0, 55.0, 42.0, 20.0, 28.0, 21.0, 30.0, 18.0, 21.0, 23.0, 9.0, 18.0, 8.0, 11.0, 10.0, 8.0, 7.0, 5.0, 3.0, 1.0, 2.0, 4.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0419921875, -0.040780067443847656, -0.03956794738769531, -0.03835582733154297, -0.037143707275390625, -0.03593158721923828, -0.03471946716308594, -0.033507347106933594, -0.03229522705078125, -0.031083106994628906, -0.029870986938476562, -0.02865886688232422, -0.027446746826171875, -0.02623462677001953, -0.025022506713867188, -0.023810386657714844, -0.0225982666015625, -0.021386146545410156, -0.020174026489257812, -0.01896190643310547, -0.017749786376953125, -0.01653766632080078, -0.015325546264648438, -0.014113426208496094, -0.01290130615234375, -0.011689186096191406, -0.010477066040039062, -0.009264945983886719, -0.008052825927734375, -0.006840705871582031, -0.0056285858154296875, -0.004416465759277344, -0.003204345703125, -0.0019922256469726562, -0.0007801055908203125, 0.00043201446533203125, 0.001644134521484375, 0.0028562545776367188, 0.0040683746337890625, 0.005280494689941406, 0.00649261474609375, 0.007704734802246094, 0.008916854858398438, 0.010128974914550781, 0.011341094970703125, 0.012553215026855469, 0.013765335083007812, 0.014977455139160156, 0.0161895751953125, 0.017401695251464844, 0.018613815307617188, 0.01982593536376953, 0.021038055419921875, 0.02225017547607422, 0.023462295532226562, 0.024674415588378906, 0.02588653564453125, 0.027098655700683594, 0.028310775756835938, 0.02952289581298828, 0.030735015869140625, 0.03194713592529297, 0.03315925598144531, 0.034371376037597656, 0.03558349609375]}, "gradients/decoder.transformer.h.3.mlp.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 4.0, 3.0, 6.0, 6.0, 6.0, 16.0, 20.0, 19.0, 32.0, 29.0, 74.0, 75.0, 102.0, 179.0, 276.0, 484.0, 2303.0, 4065922.0, 122703.0, 926.0, 393.0, 219.0, 143.0, 86.0, 65.0, 53.0, 35.0, 35.0, 21.0, 15.0, 11.0, 11.0, 6.0, 4.0, 4.0, 2.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.6767578125, -0.6524276733398438, -0.6280975341796875, -0.6037673950195312, -0.579437255859375, -0.5551071166992188, -0.5307769775390625, -0.5064468383789062, -0.48211669921875, -0.45778656005859375, -0.4334564208984375, -0.40912628173828125, -0.384796142578125, -0.36046600341796875, -0.3361358642578125, -0.31180572509765625, -0.2874755859375, -0.26314544677734375, -0.2388153076171875, -0.21448516845703125, -0.190155029296875, -0.16582489013671875, -0.1414947509765625, -0.11716461181640625, -0.09283447265625, -0.06850433349609375, -0.0441741943359375, -0.01984405517578125, 0.004486083984375, 0.02881622314453125, 0.0531463623046875, 0.07747650146484375, 0.101806640625, 0.12613677978515625, 0.1504669189453125, 0.17479705810546875, 0.199127197265625, 0.22345733642578125, 0.2477874755859375, 0.27211761474609375, 0.29644775390625, 0.32077789306640625, 0.3451080322265625, 0.36943817138671875, 0.393768310546875, 0.41809844970703125, 0.4424285888671875, 0.46675872802734375, 0.4910888671875, 0.5154190063476562, 0.5397491455078125, 0.5640792846679688, 0.588409423828125, 0.6127395629882812, 0.6370697021484375, 0.6613998413085938, 0.68572998046875, 0.7100601196289062, 0.7343902587890625, 0.7587203979492188, 0.783050537109375, 0.8073806762695312, 0.8317108154296875, 0.8560409545898438, 0.88037109375]}, "gradients/decoder.transformer.h.3.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 4.0, 4.0, 4.0, 6.0, 8.0, 10.0, 12.0, 17.0, 18.0, 26.0, 34.0, 46.0, 48.0, 66.0, 96.0, 121.0, 158.0, 225.0, 362.0, 507.0, 649.0, 461.0, 327.0, 222.0, 149.0, 121.0, 101.0, 62.0, 38.0, 48.0, 33.0, 20.0, 18.0, 14.0, 13.0, 8.0, 7.0, 4.0, 1.0, 5.0, 3.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0718994140625, -0.06987428665161133, -0.06784915924072266, -0.06582403182983398, -0.06379890441894531, -0.06177377700805664, -0.05974864959716797, -0.0577235221862793, -0.055698394775390625, -0.05367326736450195, -0.05164813995361328, -0.04962301254272461, -0.04759788513183594, -0.045572757720947266, -0.043547630310058594, -0.04152250289916992, -0.03949737548828125, -0.03747224807739258, -0.035447120666503906, -0.033421993255615234, -0.03139686584472656, -0.02937173843383789, -0.02734661102294922, -0.025321483612060547, -0.023296356201171875, -0.021271228790283203, -0.01924610137939453, -0.01722097396850586, -0.015195846557617188, -0.013170719146728516, -0.011145591735839844, -0.009120464324951172, -0.0070953369140625, -0.005070209503173828, -0.0030450820922851562, -0.0010199546813964844, 0.0010051727294921875, 0.0030303001403808594, 0.005055427551269531, 0.007080554962158203, 0.009105682373046875, 0.011130809783935547, 0.013155937194824219, 0.01518106460571289, 0.017206192016601562, 0.019231319427490234, 0.021256446838378906, 0.023281574249267578, 0.02530670166015625, 0.027331829071044922, 0.029356956481933594, 0.031382083892822266, 0.03340721130371094, 0.03543233871459961, 0.03745746612548828, 0.03948259353637695, 0.041507720947265625, 0.0435328483581543, 0.04555797576904297, 0.04758310317993164, 0.04960823059082031, 0.051633358001708984, 0.053658485412597656, 0.05568361282348633, 0.057708740234375]}, "gradients/decoder.transformer.h.3.mlp.c_fc.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 2.0, 1.0, 3.0, 2.0, 5.0, 3.0, 1.0, 11.0, 10.0, 14.0, 26.0, 23.0, 44.0, 67.0, 121.0, 235.0, 631.0, 2092.0, 11639.0, 109398.0, 3332128.0, 692741.0, 37885.0, 5155.0, 1156.0, 397.0, 182.0, 89.0, 64.0, 36.0, 39.0, 18.0, 24.0, 12.0, 11.0, 5.0, 4.0, 7.0, 5.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2177734375, -0.2109222412109375, -0.204071044921875, -0.1972198486328125, -0.19036865234375, -0.1835174560546875, -0.176666259765625, -0.1698150634765625, -0.1629638671875, -0.1561126708984375, -0.149261474609375, -0.1424102783203125, -0.13555908203125, -0.1287078857421875, -0.121856689453125, -0.1150054931640625, -0.108154296875, -0.1013031005859375, -0.094451904296875, -0.0876007080078125, -0.08074951171875, -0.0738983154296875, -0.067047119140625, -0.0601959228515625, -0.0533447265625, -0.0464935302734375, -0.039642333984375, -0.0327911376953125, -0.02593994140625, -0.0190887451171875, -0.012237548828125, -0.0053863525390625, 0.00146484375, 0.0083160400390625, 0.015167236328125, 0.0220184326171875, 0.02886962890625, 0.0357208251953125, 0.042572021484375, 0.0494232177734375, 0.0562744140625, 0.0631256103515625, 0.069976806640625, 0.0768280029296875, 0.08367919921875, 0.0905303955078125, 0.097381591796875, 0.1042327880859375, 0.111083984375, 0.1179351806640625, 0.124786376953125, 0.1316375732421875, 0.13848876953125, 0.1453399658203125, 0.152191162109375, 0.1590423583984375, 0.1658935546875, 0.1727447509765625, 0.179595947265625, 0.1864471435546875, 0.19329833984375, 0.2001495361328125, 0.207000732421875, 0.2138519287109375, 0.220703125]}, "gradients/decoder.transformer.h.3.ln_2.weight": {"_type": "histogram", "values": [3.0, 95.0, 579.0, 310.0, 33.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.17676660418510437, -0.11371784657239914, -0.05066908895969391, 0.012379676103591919, 0.07542842626571655, 0.1384771764278412, 0.2015259563922882, 0.26457470655441284, 0.3276234567165375, 0.3906722068786621, 0.45372098684310913, 0.5167697668075562, 0.5798184871673584, 0.6428672075271606, 0.7059160470962524, 0.7689647674560547, 0.8320134878158569, 0.895062267780304, 0.9581109881401062, 1.0211597681045532, 1.0842084884643555, 1.1472573280334473, 1.2103060483932495, 1.2733547687530518, 1.3364036083221436, 1.3994523286819458, 1.4625011682510376, 1.5255498886108398, 1.588598608970642, 1.6516473293304443, 1.7146961688995361, 1.7777448892593384, 1.8407938480377197, 1.903842568397522, 1.9668914079666138, 2.029940128326416, 2.092988967895508, 2.1560375690460205, 2.2190864086151123, 2.282135248184204, 2.345183849334717, 2.4082326889038086, 2.4712812900543213, 2.534330129623413, 2.597378969192505, 2.6604275703430176, 2.7234764099121094, 2.786525249481201, 2.849574089050293, 2.9126229286193848, 2.9756715297698975, 3.0387203693389893, 3.101769208908081, 3.1648178100585938, 3.2278666496276855, 3.2909154891967773, 3.35396409034729, 3.417012929916382, 3.4800615310668945, 3.5431103706359863, 3.606159210205078, 3.669207811355591, 3.7322566509246826, 3.7953054904937744, 3.858354091644287]}, "gradients/decoder.transformer.h.3.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 11.0, 4.0, 4.0, 6.0, 9.0, 8.0, 11.0, 14.0, 15.0, 21.0, 13.0, 24.0, 28.0, 27.0, 37.0, 33.0, 32.0, 27.0, 36.0, 46.0, 39.0, 27.0, 32.0, 47.0, 40.0, 42.0, 39.0, 39.0, 37.0, 33.0, 37.0, 23.0, 32.0, 19.0, 24.0, 21.0, 13.0, 16.0, 11.0, 6.0, 8.0, 5.0, 3.0, 5.0, 2.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.23844122886657715, -0.230868399143219, -0.22329555451869965, -0.2157227098941803, -0.20814988017082214, -0.200577050447464, -0.19300420582294464, -0.1854313611984253, -0.17785853147506714, -0.17028570175170898, -0.16271285712718964, -0.1551400125026703, -0.14756718277931213, -0.13999435305595398, -0.13242150843143463, -0.12484867125749588, -0.11727583408355713, -0.10970299690961838, -0.10213015973567963, -0.09455732256174088, -0.08698448538780212, -0.07941164821386337, -0.07183881103992462, -0.06426597386598587, -0.05669313669204712, -0.04912029951810837, -0.04154746234416962, -0.033974625170230865, -0.026401787996292114, -0.018828950822353363, -0.011256113648414612, -0.0036832764744758606, 0.0038895606994628906, 0.011462397873401642, 0.019035235047340393, 0.026608072221279144, 0.034180909395217896, 0.04175374656915665, 0.0493265837430954, 0.05689942091703415, 0.0644722580909729, 0.07204509526491165, 0.0796179324388504, 0.08719076961278915, 0.0947636067867279, 0.10233644396066666, 0.10990928113460541, 0.11748211830854416, 0.1250549554824829, 0.13262778520584106, 0.1402006298303604, 0.14777347445487976, 0.15534630417823792, 0.16291913390159607, 0.17049197852611542, 0.17806482315063477, 0.18563765287399292, 0.19321048259735107, 0.20078332722187042, 0.20835617184638977, 0.21592900156974792, 0.22350183129310608, 0.23107467591762543, 0.23864752054214478, 0.24622035026550293]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 4.0, 1.0, 3.0, 6.0, 8.0, 7.0, 5.0, 13.0, 8.0, 8.0, 19.0, 24.0, 18.0, 23.0, 40.0, 33.0, 32.0, 41.0, 47.0, 35.0, 49.0, 34.0, 53.0, 54.0, 53.0, 36.0, 43.0, 37.0, 38.0, 41.0, 35.0, 30.0, 26.0, 14.0, 24.0, 18.0, 10.0, 8.0, 6.0, 3.0, 6.0, 6.0, 6.0, 5.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.048309326171875, -0.046953678131103516, -0.04559803009033203, -0.04424238204956055, -0.04288673400878906, -0.04153108596801758, -0.040175437927246094, -0.03881978988647461, -0.037464141845703125, -0.03610849380493164, -0.034752845764160156, -0.03339719772338867, -0.03204154968261719, -0.030685901641845703, -0.02933025360107422, -0.027974605560302734, -0.02661895751953125, -0.025263309478759766, -0.02390766143798828, -0.022552013397216797, -0.021196365356445312, -0.019840717315673828, -0.018485069274902344, -0.01712942123413086, -0.015773773193359375, -0.01441812515258789, -0.013062477111816406, -0.011706829071044922, -0.010351181030273438, -0.008995532989501953, -0.007639884948730469, -0.006284236907958984, -0.0049285888671875, -0.0035729408264160156, -0.0022172927856445312, -0.0008616447448730469, 0.0004940032958984375, 0.0018496513366699219, 0.0032052993774414062, 0.004560947418212891, 0.005916595458984375, 0.007272243499755859, 0.008627891540527344, 0.009983539581298828, 0.011339187622070312, 0.012694835662841797, 0.014050483703613281, 0.015406131744384766, 0.01676177978515625, 0.018117427825927734, 0.01947307586669922, 0.020828723907470703, 0.022184371948242188, 0.023540019989013672, 0.024895668029785156, 0.02625131607055664, 0.027606964111328125, 0.02896261215209961, 0.030318260192871094, 0.03167390823364258, 0.03302955627441406, 0.03438520431518555, 0.03574085235595703, 0.037096500396728516, 0.0384521484375]}, "gradients/decoder.transformer.h.3.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 4.0, 2.0, 4.0, 8.0, 4.0, 12.0, 25.0, 37.0, 58.0, 82.0, 106.0, 178.0, 312.0, 499.0, 830.0, 1288.0, 1887.0, 3260.0, 5508.0, 8874.0, 15602.0, 27261.0, 50445.0, 97819.0, 247584.0, 347092.0, 110664.0, 56498.0, 30534.0, 17043.0, 9819.0, 5878.0, 3417.0, 2243.0, 1388.0, 821.0, 528.0, 338.0, 228.0, 144.0, 80.0, 47.0, 31.0, 29.0, 22.0, 16.0, 11.0, 3.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0], "bins": [-0.00036406517028808594, -0.00035338476300239563, -0.0003427043557167053, -0.000332023948431015, -0.0003213435411453247, -0.0003106631338596344, -0.0002999827265739441, -0.0002893023192882538, -0.0002786219120025635, -0.00026794150471687317, -0.00025726109743118286, -0.00024658069014549255, -0.00023590028285980225, -0.00022521987557411194, -0.00021453946828842163, -0.00020385906100273132, -0.00019317865371704102, -0.0001824982464313507, -0.0001718178391456604, -0.0001611374318599701, -0.00015045702457427979, -0.00013977661728858948, -0.00012909621000289917, -0.00011841580271720886, -0.00010773539543151855, -9.705498814582825e-05, -8.637458086013794e-05, -7.569417357444763e-05, -6.501376628875732e-05, -5.4333359003067017e-05, -4.365295171737671e-05, -3.29725444316864e-05, -2.2292137145996094e-05, -1.1611729860305786e-05, -9.313225746154785e-07, 9.749084711074829e-06, 2.0429491996765137e-05, 3.1109899282455444e-05, 4.179030656814575e-05, 5.247071385383606e-05, 6.315112113952637e-05, 7.383152842521667e-05, 8.451193571090698e-05, 9.519234299659729e-05, 0.0001058727502822876, 0.0001165531575679779, 0.0001272335648536682, 0.00013791397213935852, 0.00014859437942504883, 0.00015927478671073914, 0.00016995519399642944, 0.00018063560128211975, 0.00019131600856781006, 0.00020199641585350037, 0.00021267682313919067, 0.00022335723042488098, 0.0002340376377105713, 0.0002447180449962616, 0.0002553984522819519, 0.0002660788595676422, 0.0002767592668533325, 0.00028743967413902283, 0.00029812008142471313, 0.00030880048871040344, 0.00031948089599609375]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 1.0, 5.0, 4.0, 3.0, 8.0, 8.0, 3.0, 11.0, 12.0, 17.0, 11.0, 16.0, 22.0, 16.0, 24.0, 29.0, 22.0, 30.0, 35.0, 37.0, 31.0, 25.0, 38.0, 37.0, 1060.0, 42.0, 36.0, 34.0, 37.0, 42.0, 40.0, 35.0, 36.0, 31.0, 28.0, 34.0, 19.0, 13.0, 13.0, 14.0, 8.0, 16.0, 15.0, 9.0, 8.0, 7.0, 7.0, 2.0, 3.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.03240966796875, -0.03129100799560547, -0.030172348022460938, -0.029053688049316406, -0.027935028076171875, -0.026816368103027344, -0.025697708129882812, -0.02457904815673828, -0.02346038818359375, -0.02234172821044922, -0.021223068237304688, -0.020104408264160156, -0.018985748291015625, -0.017867088317871094, -0.016748428344726562, -0.01562976837158203, -0.0145111083984375, -0.013392448425292969, -0.012273788452148438, -0.011155128479003906, -0.010036468505859375, -0.008917808532714844, -0.0077991485595703125, -0.006680488586425781, -0.00556182861328125, -0.004443168640136719, -0.0033245086669921875, -0.0022058486938476562, -0.001087188720703125, 3.147125244140625e-05, 0.0011501312255859375, 0.0022687911987304688, 0.003387451171875, 0.004506111145019531, 0.0056247711181640625, 0.006743431091308594, 0.007862091064453125, 0.008980751037597656, 0.010099411010742188, 0.011218070983886719, 0.01233673095703125, 0.013455390930175781, 0.014574050903320312, 0.015692710876464844, 0.016811370849609375, 0.017930030822753906, 0.019048690795898438, 0.02016735076904297, 0.0212860107421875, 0.02240467071533203, 0.023523330688476562, 0.024641990661621094, 0.025760650634765625, 0.026879310607910156, 0.027997970581054688, 0.02911663055419922, 0.03023529052734375, 0.03135395050048828, 0.03247261047363281, 0.033591270446777344, 0.034709930419921875, 0.035828590393066406, 0.03694725036621094, 0.03806591033935547, 0.0391845703125]}, "gradients/decoder.transformer.h.3.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 2.0, 7.0, 5.0, 7.0, 14.0, 9.0, 14.0, 11.0, 16.0, 9.0, 20.0, 19.0, 21.0, 40.0, 26.0, 35.0, 33.0, 46.0, 90.0, 174.0, 500.0, 2677.0, 45136.0, 2042755.0, 4134.0, 703.0, 220.0, 83.0, 50.0, 40.0, 19.0, 29.0, 26.0, 28.0, 14.0, 22.0, 18.0, 11.0, 18.0, 9.0, 10.0, 7.0, 6.0, 10.0, 2.0, 5.0, 4.0, 1.0, 3.0, 2.0, 0.0, 1.0], "bins": [-4.38690185546875e-05, -4.262011498212814e-05, -4.137121140956879e-05, -4.012230783700943e-05, -3.887340426445007e-05, -3.7624500691890717e-05, -3.637559711933136e-05, -3.5126693546772e-05, -3.3877789974212646e-05, -3.262888640165329e-05, -3.137998282909393e-05, -3.0131079256534576e-05, -2.888217568397522e-05, -2.7633272111415863e-05, -2.6384368538856506e-05, -2.513546496629715e-05, -2.3886561393737793e-05, -2.2637657821178436e-05, -2.138875424861908e-05, -2.0139850676059723e-05, -1.8890947103500366e-05, -1.764204353094101e-05, -1.6393139958381653e-05, -1.5144236385822296e-05, -1.389533281326294e-05, -1.2646429240703583e-05, -1.1397525668144226e-05, -1.014862209558487e-05, -8.899718523025513e-06, -7.650814950466156e-06, -6.401911377906799e-06, -5.153007805347443e-06, -3.904104232788086e-06, -2.6552006602287292e-06, -1.4062970876693726e-06, -1.5739351511001587e-07, 1.0915100574493408e-06, 2.3404136300086975e-06, 3.589317202568054e-06, 4.838220775127411e-06, 6.087124347686768e-06, 7.336027920246124e-06, 8.584931492805481e-06, 9.833835065364838e-06, 1.1082738637924194e-05, 1.2331642210483551e-05, 1.3580545783042908e-05, 1.4829449355602264e-05, 1.607835292816162e-05, 1.7327256500720978e-05, 1.8576160073280334e-05, 1.982506364583969e-05, 2.1073967218399048e-05, 2.2322870790958405e-05, 2.357177436351776e-05, 2.4820677936077118e-05, 2.6069581508636475e-05, 2.731848508119583e-05, 2.8567388653755188e-05, 2.9816292226314545e-05, 3.10651957988739e-05, 3.231409937143326e-05, 3.3563002943992615e-05, 3.481190651655197e-05, 3.606081008911133e-05]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.3.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 4.0, 1.0, 3.0, 6.0, 8.0, 7.0, 5.0, 13.0, 8.0, 8.0, 19.0, 24.0, 18.0, 23.0, 40.0, 33.0, 32.0, 41.0, 47.0, 35.0, 49.0, 34.0, 53.0, 54.0, 53.0, 36.0, 43.0, 37.0, 38.0, 41.0, 35.0, 30.0, 26.0, 14.0, 24.0, 18.0, 10.0, 8.0, 6.0, 3.0, 6.0, 6.0, 6.0, 5.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.048309326171875, -0.046953678131103516, -0.04559803009033203, -0.04424238204956055, -0.04288673400878906, -0.04153108596801758, -0.040175437927246094, -0.03881978988647461, -0.037464141845703125, -0.03610849380493164, -0.034752845764160156, -0.03339719772338867, -0.03204154968261719, -0.030685901641845703, -0.02933025360107422, -0.027974605560302734, -0.02661895751953125, -0.025263309478759766, -0.02390766143798828, -0.022552013397216797, -0.021196365356445312, -0.019840717315673828, -0.018485069274902344, -0.01712942123413086, -0.015773773193359375, -0.01441812515258789, -0.013062477111816406, -0.011706829071044922, -0.010351181030273438, -0.008995532989501953, -0.007639884948730469, -0.006284236907958984, -0.0049285888671875, -0.0035729408264160156, -0.0022172927856445312, -0.0008616447448730469, 0.0004940032958984375, 0.0018496513366699219, 0.0032052993774414062, 0.004560947418212891, 0.005916595458984375, 0.007272243499755859, 0.008627891540527344, 0.009983539581298828, 0.011339187622070312, 0.012694835662841797, 0.014050483703613281, 0.015406131744384766, 0.01676177978515625, 0.018117427825927734, 0.01947307586669922, 0.020828723907470703, 0.022184371948242188, 0.023540019989013672, 0.024895668029785156, 0.02625131607055664, 0.027606964111328125, 0.02896261215209961, 0.030318260192871094, 0.03167390823364258, 0.03302955627441406, 0.03438520431518555, 0.03574085235595703, 0.037096500396728516, 0.0384521484375]}, "gradients/decoder.transformer.h.3.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 7.0, 6.0, 18.0, 25.0, 22.0, 40.0, 54.0, 94.0, 111.0, 179.0, 311.0, 430.0, 739.0, 1040.0, 1672.0, 2546.0, 4145.0, 6647.0, 10773.0, 17685.0, 29695.0, 51469.0, 91803.0, 162704.0, 225507.0, 185266.0, 107942.0, 60245.0, 34163.0, 20540.0, 12213.0, 7469.0, 4691.0, 2930.0, 1868.0, 1270.0, 759.0, 510.0, 327.0, 228.0, 133.0, 98.0, 58.0, 31.0, 29.0, 24.0, 11.0, 12.0, 9.0, 6.0, 5.0, 4.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.045440673828125, -0.044048309326171875, -0.04265594482421875, -0.041263580322265625, -0.0398712158203125, -0.038478851318359375, -0.03708648681640625, -0.035694122314453125, -0.0343017578125, -0.032909393310546875, -0.03151702880859375, -0.030124664306640625, -0.0287322998046875, -0.027339935302734375, -0.02594757080078125, -0.024555206298828125, -0.023162841796875, -0.021770477294921875, -0.02037811279296875, -0.018985748291015625, -0.0175933837890625, -0.016201019287109375, -0.01480865478515625, -0.013416290283203125, -0.01202392578125, -0.010631561279296875, -0.00923919677734375, -0.007846832275390625, -0.0064544677734375, -0.005062103271484375, -0.00366973876953125, -0.002277374267578125, -0.000885009765625, 0.000507354736328125, 0.00189971923828125, 0.003292083740234375, 0.0046844482421875, 0.006076812744140625, 0.00746917724609375, 0.008861541748046875, 0.01025390625, 0.011646270751953125, 0.01303863525390625, 0.014430999755859375, 0.0158233642578125, 0.017215728759765625, 0.01860809326171875, 0.020000457763671875, 0.021392822265625, 0.022785186767578125, 0.02417755126953125, 0.025569915771484375, 0.0269622802734375, 0.028354644775390625, 0.02974700927734375, 0.031139373779296875, 0.03253173828125, 0.033924102783203125, 0.03531646728515625, 0.036708831787109375, 0.0381011962890625, 0.039493560791015625, 0.04088592529296875, 0.042278289794921875, 0.043670654296875]}, "gradients/decoder.transformer.h.3.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 1.0, 0.0, 3.0, 1.0, 4.0, 4.0, 6.0, 1.0, 6.0, 1.0, 8.0, 9.0, 8.0, 12.0, 15.0, 16.0, 13.0, 21.0, 26.0, 29.0, 34.0, 25.0, 45.0, 41.0, 43.0, 60.0, 91.0, 146.0, 196.0, 1336.0, 232.0, 119.0, 75.0, 69.0, 56.0, 36.0, 35.0, 35.0, 36.0, 22.0, 23.0, 21.0, 20.0, 12.0, 14.0, 12.0, 8.0, 6.0, 4.0, 4.0, 7.0, 4.0, 3.0, 3.0, 3.0, 2.0, 0.0, 2.0, 0.0, 3.0], "bins": [-0.0966796875, -0.09380340576171875, -0.0909271240234375, -0.08805084228515625, -0.085174560546875, -0.08229827880859375, -0.0794219970703125, -0.07654571533203125, -0.07366943359375, -0.07079315185546875, -0.0679168701171875, -0.06504058837890625, -0.062164306640625, -0.05928802490234375, -0.0564117431640625, -0.05353546142578125, -0.0506591796875, -0.04778289794921875, -0.0449066162109375, -0.04203033447265625, -0.039154052734375, -0.03627777099609375, -0.0334014892578125, -0.03052520751953125, -0.02764892578125, -0.02477264404296875, -0.0218963623046875, -0.01902008056640625, -0.016143798828125, -0.01326751708984375, -0.0103912353515625, -0.00751495361328125, -0.004638671875, -0.00176239013671875, 0.0011138916015625, 0.00399017333984375, 0.006866455078125, 0.00974273681640625, 0.0126190185546875, 0.01549530029296875, 0.01837158203125, 0.02124786376953125, 0.0241241455078125, 0.02700042724609375, 0.029876708984375, 0.03275299072265625, 0.0356292724609375, 0.03850555419921875, 0.0413818359375, 0.04425811767578125, 0.0471343994140625, 0.05001068115234375, 0.052886962890625, 0.05576324462890625, 0.0586395263671875, 0.06151580810546875, 0.06439208984375, 0.06726837158203125, 0.0701446533203125, 0.07302093505859375, 0.075897216796875, 0.07877349853515625, 0.0816497802734375, 0.08452606201171875, 0.08740234375]}, "gradients/decoder.transformer.h.3.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 4.0, 1.0, 9.0, 7.0, 7.0, 5.0, 16.0, 17.0, 20.0, 34.0, 37.0, 67.0, 82.0, 105.0, 164.0, 235.0, 357.0, 757.0, 2956.0, 30434.0, 1884888.0, 1196410.0, 24636.0, 2547.0, 735.0, 388.0, 245.0, 161.0, 110.0, 74.0, 49.0, 40.0, 27.0, 22.0, 17.0, 8.0, 10.0, 10.0, 6.0, 3.0, 3.0, 2.0, 0.0, 0.0, 4.0, 3.0, 1.0, 0.0, 3.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.2022705078125, -0.19594192504882812, -0.18961334228515625, -0.18328475952148438, -0.1769561767578125, -0.17062759399414062, -0.16429901123046875, -0.15797042846679688, -0.151641845703125, -0.14531326293945312, -0.13898468017578125, -0.13265609741210938, -0.1263275146484375, -0.11999893188476562, -0.11367034912109375, -0.10734176635742188, -0.10101318359375, -0.09468460083007812, -0.08835601806640625, -0.08202743530273438, -0.0756988525390625, -0.06937026977539062, -0.06304168701171875, -0.056713104248046875, -0.050384521484375, -0.044055938720703125, -0.03772735595703125, -0.031398773193359375, -0.0250701904296875, -0.018741607666015625, -0.01241302490234375, -0.006084442138671875, 0.000244140625, 0.006572723388671875, 0.01290130615234375, 0.019229888916015625, 0.0255584716796875, 0.031887054443359375, 0.03821563720703125, 0.044544219970703125, 0.050872802734375, 0.057201385498046875, 0.06352996826171875, 0.06985855102539062, 0.0761871337890625, 0.08251571655273438, 0.08884429931640625, 0.09517288208007812, 0.10150146484375, 0.10783004760742188, 0.11415863037109375, 0.12048721313476562, 0.1268157958984375, 0.13314437866210938, 0.13947296142578125, 0.14580154418945312, 0.152130126953125, 0.15845870971679688, 0.16478729248046875, 0.17111587524414062, 0.1774444580078125, 0.18377304077148438, 0.19010162353515625, 0.19643020629882812, 0.2027587890625]}, "gradients/decoder.transformer.h.3.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 13.0, 82.0, 309.0, 411.0, 169.0, 28.0, 6.0, 0.0, 0.0, 1.0], "bins": [-2.4707703590393066, -2.427605152130127, -2.3844399452209473, -2.3412747383117676, -2.298109531402588, -2.254944324493408, -2.2117791175842285, -2.168613910675049, -2.125448703765869, -2.0822834968566895, -2.0391182899475098, -1.99595308303833, -1.9527878761291504, -1.9096226692199707, -1.866457462310791, -1.8232922554016113, -1.780126929283142, -1.7369617223739624, -1.6937965154647827, -1.650631308555603, -1.6074661016464233, -1.5643008947372437, -1.5211355686187744, -1.4779703617095947, -1.434805154800415, -1.3916399478912354, -1.3484747409820557, -1.305309534072876, -1.2621443271636963, -1.2189791202545166, -1.175813913345337, -1.1326487064361572, -1.0894834995269775, -1.0463182926177979, -1.0031530857086182, -0.9599878787994385, -0.9168226718902588, -0.8736574649810791, -0.8304921984672546, -0.787326991558075, -0.7441617846488953, -0.7009965777397156, -0.6578313708305359, -0.6146661043167114, -0.5715008974075317, -0.528335690498352, -0.48517048358917236, -0.4420052766799927, -0.398840069770813, -0.3556748628616333, -0.3125096559524536, -0.26934441924095154, -0.22617921233177185, -0.18301400542259216, -0.1398487687110901, -0.0966835618019104, -0.05351835489273071, -0.010353140532970428, 0.032812073826789856, 0.07597729563713074, 0.11914250254631042, 0.1623077094554901, 0.2054729461669922, 0.24863815307617188, 0.29180335998535156]}, "gradients/decoder.transformer.h.3.ln_1.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 4.0, 4.0, 4.0, 7.0, 4.0, 11.0, 7.0, 20.0, 17.0, 21.0, 25.0, 25.0, 26.0, 36.0, 27.0, 41.0, 43.0, 51.0, 46.0, 33.0, 37.0, 50.0, 33.0, 50.0, 51.0, 37.0, 44.0, 29.0, 31.0, 31.0, 21.0, 27.0, 16.0, 12.0, 19.0, 11.0, 9.0, 6.0, 6.0, 9.0, 10.0, 3.0, 8.0, 5.0, 0.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.3907548189163208, -0.37912899255752563, -0.3675031363964081, -0.3558773100376129, -0.34425148367881775, -0.3326256275177002, -0.32099980115890503, -0.30937397480010986, -0.2977481484413147, -0.28612232208251953, -0.274496465921402, -0.2628706395626068, -0.25124481320381165, -0.23961897194385529, -0.22799313068389893, -0.21636730432510376, -0.2047414481639862, -0.19311560690402985, -0.18148978054523468, -0.16986393928527832, -0.15823811292648315, -0.1466122716665268, -0.13498643040657043, -0.12336059659719467, -0.11173476278781891, -0.10010892897844315, -0.08848309516906738, -0.07685725390911102, -0.06523142009973526, -0.0536055862903595, -0.04197974503040314, -0.030353911221027374, -0.01872807741165161, -0.007102241739630699, 0.004523593932390213, 0.016149431467056274, 0.027775265276432037, 0.0394010990858078, 0.05102694034576416, 0.06265277415513992, 0.07427860796451569, 0.08590444177389145, 0.09753027558326721, 0.10915611684322357, 0.12078195065259933, 0.1324077844619751, 0.14403362572193146, 0.15565946698188782, 0.16728529334068298, 0.17891113460063934, 0.1905369609594345, 0.20216280221939087, 0.21378862857818604, 0.2254144698381424, 0.23704031109809875, 0.24866613745689392, 0.2602919936180115, 0.27191781997680664, 0.2835436761379242, 0.29516950249671936, 0.3067953288555145, 0.3184211850166321, 0.33004701137542725, 0.3416728377342224, 0.3532986640930176]}, "gradients/decoder.transformer.h.2.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 1.0, 2.0, 2.0, 6.0, 3.0, 8.0, 13.0, 6.0, 8.0, 13.0, 11.0, 14.0, 18.0, 14.0, 13.0, 25.0, 26.0, 33.0, 46.0, 36.0, 31.0, 37.0, 39.0, 34.0, 54.0, 46.0, 39.0, 43.0, 46.0, 36.0, 31.0, 42.0, 25.0, 23.0, 26.0, 28.0, 24.0, 18.0, 20.0, 15.0, 7.0, 10.0, 6.0, 7.0, 5.0, 3.0, 6.0, 5.0, 1.0, 1.0, 4.0, 4.0, 1.0], "bins": [-0.04437255859375, -0.04314470291137695, -0.041916847229003906, -0.04068899154663086, -0.03946113586425781, -0.038233280181884766, -0.03700542449951172, -0.03577756881713867, -0.034549713134765625, -0.03332185745239258, -0.03209400177001953, -0.030866146087646484, -0.029638290405273438, -0.02841043472290039, -0.027182579040527344, -0.025954723358154297, -0.02472686767578125, -0.023499011993408203, -0.022271156311035156, -0.02104330062866211, -0.019815444946289062, -0.018587589263916016, -0.01735973358154297, -0.016131877899169922, -0.014904022216796875, -0.013676166534423828, -0.012448310852050781, -0.011220455169677734, -0.009992599487304688, -0.00876474380493164, -0.007536888122558594, -0.006309032440185547, -0.0050811767578125, -0.003853321075439453, -0.0026254653930664062, -0.0013976097106933594, -0.0001697540283203125, 0.0010581016540527344, 0.0022859573364257812, 0.003513813018798828, 0.004741668701171875, 0.005969524383544922, 0.007197380065917969, 0.008425235748291016, 0.009653091430664062, 0.01088094711303711, 0.012108802795410156, 0.013336658477783203, 0.01456451416015625, 0.015792369842529297, 0.017020225524902344, 0.01824808120727539, 0.019475936889648438, 0.020703792572021484, 0.02193164825439453, 0.023159503936767578, 0.024387359619140625, 0.025615215301513672, 0.02684307098388672, 0.028070926666259766, 0.029298782348632812, 0.03052663803100586, 0.031754493713378906, 0.03298234939575195, 0.034210205078125]}, "gradients/decoder.transformer.h.2.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 4.0, 1.0, 1.0, 5.0, 12.0, 6.0, 10.0, 10.0, 23.0, 30.0, 40.0, 71.0, 96.0, 133.0, 193.0, 260.0, 458.0, 704.0, 1171.0, 2119.0, 3931.0, 7870.0, 17425.0, 44779.0, 191058.0, 1145256.0, 2164892.0, 476406.0, 87272.0, 26742.0, 11274.0, 5333.0, 2805.0, 1477.0, 910.0, 524.0, 326.0, 218.0, 166.0, 94.0, 62.0, 41.0, 34.0, 25.0, 8.0, 12.0, 6.0, 1.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.07110595703125, -0.06883049011230469, -0.06655502319335938, -0.06427955627441406, -0.06200408935546875, -0.05972862243652344, -0.057453155517578125, -0.05517768859863281, -0.0529022216796875, -0.05062675476074219, -0.048351287841796875, -0.04607582092285156, -0.04380035400390625, -0.04152488708496094, -0.039249420166015625, -0.03697395324707031, -0.034698486328125, -0.03242301940917969, -0.030147552490234375, -0.027872085571289062, -0.02559661865234375, -0.023321151733398438, -0.021045684814453125, -0.018770217895507812, -0.0164947509765625, -0.014219284057617188, -0.011943817138671875, -0.009668350219726562, -0.00739288330078125, -0.0051174163818359375, -0.002841949462890625, -0.0005664825439453125, 0.001708984375, 0.0039844512939453125, 0.006259918212890625, 0.008535385131835938, 0.01081085205078125, 0.013086318969726562, 0.015361785888671875, 0.017637252807617188, 0.0199127197265625, 0.022188186645507812, 0.024463653564453125, 0.026739120483398438, 0.02901458740234375, 0.03129005432128906, 0.033565521240234375, 0.03584098815917969, 0.038116455078125, 0.04039192199707031, 0.042667388916015625, 0.04494285583496094, 0.04721832275390625, 0.04949378967285156, 0.051769256591796875, 0.05404472351074219, 0.0563201904296875, 0.05859565734863281, 0.060871124267578125, 0.06314659118652344, 0.06542205810546875, 0.06769752502441406, 0.06997299194335938, 0.07224845886230469, 0.07452392578125]}, "gradients/decoder.transformer.h.2.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 2.0, 2.0, 5.0, 10.0, 6.0, 16.0, 27.0, 49.0, 55.0, 54.0, 78.0, 108.0, 145.0, 182.0, 227.0, 363.0, 501.0, 591.0, 468.0, 330.0, 238.0, 186.0, 106.0, 91.0, 71.0, 45.0, 35.0, 24.0, 15.0, 14.0, 8.0, 3.0, 4.0, 8.0, 6.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0], "bins": [-0.0791015625, -0.07692861557006836, -0.07475566864013672, -0.07258272171020508, -0.07040977478027344, -0.0682368278503418, -0.06606388092041016, -0.06389093399047852, -0.061717987060546875, -0.059545040130615234, -0.057372093200683594, -0.05519914627075195, -0.05302619934082031, -0.05085325241088867, -0.04868030548095703, -0.04650735855102539, -0.04433441162109375, -0.04216146469116211, -0.03998851776123047, -0.03781557083129883, -0.03564262390136719, -0.03346967697143555, -0.031296730041503906, -0.029123783111572266, -0.026950836181640625, -0.024777889251708984, -0.022604942321777344, -0.020431995391845703, -0.018259048461914062, -0.016086101531982422, -0.013913154602050781, -0.01174020767211914, -0.0095672607421875, -0.007394313812255859, -0.005221366882324219, -0.003048419952392578, -0.0008754730224609375, 0.0012974739074707031, 0.0034704208374023438, 0.005643367767333984, 0.007816314697265625, 0.009989261627197266, 0.012162208557128906, 0.014335155487060547, 0.016508102416992188, 0.018681049346923828, 0.02085399627685547, 0.02302694320678711, 0.02519989013671875, 0.02737283706665039, 0.02954578399658203, 0.03171873092651367, 0.03389167785644531, 0.03606462478637695, 0.038237571716308594, 0.040410518646240234, 0.042583465576171875, 0.044756412506103516, 0.046929359436035156, 0.0491023063659668, 0.05127525329589844, 0.05344820022583008, 0.05562114715576172, 0.05779409408569336, 0.059967041015625]}, "gradients/decoder.transformer.h.2.mlp.c_fc.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 3.0, 4.0, 2.0, 1.0, 11.0, 12.0, 23.0, 20.0, 37.0, 53.0, 111.0, 158.0, 247.0, 403.0, 827.0, 1508.0, 3298.0, 7916.0, 22759.0, 85180.0, 471266.0, 2800081.0, 648545.0, 107605.0, 27504.0, 9166.0, 3727.0, 1697.0, 883.0, 495.0, 280.0, 174.0, 120.0, 68.0, 33.0, 26.0, 11.0, 4.0, 7.0, 7.0, 6.0, 2.0, 2.0, 3.0, 1.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.09490966796875, -0.0919961929321289, -0.08908271789550781, -0.08616924285888672, -0.08325576782226562, -0.08034229278564453, -0.07742881774902344, -0.07451534271240234, -0.07160186767578125, -0.06868839263916016, -0.06577491760253906, -0.06286144256591797, -0.059947967529296875, -0.05703449249267578, -0.05412101745605469, -0.051207542419433594, -0.0482940673828125, -0.045380592346191406, -0.04246711730957031, -0.03955364227294922, -0.036640167236328125, -0.03372669219970703, -0.030813217163085938, -0.027899742126464844, -0.02498626708984375, -0.022072792053222656, -0.019159317016601562, -0.01624584197998047, -0.013332366943359375, -0.010418891906738281, -0.0075054168701171875, -0.004591941833496094, -0.001678466796875, 0.0012350082397460938, 0.0041484832763671875, 0.007061958312988281, 0.009975433349609375, 0.012888908386230469, 0.015802383422851562, 0.018715858459472656, 0.02162933349609375, 0.024542808532714844, 0.027456283569335938, 0.03036975860595703, 0.033283233642578125, 0.03619670867919922, 0.03911018371582031, 0.042023658752441406, 0.0449371337890625, 0.047850608825683594, 0.05076408386230469, 0.05367755889892578, 0.056591033935546875, 0.05950450897216797, 0.06241798400878906, 0.06533145904541016, 0.06824493408203125, 0.07115840911865234, 0.07407188415527344, 0.07698535919189453, 0.07989883422851562, 0.08281230926513672, 0.08572578430175781, 0.0886392593383789, 0.091552734375]}, "gradients/decoder.transformer.h.2.ln_2.weight": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 31.0, 279.0, 543.0, 148.0, 11.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.29713204503059387, -0.2419077306985855, -0.18668341636657715, -0.13145911693572998, -0.07623480260372162, -0.021010488271713257, 0.03421381115913391, 0.08943814039230347, 0.14466243982315063, 0.199886754155159, 0.25511106848716736, 0.3103353679180145, 0.3655596971511841, 0.42078399658203125, 0.4760082960128784, 0.5312325954437256, 0.5864568948745728, 0.6416811943054199, 0.6969054937362671, 0.7521297931671143, 0.8073541522026062, 0.8625784516334534, 0.9178027510643005, 0.9730271100997925, 1.0282514095306396, 1.0834757089614868, 1.138700008392334, 1.1939243078231812, 1.2491486072540283, 1.304373025894165, 1.3595972061157227, 1.4148216247558594, 1.4700459241867065, 1.5252702236175537, 1.5804945230484009, 1.635718822479248, 1.6909431219100952, 1.7461674213409424, 1.801391839981079, 1.8566161394119263, 1.9118404388427734, 1.9670647382736206, 2.0222890377044678, 2.0775134563446045, 2.132737636566162, 2.187962055206299, 2.2431862354278564, 2.298410654067993, 2.353634834289551, 2.4088592529296875, 2.464083433151245, 2.519307851791382, 2.5745320320129395, 2.629756450653076, 2.684980630874634, 2.7402050495147705, 2.7954294681549072, 2.850653886795044, 2.9058780670166016, 2.9611024856567383, 3.016326665878296, 3.0715510845184326, 3.1267752647399902, 3.181999683380127, 3.2372238636016846]}, "gradients/decoder.transformer.h.2.ln_2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 0.0, 3.0, 4.0, 4.0, 9.0, 8.0, 14.0, 15.0, 11.0, 27.0, 30.0, 31.0, 35.0, 39.0, 43.0, 45.0, 44.0, 64.0, 50.0, 60.0, 58.0, 50.0, 49.0, 48.0, 44.0, 29.0, 36.0, 31.0, 20.0, 20.0, 22.0, 17.0, 22.0, 9.0, 5.0, 6.0, 1.0, 4.0, 5.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.39326047897338867, -0.3835213780403137, -0.37378227710723877, -0.3640432059764862, -0.35430410504341125, -0.3445650041103363, -0.33482593297958374, -0.3250868320465088, -0.31534773111343384, -0.3056086301803589, -0.29586952924728394, -0.28613045811653137, -0.2763913571834564, -0.26665225625038147, -0.2569131851196289, -0.24717408418655396, -0.237434983253479, -0.22769588232040405, -0.2179567962884903, -0.20821771025657654, -0.1984786093235016, -0.18873950839042664, -0.17900042235851288, -0.16926133632659912, -0.15952223539352417, -0.14978313446044922, -0.14004404842853546, -0.1303049623966217, -0.12056586146354675, -0.1108267679810524, -0.10108767449855804, -0.09134858101606369, -0.08160948753356934, -0.07187039405107498, -0.06213130056858063, -0.05239220708608627, -0.04265311360359192, -0.032914020121097565, -0.02317492663860321, -0.013435833156108856, -0.003696739673614502, 0.006042353808879852, 0.015781447291374207, 0.02552054077386856, 0.035259634256362915, 0.04499872773885727, 0.054737821221351624, 0.06447691470384598, 0.07421600818634033, 0.08395510166883469, 0.09369419515132904, 0.1034332886338234, 0.11317238211631775, 0.1229114755988121, 0.13265056908130646, 0.14238965511322021, 0.15212875604629517, 0.16186785697937012, 0.17160694301128387, 0.18134602904319763, 0.19108512997627258, 0.20082423090934753, 0.2105633169412613, 0.22030240297317505, 0.23004150390625]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 1.0, 2.0, 6.0, 4.0, 8.0, 7.0, 7.0, 7.0, 19.0, 8.0, 14.0, 9.0, 21.0, 22.0, 25.0, 25.0, 34.0, 38.0, 29.0, 38.0, 34.0, 38.0, 43.0, 37.0, 37.0, 51.0, 51.0, 38.0, 37.0, 28.0, 35.0, 26.0, 31.0, 35.0, 31.0, 20.0, 20.0, 12.0, 18.0, 9.0, 11.0, 6.0, 10.0, 6.0, 3.0, 4.0, 6.0, 2.0, 5.0, 1.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.040924072265625, -0.039734840393066406, -0.03854560852050781, -0.03735637664794922, -0.036167144775390625, -0.03497791290283203, -0.03378868103027344, -0.032599449157714844, -0.03141021728515625, -0.030220985412597656, -0.029031753540039062, -0.02784252166748047, -0.026653289794921875, -0.02546405792236328, -0.024274826049804688, -0.023085594177246094, -0.0218963623046875, -0.020707130432128906, -0.019517898559570312, -0.01832866668701172, -0.017139434814453125, -0.01595020294189453, -0.014760971069335938, -0.013571739196777344, -0.01238250732421875, -0.011193275451660156, -0.010004043579101562, -0.008814811706542969, -0.007625579833984375, -0.006436347961425781, -0.0052471160888671875, -0.004057884216308594, -0.00286865234375, -0.0016794204711914062, -0.0004901885986328125, 0.0006990432739257812, 0.001888275146484375, 0.0030775070190429688, 0.0042667388916015625, 0.005455970764160156, 0.00664520263671875, 0.007834434509277344, 0.009023666381835938, 0.010212898254394531, 0.011402130126953125, 0.012591361999511719, 0.013780593872070312, 0.014969825744628906, 0.0161590576171875, 0.017348289489746094, 0.018537521362304688, 0.01972675323486328, 0.020915985107421875, 0.02210521697998047, 0.023294448852539062, 0.024483680725097656, 0.02567291259765625, 0.026862144470214844, 0.028051376342773438, 0.02924060821533203, 0.030429840087890625, 0.03161907196044922, 0.03280830383300781, 0.033997535705566406, 0.035186767578125]}, "gradients/decoder.transformer.h.2.crossattention.c_proj.weight": {"_type": "histogram", "values": [4.0, 1.0, 0.0, 5.0, 2.0, 12.0, 11.0, 20.0, 25.0, 29.0, 51.0, 90.0, 136.0, 178.0, 276.0, 395.0, 623.0, 962.0, 1391.0, 2169.0, 3249.0, 4833.0, 7263.0, 11245.0, 17391.0, 27511.0, 43878.0, 72669.0, 137351.0, 346879.0, 157663.0, 80116.0, 48228.0, 29755.0, 18851.0, 11825.0, 7971.0, 5170.0, 3493.0, 2279.0, 1505.0, 1049.0, 659.0, 446.0, 294.0, 215.0, 131.0, 80.0, 66.0, 39.0, 28.0, 23.0, 14.0, 7.0, 7.0, 5.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.0002455711364746094, -0.00023727118968963623, -0.00022897124290466309, -0.00022067129611968994, -0.0002123713493347168, -0.00020407140254974365, -0.0001957714557647705, -0.00018747150897979736, -0.00017917156219482422, -0.00017087161540985107, -0.00016257166862487793, -0.00015427172183990479, -0.00014597177505493164, -0.0001376718282699585, -0.00012937188148498535, -0.00012107193470001221, -0.00011277198791503906, -0.00010447204113006592, -9.617209434509277e-05, -8.787214756011963e-05, -7.957220077514648e-05, -7.127225399017334e-05, -6.29723072052002e-05, -5.467236042022705e-05, -4.6372413635253906e-05, -3.807246685028076e-05, -2.9772520065307617e-05, -2.1472573280334473e-05, -1.3172626495361328e-05, -4.872679710388184e-06, 3.427267074584961e-06, 1.1727213859558105e-05, 2.002716064453125e-05, 2.8327107429504395e-05, 3.662705421447754e-05, 4.4927000999450684e-05, 5.322694778442383e-05, 6.152689456939697e-05, 6.982684135437012e-05, 7.812678813934326e-05, 8.64267349243164e-05, 9.472668170928955e-05, 0.0001030266284942627, 0.00011132657527923584, 0.00011962652206420898, 0.00012792646884918213, 0.00013622641563415527, 0.00014452636241912842, 0.00015282630920410156, 0.0001611262559890747, 0.00016942620277404785, 0.000177726149559021, 0.00018602609634399414, 0.00019432604312896729, 0.00020262598991394043, 0.00021092593669891357, 0.00021922588348388672, 0.00022752583026885986, 0.000235825777053833, 0.00024412572383880615, 0.0002524256706237793, 0.00026072561740875244, 0.0002690255641937256, 0.00027732551097869873, 0.0002856254577636719]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 7.0, 8.0, 11.0, 12.0, 9.0, 11.0, 16.0, 18.0, 31.0, 29.0, 25.0, 31.0, 38.0, 46.0, 42.0, 48.0, 48.0, 42.0, 1065.0, 54.0, 52.0, 44.0, 35.0, 53.0, 40.0, 34.0, 36.0, 35.0, 21.0, 21.0, 17.0, 5.0, 14.0, 14.0, 6.0, 5.0, 5.0, 2.0, 3.0, 0.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.040283203125, -0.038930416107177734, -0.03757762908935547, -0.0362248420715332, -0.03487205505371094, -0.03351926803588867, -0.032166481018066406, -0.03081369400024414, -0.029460906982421875, -0.02810811996459961, -0.026755332946777344, -0.025402545928955078, -0.024049758911132812, -0.022696971893310547, -0.02134418487548828, -0.019991397857666016, -0.01863861083984375, -0.017285823822021484, -0.01593303680419922, -0.014580249786376953, -0.013227462768554688, -0.011874675750732422, -0.010521888732910156, -0.00916910171508789, -0.007816314697265625, -0.006463527679443359, -0.005110740661621094, -0.003757953643798828, -0.0024051666259765625, -0.0010523796081542969, 0.00030040740966796875, 0.0016531944274902344, 0.0030059814453125, 0.004358768463134766, 0.005711555480957031, 0.007064342498779297, 0.008417129516601562, 0.009769916534423828, 0.011122703552246094, 0.01247549057006836, 0.013828277587890625, 0.01518106460571289, 0.016533851623535156, 0.017886638641357422, 0.019239425659179688, 0.020592212677001953, 0.02194499969482422, 0.023297786712646484, 0.02465057373046875, 0.026003360748291016, 0.02735614776611328, 0.028708934783935547, 0.030061721801757812, 0.03141450881958008, 0.032767295837402344, 0.03412008285522461, 0.035472869873046875, 0.03682565689086914, 0.038178443908691406, 0.03953123092651367, 0.04088401794433594, 0.0422368049621582, 0.04358959197998047, 0.044942378997802734, 0.046295166015625]}, "gradients/decoder.transformer.h.2.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 2.0, 0.0, 2.0, 1.0, 6.0, 4.0, 3.0, 12.0, 16.0, 6.0, 9.0, 16.0, 29.0, 28.0, 35.0, 36.0, 29.0, 54.0, 65.0, 166.0, 511.0, 3719.0, 2070161.0, 19892.0, 1608.0, 281.0, 124.0, 42.0, 51.0, 33.0, 28.0, 29.0, 29.0, 28.0, 17.0, 15.0, 7.0, 11.0, 10.0, 14.0, 6.0, 4.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-5.155801773071289e-05, -5.0076283514499664e-05, -4.859454929828644e-05, -4.711281508207321e-05, -4.5631080865859985e-05, -4.414934664964676e-05, -4.266761243343353e-05, -4.1185878217220306e-05, -3.970414400100708e-05, -3.8222409784793854e-05, -3.674067556858063e-05, -3.52589413523674e-05, -3.3777207136154175e-05, -3.229547291994095e-05, -3.081373870372772e-05, -2.9332004487514496e-05, -2.785027027130127e-05, -2.6368536055088043e-05, -2.4886801838874817e-05, -2.340506762266159e-05, -2.1923333406448364e-05, -2.0441599190235138e-05, -1.895986497402191e-05, -1.7478130757808685e-05, -1.599639654159546e-05, -1.4514662325382233e-05, -1.3032928109169006e-05, -1.155119389295578e-05, -1.0069459676742554e-05, -8.587725460529327e-06, -7.105991244316101e-06, -5.624257028102875e-06, -4.1425228118896484e-06, -2.660788595676422e-06, -1.1790543794631958e-06, 3.026798367500305e-07, 1.7844140529632568e-06, 3.266148269176483e-06, 4.7478824853897095e-06, 6.229616701602936e-06, 7.711350917816162e-06, 9.193085134029388e-06, 1.0674819350242615e-05, 1.2156553566455841e-05, 1.3638287782669067e-05, 1.5120021998882294e-05, 1.660175621509552e-05, 1.8083490431308746e-05, 1.9565224647521973e-05, 2.10469588637352e-05, 2.2528693079948425e-05, 2.401042729616165e-05, 2.5492161512374878e-05, 2.6973895728588104e-05, 2.845562994480133e-05, 2.9937364161014557e-05, 3.141909837722778e-05, 3.290083259344101e-05, 3.4382566809654236e-05, 3.586430102586746e-05, 3.734603524208069e-05, 3.8827769458293915e-05, 4.030950367450714e-05, 4.179123789072037e-05, 4.3272972106933594e-05]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.2.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 1.0, 2.0, 6.0, 4.0, 8.0, 7.0, 7.0, 7.0, 19.0, 8.0, 14.0, 9.0, 21.0, 22.0, 25.0, 25.0, 34.0, 38.0, 29.0, 38.0, 34.0, 38.0, 43.0, 37.0, 37.0, 51.0, 51.0, 38.0, 37.0, 28.0, 35.0, 26.0, 31.0, 35.0, 31.0, 20.0, 20.0, 12.0, 18.0, 9.0, 11.0, 6.0, 10.0, 6.0, 3.0, 4.0, 6.0, 2.0, 5.0, 1.0, 1.0, 0.0, 1.0, 3.0], "bins": [-0.040924072265625, -0.039734840393066406, -0.03854560852050781, -0.03735637664794922, -0.036167144775390625, -0.03497791290283203, -0.03378868103027344, -0.032599449157714844, -0.03141021728515625, -0.030220985412597656, -0.029031753540039062, -0.02784252166748047, -0.026653289794921875, -0.02546405792236328, -0.024274826049804688, -0.023085594177246094, -0.0218963623046875, -0.020707130432128906, -0.019517898559570312, -0.01832866668701172, -0.017139434814453125, -0.01595020294189453, -0.014760971069335938, -0.013571739196777344, -0.01238250732421875, -0.011193275451660156, -0.010004043579101562, -0.008814811706542969, -0.007625579833984375, -0.006436347961425781, -0.0052471160888671875, -0.004057884216308594, -0.00286865234375, -0.0016794204711914062, -0.0004901885986328125, 0.0006990432739257812, 0.001888275146484375, 0.0030775070190429688, 0.0042667388916015625, 0.005455970764160156, 0.00664520263671875, 0.007834434509277344, 0.009023666381835938, 0.010212898254394531, 0.011402130126953125, 0.012591361999511719, 0.013780593872070312, 0.014969825744628906, 0.0161590576171875, 0.017348289489746094, 0.018537521362304688, 0.01972675323486328, 0.020915985107421875, 0.02210521697998047, 0.023294448852539062, 0.024483680725097656, 0.02567291259765625, 0.026862144470214844, 0.028051376342773438, 0.02924060821533203, 0.030429840087890625, 0.03161907196044922, 0.03280830383300781, 0.033997535705566406, 0.035186767578125]}, "gradients/decoder.transformer.h.2.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 5.0, 4.0, 11.0, 17.0, 21.0, 42.0, 51.0, 101.0, 176.0, 265.0, 418.0, 703.0, 1192.0, 1970.0, 3357.0, 5809.0, 10019.0, 16981.0, 31270.0, 66258.0, 162508.0, 346923.0, 223646.0, 87680.0, 39705.0, 20771.0, 11735.0, 6926.0, 3988.0, 2428.0, 1394.0, 858.0, 520.0, 282.0, 216.0, 113.0, 71.0, 43.0, 28.0, 31.0, 12.0, 7.0, 4.0, 3.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.049346923828125, -0.04778861999511719, -0.046230316162109375, -0.04467201232910156, -0.04311370849609375, -0.04155540466308594, -0.039997100830078125, -0.03843879699707031, -0.0368804931640625, -0.03532218933105469, -0.033763885498046875, -0.03220558166503906, -0.03064727783203125, -0.029088973999023438, -0.027530670166015625, -0.025972366333007812, -0.0244140625, -0.022855758666992188, -0.021297454833984375, -0.019739151000976562, -0.01818084716796875, -0.016622543334960938, -0.015064239501953125, -0.013505935668945312, -0.0119476318359375, -0.010389328002929688, -0.008831024169921875, -0.0072727203369140625, -0.00571441650390625, -0.0041561126708984375, -0.002597808837890625, -0.0010395050048828125, 0.000518798828125, 0.0020771026611328125, 0.003635406494140625, 0.0051937103271484375, 0.00675201416015625, 0.008310317993164062, 0.009868621826171875, 0.011426925659179688, 0.0129852294921875, 0.014543533325195312, 0.016101837158203125, 0.017660140991210938, 0.01921844482421875, 0.020776748657226562, 0.022335052490234375, 0.023893356323242188, 0.02545166015625, 0.027009963989257812, 0.028568267822265625, 0.030126571655273438, 0.03168487548828125, 0.03324317932128906, 0.034801483154296875, 0.03635978698730469, 0.0379180908203125, 0.03947639465332031, 0.041034698486328125, 0.04259300231933594, 0.04415130615234375, 0.04570960998535156, 0.047267913818359375, 0.04882621765136719, 0.050384521484375]}, "gradients/decoder.transformer.h.2.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 2.0, 1.0, 2.0, 4.0, 4.0, 1.0, 7.0, 6.0, 10.0, 9.0, 14.0, 18.0, 16.0, 19.0, 21.0, 29.0, 33.0, 37.0, 49.0, 61.0, 69.0, 114.0, 141.0, 279.0, 1373.0, 165.0, 130.0, 75.0, 67.0, 49.0, 46.0, 36.0, 37.0, 24.0, 24.0, 15.0, 9.0, 11.0, 11.0, 10.0, 5.0, 8.0, 3.0, 7.0, 0.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.10577392578125, -0.1025848388671875, -0.099395751953125, -0.0962066650390625, -0.093017578125, -0.0898284912109375, -0.086639404296875, -0.0834503173828125, -0.08026123046875, -0.0770721435546875, -0.073883056640625, -0.0706939697265625, -0.0675048828125, -0.0643157958984375, -0.061126708984375, -0.0579376220703125, -0.05474853515625, -0.0515594482421875, -0.048370361328125, -0.0451812744140625, -0.0419921875, -0.0388031005859375, -0.035614013671875, -0.0324249267578125, -0.02923583984375, -0.0260467529296875, -0.022857666015625, -0.0196685791015625, -0.0164794921875, -0.0132904052734375, -0.010101318359375, -0.0069122314453125, -0.00372314453125, -0.0005340576171875, 0.002655029296875, 0.0058441162109375, 0.009033203125, 0.0122222900390625, 0.015411376953125, 0.0186004638671875, 0.02178955078125, 0.0249786376953125, 0.028167724609375, 0.0313568115234375, 0.0345458984375, 0.0377349853515625, 0.040924072265625, 0.0441131591796875, 0.04730224609375, 0.0504913330078125, 0.053680419921875, 0.0568695068359375, 0.06005859375, 0.0632476806640625, 0.066436767578125, 0.0696258544921875, 0.07281494140625, 0.0760040283203125, 0.079193115234375, 0.0823822021484375, 0.0855712890625, 0.0887603759765625, 0.091949462890625, 0.0951385498046875, 0.09832763671875]}, "gradients/decoder.transformer.h.2.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 4.0, 0.0, 0.0, 6.0, 4.0, 4.0, 5.0, 8.0, 20.0, 17.0, 21.0, 44.0, 72.0, 106.0, 139.0, 277.0, 414.0, 850.0, 4275.0, 192006.0, 2921635.0, 22778.0, 1541.0, 553.0, 332.0, 207.0, 125.0, 101.0, 48.0, 31.0, 20.0, 20.0, 15.0, 11.0, 8.0, 8.0, 3.0, 0.0, 2.0, 5.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.22265625, -0.21529769897460938, -0.20793914794921875, -0.20058059692382812, -0.1932220458984375, -0.18586349487304688, -0.17850494384765625, -0.17114639282226562, -0.163787841796875, -0.15642929077148438, -0.14907073974609375, -0.14171218872070312, -0.1343536376953125, -0.12699508666992188, -0.11963653564453125, -0.11227798461914062, -0.10491943359375, -0.09756088256835938, -0.09020233154296875, -0.08284378051757812, -0.0754852294921875, -0.06812667846679688, -0.06076812744140625, -0.053409576416015625, -0.046051025390625, -0.038692474365234375, -0.03133392333984375, -0.023975372314453125, -0.0166168212890625, -0.009258270263671875, -0.00189971923828125, 0.005458831787109375, 0.0128173828125, 0.020175933837890625, 0.02753448486328125, 0.034893035888671875, 0.0422515869140625, 0.049610137939453125, 0.05696868896484375, 0.06432723999023438, 0.071685791015625, 0.07904434204101562, 0.08640289306640625, 0.09376144409179688, 0.1011199951171875, 0.10847854614257812, 0.11583709716796875, 0.12319564819335938, 0.13055419921875, 0.13791275024414062, 0.14527130126953125, 0.15262985229492188, 0.1599884033203125, 0.16734695434570312, 0.17470550537109375, 0.18206405639648438, 0.189422607421875, 0.19678115844726562, 0.20413970947265625, 0.21149826049804688, 0.2188568115234375, 0.22621536254882812, 0.23357391357421875, 0.24093246459960938, 0.248291015625]}, "gradients/decoder.transformer.h.2.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 7.0, 29.0, 97.0, 245.0, 337.0, 196.0, 73.0, 26.0, 5.0, 0.0, 1.0], "bins": [-1.9552525281906128, -1.921156883239746, -1.8870612382888794, -1.8529655933380127, -1.818869948387146, -1.7847743034362793, -1.7506786584854126, -1.716583013534546, -1.6824872493743896, -1.648391604423523, -1.6142959594726562, -1.5802003145217896, -1.5461046695709229, -1.5120090246200562, -1.4779133796691895, -1.4438176155090332, -1.409722089767456, -1.3756264448165894, -1.3415307998657227, -1.307435154914856, -1.2733395099639893, -1.2392438650131226, -1.2051482200622559, -1.1710524559020996, -1.1369569301605225, -1.1028612852096558, -1.068765640258789, -1.0346699953079224, -1.0005743503570557, -0.966478705406189, -0.9323830008506775, -0.8982873558998108, -0.8641916513442993, -0.8300960063934326, -0.7960003614425659, -0.7619047164916992, -0.7278090715408325, -0.6937134265899658, -0.6596177220344543, -0.6255220770835876, -0.591426432132721, -0.5573307871818542, -0.5232351422309875, -0.48913946747779846, -0.45504382252693176, -0.42094817757606506, -0.386852502822876, -0.3527568578720093, -0.3186612129211426, -0.2845655679702759, -0.2504699230194092, -0.2163742482662201, -0.1822786033153534, -0.1481829583644867, -0.1140872985124588, -0.07999163866043091, -0.0458960086107254, -0.011800356209278107, 0.02229529619216919, 0.056390948593616486, 0.09048660099506378, 0.12458224594593048, 0.15867790579795837, 0.19277356564998627, 0.22686921060085297]}, "gradients/decoder.transformer.h.2.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 0.0, 6.0, 6.0, 5.0, 6.0, 13.0, 12.0, 18.0, 15.0, 25.0, 20.0, 31.0, 34.0, 29.0, 21.0, 40.0, 45.0, 32.0, 30.0, 42.0, 61.0, 39.0, 36.0, 50.0, 40.0, 37.0, 43.0, 38.0, 30.0, 25.0, 36.0, 27.0, 21.0, 20.0, 14.0, 16.0, 7.0, 11.0, 6.0, 7.0, 5.0, 6.0, 4.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.3902324438095093, -0.3785570561885834, -0.3668816387653351, -0.3552062511444092, -0.3435308635234833, -0.3318554759025574, -0.3201800584793091, -0.3085046708583832, -0.2968292832374573, -0.28515389561653137, -0.2734784781932831, -0.2618030905723572, -0.2501277029514313, -0.23845230042934418, -0.22677689790725708, -0.21510151028633118, -0.20342609286308289, -0.1917506903409958, -0.18007530272006989, -0.1683999001979828, -0.15672451257705688, -0.1450491100549698, -0.1333737075328827, -0.12169831246137619, -0.11002291738986969, -0.09834752231836319, -0.08667212724685669, -0.07499672472476959, -0.06332132965326309, -0.05164593458175659, -0.039970532059669495, -0.028295136988162994, -0.016619741916656494, -0.004944344982504845, 0.006731051951646805, 0.018406450748443604, 0.030081845819950104, 0.041757240891456604, 0.0534326434135437, 0.0651080384850502, 0.0767834335565567, 0.0884588286280632, 0.1001342236995697, 0.1118096262216568, 0.1234850212931633, 0.1351604163646698, 0.1468358188867569, 0.158511221408844, 0.1701866090297699, 0.181862011551857, 0.1935373991727829, 0.20521280169487, 0.2168881893157959, 0.228563591837883, 0.2402389943599701, 0.251914381980896, 0.2635897994041443, 0.2752651870250702, 0.2869406044483185, 0.2986159920692444, 0.3102913796901703, 0.3219667673110962, 0.3336421847343445, 0.3453175723552704, 0.3569929599761963]}, "gradients/decoder.transformer.h.1.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 5.0, 4.0, 4.0, 7.0, 6.0, 9.0, 5.0, 14.0, 14.0, 14.0, 19.0, 18.0, 22.0, 30.0, 22.0, 28.0, 36.0, 32.0, 41.0, 38.0, 41.0, 41.0, 40.0, 42.0, 43.0, 40.0, 44.0, 48.0, 40.0, 24.0, 42.0, 24.0, 18.0, 23.0, 20.0, 17.0, 25.0, 10.0, 17.0, 10.0, 9.0, 5.0, 2.0, 5.0, 5.0, 2.0, 3.0, 3.0, 2.0, 1.0, 1.0, 2.0], "bins": [-0.044586181640625, -0.0433197021484375, -0.04205322265625, -0.0407867431640625, -0.039520263671875, -0.0382537841796875, -0.0369873046875, -0.0357208251953125, -0.034454345703125, -0.0331878662109375, -0.03192138671875, -0.0306549072265625, -0.029388427734375, -0.0281219482421875, -0.02685546875, -0.0255889892578125, -0.024322509765625, -0.0230560302734375, -0.02178955078125, -0.0205230712890625, -0.019256591796875, -0.0179901123046875, -0.0167236328125, -0.0154571533203125, -0.014190673828125, -0.0129241943359375, -0.01165771484375, -0.0103912353515625, -0.009124755859375, -0.0078582763671875, -0.006591796875, -0.0053253173828125, -0.004058837890625, -0.0027923583984375, -0.00152587890625, -0.0002593994140625, 0.001007080078125, 0.0022735595703125, 0.0035400390625, 0.0048065185546875, 0.006072998046875, 0.0073394775390625, 0.00860595703125, 0.0098724365234375, 0.011138916015625, 0.0124053955078125, 0.013671875, 0.0149383544921875, 0.016204833984375, 0.0174713134765625, 0.01873779296875, 0.0200042724609375, 0.021270751953125, 0.0225372314453125, 0.0238037109375, 0.0250701904296875, 0.026336669921875, 0.0276031494140625, 0.02886962890625, 0.0301361083984375, 0.031402587890625, 0.0326690673828125, 0.033935546875, 0.0352020263671875, 0.036468505859375]}, "gradients/decoder.transformer.h.1.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 2.0, 4.0, 3.0, 3.0, 5.0, 15.0, 11.0, 19.0, 22.0, 48.0, 73.0, 91.0, 165.0, 216.0, 306.0, 455.0, 690.0, 1083.0, 1791.0, 2981.0, 5086.0, 9567.0, 19477.0, 53908.0, 464697.0, 2750316.0, 757963.0, 76574.0, 23288.0, 10862.0, 5870.0, 3304.0, 1948.0, 1216.0, 739.0, 496.0, 333.0, 218.0, 147.0, 88.0, 61.0, 39.0, 36.0, 27.0, 21.0, 9.0, 10.0, 4.0, 2.0, 0.0, 2.0, 3.0, 0.0, 1.0], "bins": [-0.110107421875, -0.10701465606689453, -0.10392189025878906, -0.1008291244506836, -0.09773635864257812, -0.09464359283447266, -0.09155082702636719, -0.08845806121826172, -0.08536529541015625, -0.08227252960205078, -0.07917976379394531, -0.07608699798583984, -0.07299423217773438, -0.0699014663696289, -0.06680870056152344, -0.06371593475341797, -0.0606231689453125, -0.05753040313720703, -0.05443763732910156, -0.051344871520996094, -0.048252105712890625, -0.045159339904785156, -0.04206657409667969, -0.03897380828857422, -0.03588104248046875, -0.03278827667236328, -0.029695510864257812, -0.026602745056152344, -0.023509979248046875, -0.020417213439941406, -0.017324447631835938, -0.014231681823730469, -0.011138916015625, -0.008046150207519531, -0.0049533843994140625, -0.0018606185913085938, 0.001232147216796875, 0.004324913024902344, 0.0074176788330078125, 0.010510444641113281, 0.01360321044921875, 0.01669597625732422, 0.019788742065429688, 0.022881507873535156, 0.025974273681640625, 0.029067039489746094, 0.03215980529785156, 0.03525257110595703, 0.0383453369140625, 0.04143810272216797, 0.04453086853027344, 0.047623634338378906, 0.050716400146484375, 0.053809165954589844, 0.05690193176269531, 0.05999469757080078, 0.06308746337890625, 0.06618022918701172, 0.06927299499511719, 0.07236576080322266, 0.07545852661132812, 0.0785512924194336, 0.08164405822753906, 0.08473682403564453, 0.08782958984375]}, "gradients/decoder.transformer.h.1.mlp.c_fc.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 2.0, 3.0, 3.0, 6.0, 7.0, 8.0, 14.0, 8.0, 12.0, 12.0, 20.0, 29.0, 50.0, 63.0, 75.0, 104.0, 166.0, 217.0, 334.0, 477.0, 660.0, 500.0, 402.0, 236.0, 194.0, 120.0, 103.0, 72.0, 47.0, 41.0, 26.0, 18.0, 18.0, 3.0, 5.0, 6.0, 4.0, 2.0, 7.0, 3.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0699462890625, -0.06798696517944336, -0.06602764129638672, -0.06406831741333008, -0.06210899353027344, -0.0601496696472168, -0.058190345764160156, -0.056231021881103516, -0.054271697998046875, -0.052312374114990234, -0.050353050231933594, -0.04839372634887695, -0.04643440246582031, -0.04447507858276367, -0.04251575469970703, -0.04055643081665039, -0.03859710693359375, -0.03663778305053711, -0.03467845916748047, -0.03271913528442383, -0.030759811401367188, -0.028800487518310547, -0.026841163635253906, -0.024881839752197266, -0.022922515869140625, -0.020963191986083984, -0.019003868103027344, -0.017044544219970703, -0.015085220336914062, -0.013125896453857422, -0.011166572570800781, -0.00920724868774414, -0.0072479248046875, -0.005288600921630859, -0.0033292770385742188, -0.0013699531555175781, 0.0005893707275390625, 0.002548694610595703, 0.004508018493652344, 0.006467342376708984, 0.008426666259765625, 0.010385990142822266, 0.012345314025878906, 0.014304637908935547, 0.016263961791992188, 0.018223285675048828, 0.02018260955810547, 0.02214193344116211, 0.02410125732421875, 0.02606058120727539, 0.02801990509033203, 0.029979228973388672, 0.03193855285644531, 0.03389787673950195, 0.035857200622558594, 0.037816524505615234, 0.039775848388671875, 0.041735172271728516, 0.043694496154785156, 0.0456538200378418, 0.04761314392089844, 0.04957246780395508, 0.05153179168701172, 0.05349111557006836, 0.055450439453125]}, "gradients/decoder.transformer.h.1.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 3.0, 6.0, 5.0, 4.0, 4.0, 11.0, 14.0, 21.0, 31.0, 46.0, 103.0, 198.0, 375.0, 814.0, 2030.0, 5606.0, 21139.0, 140348.0, 3117111.0, 831132.0, 57460.0, 11632.0, 3580.0, 1373.0, 592.0, 261.0, 159.0, 84.0, 42.0, 23.0, 25.0, 13.0, 16.0, 8.0, 5.0, 6.0, 6.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.118896484375, -0.11476707458496094, -0.11063766479492188, -0.10650825500488281, -0.10237884521484375, -0.09824943542480469, -0.09412002563476562, -0.08999061584472656, -0.0858612060546875, -0.08173179626464844, -0.07760238647460938, -0.07347297668457031, -0.06934356689453125, -0.06521415710449219, -0.061084747314453125, -0.05695533752441406, -0.052825927734375, -0.04869651794433594, -0.044567108154296875, -0.04043769836425781, -0.03630828857421875, -0.03217887878417969, -0.028049468994140625, -0.023920059204101562, -0.0197906494140625, -0.015661239624023438, -0.011531829833984375, -0.0074024200439453125, -0.00327301025390625, 0.0008563995361328125, 0.004985809326171875, 0.009115219116210938, 0.01324462890625, 0.017374038696289062, 0.021503448486328125, 0.025632858276367188, 0.02976226806640625, 0.03389167785644531, 0.038021087646484375, 0.04215049743652344, 0.0462799072265625, 0.05040931701660156, 0.054538726806640625, 0.05866813659667969, 0.06279754638671875, 0.06692695617675781, 0.07105636596679688, 0.07518577575683594, 0.079315185546875, 0.08344459533691406, 0.08757400512695312, 0.09170341491699219, 0.09583282470703125, 0.09996223449707031, 0.10409164428710938, 0.10822105407714844, 0.1123504638671875, 0.11647987365722656, 0.12060928344726562, 0.12473869323730469, 0.12886810302734375, 0.1329975128173828, 0.13712692260742188, 0.14125633239746094, 0.1453857421875]}, "gradients/decoder.transformer.h.1.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 5.0, 12.0, 30.0, 45.0, 95.0, 160.0, 166.0, 180.0, 142.0, 74.0, 53.0, 30.0, 12.0, 3.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.26514339447021484, -0.24789175391197205, -0.23064011335372925, -0.21338848769664764, -0.19613684713840485, -0.17888520658016205, -0.16163358092308044, -0.14438194036483765, -0.12713029980659485, -0.10987865924835205, -0.09262702614068985, -0.07537539303302765, -0.05812375247478485, -0.04087211191654205, -0.023620478808879852, -0.006368845701217651, 0.010882794857025146, 0.028134431689977646, 0.045386068522930145, 0.06263770163059235, 0.07988934218883514, 0.09714098274707794, 0.11439261585474014, 0.13164424896240234, 0.14889588952064514, 0.16614753007888794, 0.18339917063713074, 0.20065079629421234, 0.21790243685245514, 0.23515407741069794, 0.25240570306777954, 0.26965734362602234, 0.28690898418426514, 0.30416062474250793, 0.32141226530075073, 0.33866390585899353, 0.35591554641723633, 0.37316715717315674, 0.39041879773139954, 0.40767043828964233, 0.42492207884788513, 0.44217371940612793, 0.4594253599643707, 0.4766770005226135, 0.49392861127853394, 0.5111802816390991, 0.5284318923950195, 0.5456835031509399, 0.5629351735115051, 0.5801867842674255, 0.5974384546279907, 0.6146900653839111, 0.6319417357444763, 0.6491933465003967, 0.6664450168609619, 0.6836966276168823, 0.7009482383728027, 0.7181998491287231, 0.7354515194892883, 0.7527031302452087, 0.7699548006057739, 0.7872064113616943, 0.8044580817222595, 0.8217096924781799, 0.8389613628387451]}, "gradients/decoder.transformer.h.1.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 2.0, 2.0, 6.0, 5.0, 3.0, 5.0, 6.0, 11.0, 9.0, 16.0, 13.0, 25.0, 21.0, 23.0, 25.0, 26.0, 24.0, 20.0, 39.0, 36.0, 35.0, 36.0, 30.0, 42.0, 33.0, 44.0, 42.0, 33.0, 40.0, 29.0, 39.0, 46.0, 33.0, 21.0, 31.0, 29.0, 21.0, 18.0, 14.0, 11.0, 13.0, 11.0, 9.0, 7.0, 3.0, 7.0, 4.0, 5.0, 2.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.2256087064743042, -0.21871383488178253, -0.21181896328926086, -0.2049240916967392, -0.19802922010421753, -0.19113436341285706, -0.1842394918203354, -0.17734462022781372, -0.17044974863529205, -0.16355487704277039, -0.15666000545024872, -0.14976513385772705, -0.14287027716636658, -0.13597539067268372, -0.12908053398132324, -0.12218566238880157, -0.11529079079627991, -0.10839591920375824, -0.10150104761123657, -0.0946061834692955, -0.08771131187677383, -0.08081644028425217, -0.0739215761423111, -0.06702670454978943, -0.06013183295726776, -0.053236961364746094, -0.046342093497514725, -0.039447225630283356, -0.03255235403776169, -0.02565748244524002, -0.01876261457800865, -0.011867746710777283, -0.004972875118255615, 0.001921994611620903, 0.008816864341497421, 0.01571173407137394, 0.022606603801250458, 0.029501475393772125, 0.036396343261003494, 0.04329121112823486, 0.05018608272075653, 0.0570809543132782, 0.06397582590579987, 0.07087069004774094, 0.0777655616402626, 0.08466043323278427, 0.09155529737472534, 0.09845016896724701, 0.10534504055976868, 0.11223991215229034, 0.11913478374481201, 0.12602965533733368, 0.13292452692985535, 0.13981938362121582, 0.1467142552137375, 0.15360912680625916, 0.16050399839878082, 0.1673988699913025, 0.17429374158382416, 0.18118861317634583, 0.1880834698677063, 0.19497835636138916, 0.20187321305274963, 0.2087680846452713, 0.21566295623779297]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 0.0, 6.0, 4.0, 7.0, 8.0, 7.0, 14.0, 10.0, 8.0, 17.0, 26.0, 27.0, 28.0, 32.0, 31.0, 39.0, 30.0, 33.0, 40.0, 31.0, 45.0, 39.0, 43.0, 46.0, 47.0, 39.0, 42.0, 32.0, 41.0, 21.0, 30.0, 23.0, 26.0, 24.0, 12.0, 21.0, 16.0, 17.0, 9.0, 6.0, 5.0, 7.0, 6.0, 2.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0], "bins": [-0.047119140625, -0.045812129974365234, -0.04450511932373047, -0.0431981086730957, -0.04189109802246094, -0.04058408737182617, -0.039277076721191406, -0.03797006607055664, -0.036663055419921875, -0.03535604476928711, -0.034049034118652344, -0.03274202346801758, -0.03143501281738281, -0.030128002166748047, -0.02882099151611328, -0.027513980865478516, -0.02620697021484375, -0.024899959564208984, -0.02359294891357422, -0.022285938262939453, -0.020978927612304688, -0.019671916961669922, -0.018364906311035156, -0.01705789566040039, -0.015750885009765625, -0.01444387435913086, -0.013136863708496094, -0.011829853057861328, -0.010522842407226562, -0.009215831756591797, -0.007908821105957031, -0.006601810455322266, -0.0052947998046875, -0.003987789154052734, -0.0026807785034179688, -0.0013737678527832031, -6.67572021484375e-05, 0.0012402534484863281, 0.0025472640991210938, 0.0038542747497558594, 0.005161285400390625, 0.006468296051025391, 0.007775306701660156, 0.009082317352294922, 0.010389328002929688, 0.011696338653564453, 0.013003349304199219, 0.014310359954833984, 0.01561737060546875, 0.016924381256103516, 0.01823139190673828, 0.019538402557373047, 0.020845413208007812, 0.022152423858642578, 0.023459434509277344, 0.02476644515991211, 0.026073455810546875, 0.02738046646118164, 0.028687477111816406, 0.029994487762451172, 0.03130149841308594, 0.0326085090637207, 0.03391551971435547, 0.035222530364990234, 0.036529541015625]}, "gradients/decoder.transformer.h.1.crossattention.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 7.0, 6.0, 6.0, 12.0, 13.0, 22.0, 32.0, 57.0, 69.0, 110.0, 155.0, 234.0, 346.0, 574.0, 905.0, 1421.0, 2209.0, 3532.0, 5435.0, 8830.0, 13807.0, 21723.0, 34644.0, 57234.0, 102775.0, 249793.0, 280920.0, 107579.0, 59327.0, 35658.0, 22262.0, 14162.0, 8844.0, 5763.0, 3651.0, 2357.0, 1467.0, 948.0, 590.0, 398.0, 255.0, 162.0, 95.0, 63.0, 41.0, 28.0, 19.0, 7.0, 8.0, 6.0, 1.0, 3.0, 2.0, 1.0], "bins": [-0.0004336833953857422, -0.00042164698243141174, -0.0004096105694770813, -0.00039757415652275085, -0.0003855377435684204, -0.00037350133061408997, -0.0003614649176597595, -0.0003494285047054291, -0.00033739209175109863, -0.0003253556787967682, -0.00031331926584243774, -0.0003012828528881073, -0.00028924643993377686, -0.0002772100269794464, -0.00026517361402511597, -0.0002531372010707855, -0.00024110078811645508, -0.00022906437516212463, -0.0002170279622077942, -0.00020499154925346375, -0.0001929551362991333, -0.00018091872334480286, -0.0001688823103904724, -0.00015684589743614197, -0.00014480948448181152, -0.00013277307152748108, -0.00012073665857315063, -0.00010870024561882019, -9.666383266448975e-05, -8.46274197101593e-05, -7.259100675582886e-05, -6.055459380149841e-05, -4.851818084716797e-05, -3.6481767892837524e-05, -2.444535493850708e-05, -1.2408941984176636e-05, -3.725290298461914e-07, 1.1663883924484253e-05, 2.3700296878814697e-05, 3.573670983314514e-05, 4.7773122787475586e-05, 5.980953574180603e-05, 7.184594869613647e-05, 8.388236165046692e-05, 9.591877460479736e-05, 0.00010795518755912781, 0.00011999160051345825, 0.0001320280134677887, 0.00014406442642211914, 0.00015610083937644958, 0.00016813725233078003, 0.00018017366528511047, 0.00019221007823944092, 0.00020424649119377136, 0.0002162829041481018, 0.00022831931710243225, 0.0002403557300567627, 0.00025239214301109314, 0.0002644285559654236, 0.00027646496891975403, 0.00028850138187408447, 0.0003005377948284149, 0.00031257420778274536, 0.0003246106207370758, 0.00033664703369140625]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.bias": {"_type": "histogram", "values": [3.0, 3.0, 1.0, 0.0, 1.0, 4.0, 1.0, 11.0, 4.0, 13.0, 10.0, 13.0, 17.0, 11.0, 25.0, 26.0, 21.0, 29.0, 28.0, 35.0, 24.0, 40.0, 39.0, 58.0, 47.0, 37.0, 1065.0, 28.0, 31.0, 43.0, 39.0, 32.0, 34.0, 32.0, 29.0, 32.0, 17.0, 16.0, 24.0, 21.0, 27.0, 10.0, 19.0, 17.0, 7.0, 6.0, 5.0, 3.0, 2.0, 1.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0447998046875, -0.04312849044799805, -0.041457176208496094, -0.03978586196899414, -0.03811454772949219, -0.036443233489990234, -0.03477191925048828, -0.03310060501098633, -0.031429290771484375, -0.029757976531982422, -0.02808666229248047, -0.026415348052978516, -0.024744033813476562, -0.02307271957397461, -0.021401405334472656, -0.019730091094970703, -0.01805877685546875, -0.016387462615966797, -0.014716148376464844, -0.01304483413696289, -0.011373519897460938, -0.009702205657958984, -0.008030891418457031, -0.006359577178955078, -0.004688262939453125, -0.003016948699951172, -0.0013456344604492188, 0.0003256797790527344, 0.0019969940185546875, 0.0036683082580566406, 0.005339622497558594, 0.007010936737060547, 0.0086822509765625, 0.010353565216064453, 0.012024879455566406, 0.01369619369506836, 0.015367507934570312, 0.017038822174072266, 0.01871013641357422, 0.020381450653076172, 0.022052764892578125, 0.023724079132080078, 0.02539539337158203, 0.027066707611083984, 0.028738021850585938, 0.03040933609008789, 0.032080650329589844, 0.0337519645690918, 0.03542327880859375, 0.0370945930480957, 0.038765907287597656, 0.04043722152709961, 0.04210853576660156, 0.043779850006103516, 0.04545116424560547, 0.04712247848510742, 0.048793792724609375, 0.05046510696411133, 0.05213642120361328, 0.053807735443115234, 0.05547904968261719, 0.05715036392211914, 0.058821678161621094, 0.06049299240112305, 0.062164306640625]}, "gradients/decoder.transformer.h.1.crossattention.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 0.0, 4.0, 1.0, 5.0, 7.0, 5.0, 19.0, 19.0, 12.0, 28.0, 20.0, 23.0, 14.0, 21.0, 28.0, 32.0, 33.0, 38.0, 64.0, 167.0, 458.0, 2724.0, 62671.0, 2025869.0, 3658.0, 615.0, 210.0, 74.0, 44.0, 33.0, 29.0, 27.0, 36.0, 20.0, 20.0, 28.0, 10.0, 17.0, 12.0, 8.0, 14.0, 7.0, 7.0, 2.0, 3.0, 1.0, 0.0, 2.0, 2.0, 3.0], "bins": [-6.830692291259766e-05, -6.646476686000824e-05, -6.462261080741882e-05, -6.27804547548294e-05, -6.093829870223999e-05, -5.9096142649650574e-05, -5.725398659706116e-05, -5.541183054447174e-05, -5.3569674491882324e-05, -5.172751843929291e-05, -4.988536238670349e-05, -4.8043206334114075e-05, -4.620105028152466e-05, -4.435889422893524e-05, -4.2516738176345825e-05, -4.067458212375641e-05, -3.883242607116699e-05, -3.6990270018577576e-05, -3.514811396598816e-05, -3.330595791339874e-05, -3.1463801860809326e-05, -2.962164580821991e-05, -2.7779489755630493e-05, -2.5937333703041077e-05, -2.409517765045166e-05, -2.2253021597862244e-05, -2.0410865545272827e-05, -1.856870949268341e-05, -1.6726553440093994e-05, -1.4884397387504578e-05, -1.3042241334915161e-05, -1.1200085282325745e-05, -9.357929229736328e-06, -7.515773177146912e-06, -5.673617124557495e-06, -3.831461071968079e-06, -1.989305019378662e-06, -1.471489667892456e-07, 1.695007085800171e-06, 3.5371631383895874e-06, 5.379319190979004e-06, 7.22147524356842e-06, 9.063631296157837e-06, 1.0905787348747253e-05, 1.274794340133667e-05, 1.4590099453926086e-05, 1.6432255506515503e-05, 1.827441155910492e-05, 2.0116567611694336e-05, 2.1958723664283752e-05, 2.380087971687317e-05, 2.5643035769462585e-05, 2.7485191822052002e-05, 2.932734787464142e-05, 3.1169503927230835e-05, 3.301165997982025e-05, 3.485381603240967e-05, 3.6695972084999084e-05, 3.85381281375885e-05, 4.038028419017792e-05, 4.2222440242767334e-05, 4.406459629535675e-05, 4.590675234794617e-05, 4.7748908400535583e-05, 4.9591064453125e-05]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.crossattention.q_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.ln_cross_attn.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.transformer.h.1.attn.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 5.0, 0.0, 6.0, 4.0, 7.0, 8.0, 7.0, 14.0, 10.0, 8.0, 17.0, 26.0, 27.0, 28.0, 32.0, 31.0, 39.0, 30.0, 33.0, 40.0, 31.0, 45.0, 39.0, 43.0, 46.0, 47.0, 39.0, 42.0, 32.0, 41.0, 21.0, 30.0, 23.0, 26.0, 24.0, 12.0, 21.0, 16.0, 17.0, 9.0, 6.0, 5.0, 7.0, 6.0, 2.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0], "bins": [-0.047119140625, -0.045812129974365234, -0.04450511932373047, -0.0431981086730957, -0.04189109802246094, -0.04058408737182617, -0.039277076721191406, -0.03797006607055664, -0.036663055419921875, -0.03535604476928711, -0.034049034118652344, -0.03274202346801758, -0.03143501281738281, -0.030128002166748047, -0.02882099151611328, -0.027513980865478516, -0.02620697021484375, -0.024899959564208984, -0.02359294891357422, -0.022285938262939453, -0.020978927612304688, -0.019671916961669922, -0.018364906311035156, -0.01705789566040039, -0.015750885009765625, -0.01444387435913086, -0.013136863708496094, -0.011829853057861328, -0.010522842407226562, -0.009215831756591797, -0.007908821105957031, -0.006601810455322266, -0.0052947998046875, -0.003987789154052734, -0.0026807785034179688, -0.0013737678527832031, -6.67572021484375e-05, 0.0012402534484863281, 0.0025472640991210938, 0.0038542747497558594, 0.005161285400390625, 0.006468296051025391, 0.007775306701660156, 0.009082317352294922, 0.010389328002929688, 0.011696338653564453, 0.013003349304199219, 0.014310359954833984, 0.01561737060546875, 0.016924381256103516, 0.01823139190673828, 0.019538402557373047, 0.020845413208007812, 0.022152423858642578, 0.023459434509277344, 0.02476644515991211, 0.026073455810546875, 0.02738046646118164, 0.028687477111816406, 0.029994487762451172, 0.03130149841308594, 0.0326085090637207, 0.03391551971435547, 0.035222530364990234, 0.036529541015625]}, "gradients/decoder.transformer.h.1.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 5.0, 6.0, 7.0, 10.0, 17.0, 17.0, 23.0, 37.0, 69.0, 99.0, 117.0, 237.0, 291.0, 514.0, 778.0, 1215.0, 2062.0, 3621.0, 6480.0, 12726.0, 26662.0, 62684.0, 163186.0, 367876.0, 237492.0, 89569.0, 36526.0, 16529.0, 8426.0, 4544.0, 2555.0, 1538.0, 951.0, 565.0, 340.0, 261.0, 176.0, 114.0, 70.0, 47.0, 40.0, 23.0, 17.0, 13.0, 12.0, 5.0, 6.0, 3.0, 2.0, 1.0, 4.0, 0.0, 3.0], "bins": [-0.04559326171875, -0.04427909851074219, -0.042964935302734375, -0.04165077209472656, -0.04033660888671875, -0.03902244567871094, -0.037708282470703125, -0.03639411926269531, -0.0350799560546875, -0.03376579284667969, -0.032451629638671875, -0.031137466430664062, -0.02982330322265625, -0.028509140014648438, -0.027194976806640625, -0.025880813598632812, -0.024566650390625, -0.023252487182617188, -0.021938323974609375, -0.020624160766601562, -0.01930999755859375, -0.017995834350585938, -0.016681671142578125, -0.015367507934570312, -0.0140533447265625, -0.012739181518554688, -0.011425018310546875, -0.010110855102539062, -0.00879669189453125, -0.0074825286865234375, -0.006168365478515625, -0.0048542022705078125, -0.0035400390625, -0.0022258758544921875, -0.000911712646484375, 0.0004024505615234375, 0.00171661376953125, 0.0030307769775390625, 0.004344940185546875, 0.0056591033935546875, 0.0069732666015625, 0.008287429809570312, 0.009601593017578125, 0.010915756225585938, 0.01222991943359375, 0.013544082641601562, 0.014858245849609375, 0.016172409057617188, 0.017486572265625, 0.018800735473632812, 0.020114898681640625, 0.021429061889648438, 0.02274322509765625, 0.024057388305664062, 0.025371551513671875, 0.026685714721679688, 0.0279998779296875, 0.029314041137695312, 0.030628204345703125, 0.03194236755371094, 0.03325653076171875, 0.03457069396972656, 0.035884857177734375, 0.03719902038574219, 0.03851318359375]}, "gradients/decoder.transformer.h.1.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 3.0, 8.0, 6.0, 5.0, 11.0, 25.0, 24.0, 26.0, 23.0, 35.0, 30.0, 35.0, 57.0, 73.0, 145.0, 254.0, 1578.0, 219.0, 108.0, 54.0, 71.0, 58.0, 45.0, 32.0, 33.0, 19.0, 25.0, 15.0, 10.0, 5.0, 7.0, 7.0, 6.0, 2.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.138916015625, -0.13449859619140625, -0.1300811767578125, -0.12566375732421875, -0.121246337890625, -0.11682891845703125, -0.1124114990234375, -0.10799407958984375, -0.10357666015625, -0.09915924072265625, -0.0947418212890625, -0.09032440185546875, -0.085906982421875, -0.08148956298828125, -0.0770721435546875, -0.07265472412109375, -0.0682373046875, -0.06381988525390625, -0.0594024658203125, -0.05498504638671875, -0.050567626953125, -0.04615020751953125, -0.0417327880859375, -0.03731536865234375, -0.03289794921875, -0.02848052978515625, -0.0240631103515625, -0.01964569091796875, -0.015228271484375, -0.01081085205078125, -0.0063934326171875, -0.00197601318359375, 0.00244140625, 0.00685882568359375, 0.0112762451171875, 0.01569366455078125, 0.020111083984375, 0.02452850341796875, 0.0289459228515625, 0.03336334228515625, 0.03778076171875, 0.04219818115234375, 0.0466156005859375, 0.05103302001953125, 0.055450439453125, 0.05986785888671875, 0.0642852783203125, 0.06870269775390625, 0.0731201171875, 0.07753753662109375, 0.0819549560546875, 0.08637237548828125, 0.090789794921875, 0.09520721435546875, 0.0996246337890625, 0.10404205322265625, 0.10845947265625, 0.11287689208984375, 0.1172943115234375, 0.12171173095703125, 0.126129150390625, 0.13054656982421875, 0.1349639892578125, 0.13938140869140625, 0.143798828125]}, "gradients/decoder.transformer.h.1.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 3.0, 4.0, 5.0, 5.0, 9.0, 8.0, 20.0, 21.0, 20.0, 25.0, 42.0, 64.0, 67.0, 101.0, 114.0, 210.0, 385.0, 1574.0, 18075.0, 2777533.0, 338538.0, 7079.0, 903.0, 288.0, 168.0, 106.0, 88.0, 54.0, 63.0, 32.0, 27.0, 25.0, 19.0, 9.0, 9.0, 6.0, 7.0, 5.0, 1.0, 5.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.201171875, -0.19504547119140625, -0.1889190673828125, -0.18279266357421875, -0.176666259765625, -0.17053985595703125, -0.1644134521484375, -0.15828704833984375, -0.15216064453125, -0.14603424072265625, -0.1399078369140625, -0.13378143310546875, -0.127655029296875, -0.12152862548828125, -0.1154022216796875, -0.10927581787109375, -0.1031494140625, -0.09702301025390625, -0.0908966064453125, -0.08477020263671875, -0.078643798828125, -0.07251739501953125, -0.0663909912109375, -0.06026458740234375, -0.05413818359375, -0.04801177978515625, -0.0418853759765625, -0.03575897216796875, -0.029632568359375, -0.02350616455078125, -0.0173797607421875, -0.01125335693359375, -0.005126953125, 0.00099945068359375, 0.0071258544921875, 0.01325225830078125, 0.019378662109375, 0.02550506591796875, 0.0316314697265625, 0.03775787353515625, 0.04388427734375, 0.05001068115234375, 0.0561370849609375, 0.06226348876953125, 0.068389892578125, 0.07451629638671875, 0.0806427001953125, 0.08676910400390625, 0.0928955078125, 0.09902191162109375, 0.1051483154296875, 0.11127471923828125, 0.117401123046875, 0.12352752685546875, 0.1296539306640625, 0.13578033447265625, 0.14190673828125, 0.14803314208984375, 0.1541595458984375, 0.16028594970703125, 0.166412353515625, 0.17253875732421875, 0.1786651611328125, 0.18479156494140625, 0.19091796875]}, "gradients/decoder.transformer.h.1.ln_1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 12.0, 129.0, 600.0, 248.0, 27.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.1059839725494385, -2.0577542781829834, -2.0095245838165283, -1.9612948894500732, -1.9130650758743286, -1.8648353815078735, -1.8166056871414185, -1.7683759927749634, -1.7201461791992188, -1.6719164848327637, -1.6236867904663086, -1.5754570960998535, -1.5272272825241089, -1.4789975881576538, -1.4307678937911987, -1.3825381994247437, -1.3343085050582886, -1.2860788106918335, -1.2378491163253784, -1.1896193027496338, -1.1413896083831787, -1.0931599140167236, -1.0449302196502686, -0.9967005252838135, -0.9484707713127136, -0.9002410769462585, -0.8520113229751587, -0.8037816286087036, -0.7555519342422485, -0.7073221802711487, -0.6590924859046936, -0.6108627319335938, -0.5626330375671387, -0.5144033432006836, -0.46617358922958374, -0.41794389486312866, -0.3697141706943512, -0.32148444652557373, -0.27325475215911865, -0.2250250279903412, -0.17679530382156372, -0.12856557965278625, -0.08033587038516998, -0.03210616111755371, 0.016123563051223755, 0.06435328722000122, 0.1125829815864563, 0.16081270575523376, 0.20904242992401123, 0.2572721540927887, 0.30550187826156616, 0.35373157262802124, 0.4019612967967987, 0.45019102096557617, 0.49842071533203125, 0.5466504096984863, 0.5948801636695862, 0.6431098580360413, 0.6913396120071411, 0.7395693063735962, 0.7877990007400513, 0.8360287547111511, 0.8842584490776062, 0.932488203048706, 0.9807178974151611]}, "gradients/decoder.transformer.h.1.ln_1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 5.0, 2.0, 7.0, 7.0, 7.0, 11.0, 15.0, 10.0, 18.0, 22.0, 26.0, 18.0, 36.0, 28.0, 29.0, 36.0, 32.0, 55.0, 26.0, 36.0, 42.0, 38.0, 40.0, 34.0, 45.0, 40.0, 33.0, 36.0, 33.0, 35.0, 23.0, 14.0, 23.0, 19.0, 21.0, 19.0, 16.0, 14.0, 16.0, 10.0, 9.0, 1.0, 6.0, 2.0, 4.0, 3.0, 2.0, 3.0, 2.0, 1.0], "bins": [-0.38921576738357544, -0.37905094027519226, -0.3688861131668091, -0.3587212562561035, -0.34855642914772034, -0.33839160203933716, -0.328226774930954, -0.3180619478225708, -0.3078971207141876, -0.29773229360580444, -0.28756746649742126, -0.2774026393890381, -0.2672377824783325, -0.25707295536994934, -0.24690812826156616, -0.23674330115318298, -0.2265784591436386, -0.21641363203525543, -0.20624879002571106, -0.19608396291732788, -0.1859191358089447, -0.17575430870056152, -0.16558946669101715, -0.15542463958263397, -0.1452597975730896, -0.13509497046470642, -0.12493013590574265, -0.11476530134677887, -0.10460047423839569, -0.09443563967943192, -0.08427080512046814, -0.07410597801208496, -0.06394115090370178, -0.053776320070028305, -0.04361148923635483, -0.03344665467739105, -0.023281823843717575, -0.013116993010044098, -0.0029521584510803223, 0.0072126686573028564, 0.017377503216266632, 0.02754233404994011, 0.037707164883613586, 0.04787199944257736, 0.05803683027625084, 0.06820166110992432, 0.07836649566888809, 0.08853132277727127, 0.09869615733623505, 0.10886099189519882, 0.119025819003582, 0.12919065356254578, 0.13935548067092896, 0.14952030777931213, 0.1596851497888565, 0.16984997689723969, 0.18001481890678406, 0.19017964601516724, 0.2003444880247116, 0.2105093151330948, 0.22067414224147797, 0.23083898425102234, 0.24100381135940552, 0.2511686384677887, 0.2613334655761719]}, "gradients/decoder.transformer.h.0.mlp.c_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 0.0, 2.0, 0.0, 3.0, 5.0, 2.0, 8.0, 7.0, 3.0, 5.0, 13.0, 8.0, 17.0, 15.0, 25.0, 19.0, 27.0, 38.0, 36.0, 38.0, 34.0, 49.0, 45.0, 37.0, 40.0, 57.0, 49.0, 52.0, 35.0, 44.0, 33.0, 42.0, 31.0, 35.0, 26.0, 26.0, 22.0, 13.0, 14.0, 14.0, 11.0, 11.0, 4.0, 2.0, 7.0, 4.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.054046630859375, -0.05251455307006836, -0.05098247528076172, -0.04945039749145508, -0.04791831970214844, -0.0463862419128418, -0.044854164123535156, -0.043322086334228516, -0.041790008544921875, -0.040257930755615234, -0.038725852966308594, -0.03719377517700195, -0.03566169738769531, -0.03412961959838867, -0.03259754180908203, -0.03106546401977539, -0.02953338623046875, -0.02800130844116211, -0.02646923065185547, -0.024937152862548828, -0.023405075073242188, -0.021872997283935547, -0.020340919494628906, -0.018808841705322266, -0.017276763916015625, -0.015744686126708984, -0.014212608337402344, -0.012680530548095703, -0.011148452758789062, -0.009616374969482422, -0.008084297180175781, -0.006552219390869141, -0.0050201416015625, -0.0034880638122558594, -0.0019559860229492188, -0.0004239082336425781, 0.0011081695556640625, 0.002640247344970703, 0.004172325134277344, 0.005704402923583984, 0.007236480712890625, 0.008768558502197266, 0.010300636291503906, 0.011832714080810547, 0.013364791870117188, 0.014896869659423828, 0.01642894744873047, 0.01796102523803711, 0.01949310302734375, 0.02102518081665039, 0.02255725860595703, 0.024089336395263672, 0.025621414184570312, 0.027153491973876953, 0.028685569763183594, 0.030217647552490234, 0.031749725341796875, 0.033281803131103516, 0.034813880920410156, 0.0363459587097168, 0.03787803649902344, 0.03941011428833008, 0.04094219207763672, 0.04247426986694336, 0.04400634765625]}, "gradients/decoder.transformer.h.0.mlp.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 3.0, 4.0, 0.0, 4.0, 1.0, 7.0, 7.0, 13.0, 5.0, 14.0, 20.0, 23.0, 31.0, 43.0, 66.0, 85.0, 117.0, 170.0, 218.0, 298.0, 423.0, 623.0, 1018.0, 1990.0, 5921.0, 31485.0, 269737.0, 3162223.0, 644044.0, 60224.0, 9227.0, 2563.0, 1186.0, 730.0, 499.0, 312.0, 248.0, 178.0, 156.0, 105.0, 87.0, 53.0, 40.0, 23.0, 18.0, 19.0, 4.0, 11.0, 5.0, 6.0, 3.0, 4.0, 3.0, 0.0, 1.0, 1.0], "bins": [-0.326904296875, -0.3177375793457031, -0.30857086181640625, -0.2994041442871094, -0.2902374267578125, -0.2810707092285156, -0.27190399169921875, -0.2627372741699219, -0.253570556640625, -0.24440383911132812, -0.23523712158203125, -0.22607040405273438, -0.2169036865234375, -0.20773696899414062, -0.19857025146484375, -0.18940353393554688, -0.18023681640625, -0.17107009887695312, -0.16190338134765625, -0.15273666381835938, -0.1435699462890625, -0.13440322875976562, -0.12523651123046875, -0.11606979370117188, -0.106903076171875, -0.09773635864257812, -0.08856964111328125, -0.07940292358398438, -0.0702362060546875, -0.061069488525390625, -0.05190277099609375, -0.042736053466796875, -0.0335693359375, -0.024402618408203125, -0.01523590087890625, -0.006069183349609375, 0.0030975341796875, 0.012264251708984375, 0.02143096923828125, 0.030597686767578125, 0.039764404296875, 0.048931121826171875, 0.05809783935546875, 0.06726455688476562, 0.0764312744140625, 0.08559799194335938, 0.09476470947265625, 0.10393142700195312, 0.11309814453125, 0.12226486206054688, 0.13143157958984375, 0.14059829711914062, 0.1497650146484375, 0.15893173217773438, 0.16809844970703125, 0.17726516723632812, 0.186431884765625, 0.19559860229492188, 0.20476531982421875, 0.21393203735351562, 0.2230987548828125, 0.23226547241210938, 0.24143218994140625, 0.2505989074707031, 0.259765625]}, "gradients/decoder.transformer.h.0.mlp.c_fc.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 6.0, 5.0, 4.0, 6.0, 5.0, 6.0, 11.0, 21.0, 22.0, 26.0, 43.0, 47.0, 46.0, 87.0, 99.0, 148.0, 175.0, 176.0, 242.0, 303.0, 391.0, 412.0, 378.0, 260.0, 236.0, 204.0, 157.0, 157.0, 92.0, 79.0, 43.0, 44.0, 41.0, 23.0, 34.0, 14.0, 13.0, 1.0, 4.0, 5.0, 5.0, 3.0, 4.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.09490966796875, -0.09168338775634766, -0.08845710754394531, -0.08523082733154297, -0.08200454711914062, -0.07877826690673828, -0.07555198669433594, -0.0723257064819336, -0.06909942626953125, -0.0658731460571289, -0.06264686584472656, -0.05942058563232422, -0.056194305419921875, -0.05296802520751953, -0.04974174499511719, -0.046515464782714844, -0.0432891845703125, -0.040062904357910156, -0.03683662414550781, -0.03361034393310547, -0.030384063720703125, -0.02715778350830078, -0.023931503295898438, -0.020705223083496094, -0.01747894287109375, -0.014252662658691406, -0.011026382446289062, -0.007800102233886719, -0.004573822021484375, -0.0013475418090820312, 0.0018787384033203125, 0.005105018615722656, 0.008331298828125, 0.011557579040527344, 0.014783859252929688, 0.01801013946533203, 0.021236419677734375, 0.02446269989013672, 0.027688980102539062, 0.030915260314941406, 0.03414154052734375, 0.037367820739746094, 0.04059410095214844, 0.04382038116455078, 0.047046661376953125, 0.05027294158935547, 0.05349922180175781, 0.056725502014160156, 0.0599517822265625, 0.06317806243896484, 0.06640434265136719, 0.06963062286376953, 0.07285690307617188, 0.07608318328857422, 0.07930946350097656, 0.0825357437133789, 0.08576202392578125, 0.0889883041381836, 0.09221458435058594, 0.09544086456298828, 0.09866714477539062, 0.10189342498779297, 0.10511970520019531, 0.10834598541259766, 0.111572265625]}, "gradients/decoder.transformer.h.0.mlp.c_fc.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0, 2.0, 4.0, 2.0, 5.0, 14.0, 14.0, 24.0, 24.0, 31.0, 56.0, 122.0, 189.0, 317.0, 634.0, 1249.0, 2570.0, 6325.0, 16607.0, 51048.0, 177604.0, 716120.0, 2186946.0, 763428.0, 187978.0, 53781.0, 17384.0, 6394.0, 2711.0, 1244.0, 632.0, 325.0, 207.0, 110.0, 63.0, 36.0, 27.0, 20.0, 16.0, 8.0, 4.0, 7.0, 4.0, 0.0, 0.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.1412353515625, -0.1370220184326172, -0.13280868530273438, -0.12859535217285156, -0.12438201904296875, -0.12016868591308594, -0.11595535278320312, -0.11174201965332031, -0.1075286865234375, -0.10331535339355469, -0.09910202026367188, -0.09488868713378906, -0.09067535400390625, -0.08646202087402344, -0.08224868774414062, -0.07803535461425781, -0.073822021484375, -0.06960868835449219, -0.06539535522460938, -0.06118202209472656, -0.05696868896484375, -0.05275535583496094, -0.048542022705078125, -0.04432868957519531, -0.0401153564453125, -0.03590202331542969, -0.031688690185546875, -0.027475357055664062, -0.02326202392578125, -0.019048690795898438, -0.014835357666015625, -0.010622024536132812, -0.00640869140625, -0.0021953582763671875, 0.002017974853515625, 0.0062313079833984375, 0.01044464111328125, 0.014657974243164062, 0.018871307373046875, 0.023084640502929688, 0.0272979736328125, 0.03151130676269531, 0.035724639892578125, 0.03993797302246094, 0.04415130615234375, 0.04836463928222656, 0.052577972412109375, 0.05679130554199219, 0.061004638671875, 0.06521797180175781, 0.06943130493164062, 0.07364463806152344, 0.07785797119140625, 0.08207130432128906, 0.08628463745117188, 0.09049797058105469, 0.0947113037109375, 0.09892463684082031, 0.10313796997070312, 0.10735130310058594, 0.11156463623046875, 0.11577796936035156, 0.11999130249023438, 0.12420463562011719, 0.12841796875]}, "gradients/decoder.transformer.h.0.ln_2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 4.0, 2.0, 0.0, 9.0, 8.0, 6.0, 12.0, 17.0, 19.0, 15.0, 26.0, 32.0, 44.0, 50.0, 50.0, 59.0, 63.0, 77.0, 87.0, 68.0, 69.0, 43.0, 46.0, 37.0, 27.0, 29.0, 24.0, 17.0, 18.0, 15.0, 2.0, 10.0, 10.0, 2.0, 3.0, 5.0, 6.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.909918487071991, -0.8838598728179932, -0.8578012585639954, -0.8317426443099976, -0.8056840300559998, -0.779625415802002, -0.7535667419433594, -0.7275081872940063, -0.7014495134353638, -0.675390899181366, -0.6493322849273682, -0.6232736706733704, -0.5972150564193726, -0.5711564421653748, -0.545097827911377, -0.5190391540527344, -0.49298059940338135, -0.46692198514938354, -0.44086337089538574, -0.41480475664138794, -0.38874614238739014, -0.36268752813339233, -0.33662888407707214, -0.31057026982307434, -0.28451165556907654, -0.25845304131507874, -0.23239442706108093, -0.20633579790592194, -0.18027718365192413, -0.15421856939792633, -0.12815994024276733, -0.10210132598876953, -0.07604265213012695, -0.04998403415083885, -0.02392541617155075, 0.002133205533027649, 0.02819181978702545, 0.054250434041023254, 0.08030906319618225, 0.10636767745018005, 0.13242629170417786, 0.15848490595817566, 0.18454352021217346, 0.21060214936733246, 0.23666076362133026, 0.26271939277648926, 0.28877800703048706, 0.31483662128448486, 0.34089523553848267, 0.36695384979248047, 0.39301246404647827, 0.4190710783004761, 0.4451296925544739, 0.4711883068084717, 0.49724695086479187, 0.5233055353164673, 0.5493642091751099, 0.5754228234291077, 0.6014814376831055, 0.6275400519371033, 0.6535986661911011, 0.6796572804450989, 0.7057158946990967, 0.7317745685577393, 0.7578331232070923]}, "gradients/decoder.transformer.h.0.ln_2.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 3.0, 1.0, 3.0, 2.0, 0.0, 3.0, 4.0, 4.0, 8.0, 13.0, 4.0, 15.0, 11.0, 15.0, 12.0, 23.0, 13.0, 16.0, 9.0, 19.0, 23.0, 22.0, 26.0, 25.0, 36.0, 42.0, 42.0, 36.0, 42.0, 40.0, 30.0, 39.0, 25.0, 40.0, 28.0, 34.0, 35.0, 33.0, 29.0, 18.0, 32.0, 14.0, 24.0, 12.0, 16.0, 18.0, 12.0, 13.0, 5.0, 9.0, 9.0, 6.0, 7.0, 5.0, 3.0, 3.0, 6.0, 2.0, 0.0, 1.0], "bins": [-0.5583981275558472, -0.5419148206710815, -0.5254315137863159, -0.5089482665061951, -0.49246495962142944, -0.4759816527366638, -0.4594983458518982, -0.44301503896713257, -0.42653176188468933, -0.4100484549999237, -0.39356517791748047, -0.37708187103271484, -0.3605985641479492, -0.344115287065506, -0.32763198018074036, -0.3111487030982971, -0.2946653962135315, -0.27818208932876587, -0.26169881224632263, -0.245215505361557, -0.22873221337795258, -0.21224892139434814, -0.19576561450958252, -0.1792823225259781, -0.16279903054237366, -0.14631573855876923, -0.1298324465751648, -0.11334913969039917, -0.09686584770679474, -0.08038255572319031, -0.06389925628900528, -0.04741595685482025, -0.03093266487121582, -0.01444936916232109, 0.002033926546573639, 0.01851722225546837, 0.0350005179643631, 0.05148380994796753, 0.06796710938215256, 0.08445040881633759, 0.10093370079994202, 0.11741699278354645, 0.13390028476715088, 0.1503835916519165, 0.16686688363552094, 0.18335017561912537, 0.199833482503891, 0.21631677448749542, 0.23280006647109985, 0.24928335845470428, 0.2657666504383087, 0.28224995732307434, 0.2987332344055176, 0.3152165412902832, 0.33169984817504883, 0.34818315505981445, 0.3646664321422577, 0.3811497390270233, 0.39763301610946655, 0.4141163229942322, 0.4305996298789978, 0.44708290696144104, 0.46356621384620667, 0.4800494909286499, 0.4965327978134155]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 0.0, 4.0, 2.0, 2.0, 5.0, 4.0, 4.0, 6.0, 10.0, 10.0, 12.0, 11.0, 20.0, 10.0, 16.0, 16.0, 13.0, 19.0, 20.0, 20.0, 28.0, 43.0, 27.0, 34.0, 41.0, 31.0, 45.0, 46.0, 40.0, 41.0, 24.0, 44.0, 36.0, 33.0, 40.0, 28.0, 25.0, 27.0, 20.0, 14.0, 30.0, 17.0, 11.0, 16.0, 12.0, 10.0, 4.0, 9.0, 16.0, 2.0, 5.0, 3.0, 4.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.1015625, -1.0672760009765625, -1.032989501953125, -0.9987030029296875, -0.96441650390625, -0.9301300048828125, -0.895843505859375, -0.8615570068359375, -0.8272705078125, -0.7929840087890625, -0.758697509765625, -0.7244110107421875, -0.69012451171875, -0.6558380126953125, -0.621551513671875, -0.5872650146484375, -0.552978515625, -0.5186920166015625, -0.484405517578125, -0.4501190185546875, -0.41583251953125, -0.3815460205078125, -0.347259521484375, -0.3129730224609375, -0.2786865234375, -0.2444000244140625, -0.210113525390625, -0.1758270263671875, -0.14154052734375, -0.1072540283203125, -0.072967529296875, -0.0386810302734375, -0.00439453125, 0.0298919677734375, 0.064178466796875, 0.0984649658203125, 0.13275146484375, 0.1670379638671875, 0.201324462890625, 0.2356109619140625, 0.2698974609375, 0.3041839599609375, 0.338470458984375, 0.3727569580078125, 0.40704345703125, 0.4413299560546875, 0.475616455078125, 0.5099029541015625, 0.544189453125, 0.5784759521484375, 0.612762451171875, 0.6470489501953125, 0.68133544921875, 0.7156219482421875, 0.749908447265625, 0.7841949462890625, 0.8184814453125, 0.8527679443359375, 0.887054443359375, 0.9213409423828125, 0.95562744140625, 0.9899139404296875, 1.024200439453125, 1.0584869384765625, 1.0927734375]}, "gradients/decoder.transformer.h.0.crossattention.c_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 6.0, 9.0, 10.0, 8.0, 27.0, 22.0, 44.0, 57.0, 99.0, 116.0, 166.0, 228.0, 328.0, 472.0, 643.0, 999.0, 1362.0, 1957.0, 2753.0, 3949.0, 5669.0, 8044.0, 11754.0, 17036.0, 25961.0, 39848.0, 64301.0, 111522.0, 291541.0, 197722.0, 95897.0, 56729.0, 35313.0, 22867.0, 15526.0, 10704.0, 7443.0, 5268.0, 3686.0, 2576.0, 1809.0, 1272.0, 871.0, 606.0, 426.0, 306.0, 187.0, 152.0, 92.0, 52.0, 49.0, 22.0, 25.0, 10.0, 3.0, 11.0, 2.0, 6.0, 5.0, 0.0, 2.0], "bins": [-0.006137847900390625, -0.005945265293121338, -0.005752682685852051, -0.005560100078582764, -0.0053675174713134766, -0.0051749348640441895, -0.004982352256774902, -0.004789769649505615, -0.004597187042236328, -0.004404604434967041, -0.004212021827697754, -0.004019439220428467, -0.0038268566131591797, -0.0036342740058898926, -0.0034416913986206055, -0.0032491087913513184, -0.0030565261840820312, -0.002863943576812744, -0.002671360969543457, -0.00247877836227417, -0.002286195755004883, -0.0020936131477355957, -0.0019010305404663086, -0.0017084479331970215, -0.0015158653259277344, -0.0013232827186584473, -0.0011307001113891602, -0.000938117504119873, -0.0007455348968505859, -0.0005529522895812988, -0.0003603696823120117, -0.0001677870750427246, 2.47955322265625e-05, 0.0002173781394958496, 0.0004099607467651367, 0.0006025433540344238, 0.0007951259613037109, 0.000987708568572998, 0.0011802911758422852, 0.0013728737831115723, 0.0015654563903808594, 0.0017580389976501465, 0.0019506216049194336, 0.0021432042121887207, 0.002335786819458008, 0.002528369426727295, 0.002720952033996582, 0.002913534641265869, 0.0031061172485351562, 0.0032986998558044434, 0.0034912824630737305, 0.0036838650703430176, 0.0038764476776123047, 0.004069030284881592, 0.004261612892150879, 0.004454195499420166, 0.004646778106689453, 0.00483936071395874, 0.005031943321228027, 0.0052245259284973145, 0.0054171085357666016, 0.005609691143035889, 0.005802273750305176, 0.005994856357574463, 0.00618743896484375]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 1.0, 4.0, 6.0, 5.0, 5.0, 4.0, 12.0, 9.0, 11.0, 19.0, 13.0, 20.0, 13.0, 24.0, 42.0, 30.0, 35.0, 39.0, 38.0, 44.0, 38.0, 51.0, 38.0, 1071.0, 45.0, 40.0, 38.0, 50.0, 39.0, 26.0, 33.0, 34.0, 28.0, 23.0, 14.0, 18.0, 14.0, 12.0, 13.0, 7.0, 11.0, 6.0, 4.0, 0.0, 2.0, 2.0, 2.0, 2.0, 1.0, 1.0, 2.0, 0.0, 2.0], "bins": [-1.1572265625, -1.12335205078125, -1.0894775390625, -1.05560302734375, -1.021728515625, -0.98785400390625, -0.9539794921875, -0.92010498046875, -0.88623046875, -0.85235595703125, -0.8184814453125, -0.78460693359375, -0.750732421875, -0.71685791015625, -0.6829833984375, -0.64910888671875, -0.615234375, -0.58135986328125, -0.5474853515625, -0.51361083984375, -0.479736328125, -0.44586181640625, -0.4119873046875, -0.37811279296875, -0.34423828125, -0.31036376953125, -0.2764892578125, -0.24261474609375, -0.208740234375, -0.17486572265625, -0.1409912109375, -0.10711669921875, -0.0732421875, -0.03936767578125, -0.0054931640625, 0.02838134765625, 0.062255859375, 0.09613037109375, 0.1300048828125, 0.16387939453125, 0.19775390625, 0.23162841796875, 0.2655029296875, 0.29937744140625, 0.333251953125, 0.36712646484375, 0.4010009765625, 0.43487548828125, 0.46875, 0.50262451171875, 0.5364990234375, 0.57037353515625, 0.604248046875, 0.63812255859375, 0.6719970703125, 0.70587158203125, 0.73974609375, 0.77362060546875, 0.8074951171875, 0.84136962890625, 0.875244140625, 0.90911865234375, 0.9429931640625, 0.97686767578125, 1.0107421875]}, "gradients/decoder.transformer.h.0.crossattention.c_attn.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 2.0, 2.0, 1.0, 4.0, 1.0, 0.0, 3.0, 10.0, 7.0, 10.0, 16.0, 10.0, 16.0, 20.0, 8.0, 34.0, 27.0, 31.0, 33.0, 39.0, 66.0, 106.0, 284.0, 1150.0, 9761.0, 2076590.0, 7286.0, 955.0, 240.0, 97.0, 54.0, 43.0, 34.0, 30.0, 39.0, 18.0, 14.0, 16.0, 15.0, 17.0, 11.0, 8.0, 11.0, 4.0, 3.0, 8.0, 5.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0010986328125, -0.0010613203048706055, -0.001024007797241211, -0.0009866952896118164, -0.0009493827819824219, -0.0009120702743530273, -0.0008747577667236328, -0.0008374452590942383, -0.0008001327514648438, -0.0007628202438354492, -0.0007255077362060547, -0.0006881952285766602, -0.0006508827209472656, -0.0006135702133178711, -0.0005762577056884766, -0.000538945198059082, -0.0005016326904296875, -0.00046432018280029297, -0.00042700767517089844, -0.0003896951675415039, -0.0003523826599121094, -0.00031507015228271484, -0.0002777576446533203, -0.00024044513702392578, -0.00020313262939453125, -0.00016582012176513672, -0.0001285076141357422, -9.119510650634766e-05, -5.3882598876953125e-05, -1.6570091247558594e-05, 2.0742416381835938e-05, 5.805492401123047e-05, 9.5367431640625e-05, 0.00013267993927001953, 0.00016999244689941406, 0.0002073049545288086, 0.0002446174621582031, 0.00028192996978759766, 0.0003192424774169922, 0.0003565549850463867, 0.00039386749267578125, 0.0004311800003051758, 0.0004684925079345703, 0.0005058050155639648, 0.0005431175231933594, 0.0005804300308227539, 0.0006177425384521484, 0.000655055046081543, 0.0006923675537109375, 0.000729680061340332, 0.0007669925689697266, 0.0008043050765991211, 0.0008416175842285156, 0.0008789300918579102, 0.0009162425994873047, 0.0009535551071166992, 0.0009908676147460938, 0.0010281801223754883, 0.0010654926300048828, 0.0011028051376342773, 0.0011401176452636719, 0.0011774301528930664, 0.001214742660522461, 0.0012520551681518555, 0.00128936767578125]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 984.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.384185791015625e-07, -2.3096799850463867e-07, -2.2351741790771484e-07, -2.1606683731079102e-07, -2.086162567138672e-07, -2.0116567611694336e-07, -1.9371509552001953e-07, -1.862645149230957e-07, -1.7881393432617188e-07, -1.7136335372924805e-07, -1.6391277313232422e-07, -1.564621925354004e-07, -1.4901161193847656e-07, -1.4156103134155273e-07, -1.341104507446289e-07, -1.2665987014770508e-07, -1.1920928955078125e-07, -1.1175870895385742e-07, -1.043081283569336e-07, -9.685754776000977e-08, -8.940696716308594e-08, -8.195638656616211e-08, -7.450580596923828e-08, -6.705522537231445e-08, -5.960464477539063e-08, -5.21540641784668e-08, -4.470348358154297e-08, -3.725290298461914e-08, -2.9802322387695312e-08, -2.2351741790771484e-08, -1.4901161193847656e-08, -7.450580596923828e-09, 0.0, 7.450580596923828e-09, 1.4901161193847656e-08, 2.2351741790771484e-08, 2.9802322387695312e-08, 3.725290298461914e-08, 4.470348358154297e-08, 5.21540641784668e-08, 5.960464477539063e-08, 6.705522537231445e-08, 7.450580596923828e-08, 8.195638656616211e-08, 8.940696716308594e-08, 9.685754776000977e-08, 1.043081283569336e-07, 1.1175870895385742e-07, 1.1920928955078125e-07, 1.2665987014770508e-07, 1.341104507446289e-07, 1.4156103134155273e-07, 1.4901161193847656e-07, 1.564621925354004e-07, 1.6391277313232422e-07, 1.7136335372924805e-07, 1.7881393432617188e-07, 1.862645149230957e-07, 1.9371509552001953e-07, 2.0116567611694336e-07, 2.086162567138672e-07, 2.1606683731079102e-07, 2.2351741790771484e-07, 2.3096799850463867e-07, 2.384185791015625e-07]}, "gradients/decoder.transformer.h.0.crossattention.q_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 4.0, 1.0, 2.0, 0.0, 3.0, 5.0, 1.0, 3.0, 0.0, 9.0, 3.0, 13.0, 10.0, 0.0, 19.0, 18.0, 24.0, 61.0, 0.0, 151.0, 295.0, 951.0, 2193.0, 0.0, 5384.0, 10950.0, 1008419.0, 10992.0, 0.0, 5276.0, 2195.0, 950.0, 319.0, 0.0, 130.0, 56.0, 34.0, 14.0, 0.0, 29.0, 4.0, 12.0, 4.0, 0.0, 11.0, 4.0, 2.0, 7.0, 0.0, 1.0, 2.0, 4.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0], "bins": [-1.5497207641601562e-06, -1.5022233128547668e-06, -1.4547258615493774e-06, -1.407228410243988e-06, -1.3597309589385986e-06, -1.3122335076332092e-06, -1.2647360563278198e-06, -1.2172386050224304e-06, -1.169741153717041e-06, -1.1222437024116516e-06, -1.0747462511062622e-06, -1.0272487998008728e-06, -9.797513484954834e-07, -9.32253897190094e-07, -8.847564458847046e-07, -8.372589945793152e-07, -7.897615432739258e-07, -7.422640919685364e-07, -6.94766640663147e-07, -6.472691893577576e-07, -5.997717380523682e-07, -5.522742867469788e-07, -5.047768354415894e-07, -4.5727938413619995e-07, -4.0978193283081055e-07, -3.6228448152542114e-07, -3.1478703022003174e-07, -2.6728957891464233e-07, -2.1979212760925293e-07, -1.7229467630386353e-07, -1.2479722499847412e-07, -7.729977369308472e-08, -2.9802322387695312e-08, 1.7695128917694092e-08, 6.51925802230835e-08, 1.126900315284729e-07, 1.601874828338623e-07, 2.076849341392517e-07, 2.551823854446411e-07, 3.026798367500305e-07, 3.501772880554199e-07, 3.976747393608093e-07, 4.4517219066619873e-07, 4.926696419715881e-07, 5.401670932769775e-07, 5.876645445823669e-07, 6.351619958877563e-07, 6.826594471931458e-07, 7.301568984985352e-07, 7.776543498039246e-07, 8.25151801109314e-07, 8.726492524147034e-07, 9.201467037200928e-07, 9.676441550254822e-07, 1.0151416063308716e-06, 1.062639057636261e-06, 1.1101365089416504e-06, 1.1576339602470398e-06, 1.2051314115524292e-06, 1.2526288628578186e-06, 1.300126314163208e-06, 1.3476237654685974e-06, 1.3951212167739868e-06, 1.4426186680793762e-06, 1.4901161193847656e-06]}, "gradients/decoder.transformer.h.0.ln_cross_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 4.0, 8.0, 12.0, 9.0, 13.0, 20.0, 14.0, 25.0, 39.0, 41.0, 638.0, 47.0, 25.0, 27.0, 15.0, 23.0, 12.0, 9.0, 9.0, 6.0, 4.0, 5.0, 1.0, 1.0, 2.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.418879140961508e-07, -5.270183009997709e-07, -5.121486310599721e-07, -4.972790179635922e-07, -4.824094048672123e-07, -4.675397349274135e-07, -4.526701218310336e-07, -4.3780048031294427e-07, -4.2293083879485494e-07, -4.080611972767656e-07, -3.931915841803857e-07, -3.7832194266229635e-07, -3.63452301144207e-07, -3.485826596261177e-07, -3.3371304652973777e-07, -3.1884340501164843e-07, -3.039737634935591e-07, -2.8910412197546975e-07, -2.7423450887908984e-07, -2.593648673610005e-07, -2.4449522584291117e-07, -2.2962559853567654e-07, -2.1475597122844192e-07, -1.9988632971035258e-07, -1.8501671661397268e-07, -1.7014708930673805e-07, -1.5527744778864871e-07, -1.404078204814141e-07, -1.2553817896332475e-07, -1.1066855165609013e-07, -9.579891724342815e-08, -8.092928283076617e-08, -6.605964131267683e-08, -5.119000690001485e-08, -3.632037248735287e-08, -2.1450741627404568e-08, -6.5811072147425875e-09, 8.288523645205714e-09, 2.3158158057867695e-08, 3.8027792470529675e-08, 5.2897426883191656e-08, 6.776706129585364e-08, 8.263669570851562e-08, 9.75063301211776e-08, 1.1237595742841222e-07, 1.2724558473564684e-07, 1.4211522625373618e-07, 1.5698486777182552e-07, 1.7185449507906014e-07, 1.8672412238629477e-07, 2.015937639043841e-07, 2.1646339121161873e-07, 2.3133303272970807e-07, 2.462026600369427e-07, 2.6107230155503203e-07, 2.7594194307312137e-07, 2.9081155616950127e-07, 3.056811976875906e-07, 3.205508107839705e-07, 3.3542045230205986e-07, 3.502900938201492e-07, 3.6515973533823853e-07, 3.8002934843461844e-07, 3.948989899527078e-07, 4.097686314707971e-07]}, "gradients/decoder.transformer.h.0.ln_cross_attn.bias": {"_type": "histogram", "values": [13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 27.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 137.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 649.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 152.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 41.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0], "bins": [-1.7881393432617188e-07, -1.73225998878479e-07, -1.6763806343078613e-07, -1.6205012798309326e-07, -1.564621925354004e-07, -1.5087425708770752e-07, -1.4528632164001465e-07, -1.3969838619232178e-07, -1.341104507446289e-07, -1.2852251529693604e-07, -1.2293457984924316e-07, -1.1734664440155029e-07, -1.1175870895385742e-07, -1.0617077350616455e-07, -1.0058283805847168e-07, -9.499490261077881e-08, -8.940696716308594e-08, -8.381903171539307e-08, -7.82310962677002e-08, -7.264316082000732e-08, -6.705522537231445e-08, -6.146728992462158e-08, -5.587935447692871e-08, -5.029141902923584e-08, -4.470348358154297e-08, -3.91155481338501e-08, -3.3527612686157227e-08, -2.7939677238464355e-08, -2.2351741790771484e-08, -1.6763806343078613e-08, -1.1175870895385742e-08, -5.587935447692871e-09, 0.0, 5.587935447692871e-09, 1.1175870895385742e-08, 1.6763806343078613e-08, 2.2351741790771484e-08, 2.7939677238464355e-08, 3.3527612686157227e-08, 3.91155481338501e-08, 4.470348358154297e-08, 5.029141902923584e-08, 5.587935447692871e-08, 6.146728992462158e-08, 6.705522537231445e-08, 7.264316082000732e-08, 7.82310962677002e-08, 8.381903171539307e-08, 8.940696716308594e-08, 9.499490261077881e-08, 1.0058283805847168e-07, 1.0617077350616455e-07, 1.1175870895385742e-07, 1.1734664440155029e-07, 1.2293457984924316e-07, 1.2852251529693604e-07, 1.341104507446289e-07, 1.3969838619232178e-07, 1.4528632164001465e-07, 1.5087425708770752e-07, 1.564621925354004e-07, 1.6205012798309326e-07, 1.6763806343078613e-07, 1.73225998878479e-07, 1.7881393432617188e-07]}, "gradients/decoder.transformer.h.0.attn.c_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 0.0, 4.0, 2.0, 2.0, 5.0, 4.0, 4.0, 6.0, 10.0, 10.0, 12.0, 11.0, 20.0, 10.0, 16.0, 16.0, 13.0, 19.0, 20.0, 20.0, 28.0, 43.0, 27.0, 34.0, 41.0, 31.0, 45.0, 46.0, 40.0, 41.0, 24.0, 44.0, 36.0, 33.0, 40.0, 28.0, 25.0, 27.0, 20.0, 14.0, 30.0, 17.0, 11.0, 16.0, 12.0, 10.0, 4.0, 9.0, 16.0, 2.0, 5.0, 3.0, 4.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.1015625, -1.0672760009765625, -1.032989501953125, -0.9987030029296875, -0.96441650390625, -0.9301300048828125, -0.895843505859375, -0.8615570068359375, -0.8272705078125, -0.7929840087890625, -0.758697509765625, -0.7244110107421875, -0.69012451171875, -0.6558380126953125, -0.621551513671875, -0.5872650146484375, -0.552978515625, -0.5186920166015625, -0.484405517578125, -0.4501190185546875, -0.41583251953125, -0.3815460205078125, -0.347259521484375, -0.3129730224609375, -0.2786865234375, -0.2444000244140625, -0.210113525390625, -0.1758270263671875, -0.14154052734375, -0.1072540283203125, -0.072967529296875, -0.0386810302734375, -0.00439453125, 0.0298919677734375, 0.064178466796875, 0.0984649658203125, 0.13275146484375, 0.1670379638671875, 0.201324462890625, 0.2356109619140625, 0.2698974609375, 0.3041839599609375, 0.338470458984375, 0.3727569580078125, 0.40704345703125, 0.4413299560546875, 0.475616455078125, 0.5099029541015625, 0.544189453125, 0.5784759521484375, 0.612762451171875, 0.6470489501953125, 0.68133544921875, 0.7156219482421875, 0.749908447265625, 0.7841949462890625, 0.8184814453125, 0.8527679443359375, 0.887054443359375, 0.9213409423828125, 0.95562744140625, 0.9899139404296875, 1.024200439453125, 1.0584869384765625, 1.0927734375]}, "gradients/decoder.transformer.h.0.attn.c_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 1.0, 4.0, 3.0, 2.0, 5.0, 5.0, 7.0, 8.0, 13.0, 9.0, 15.0, 15.0, 26.0, 15.0, 16.0, 23.0, 55.0, 66.0, 106.0, 186.0, 295.0, 517.0, 1193.0, 4391.0, 24586.0, 177050.0, 592330.0, 210588.0, 29176.0, 5080.0, 1271.0, 574.0, 316.0, 197.0, 101.0, 76.0, 51.0, 34.0, 28.0, 21.0, 21.0, 16.0, 8.0, 15.0, 5.0, 8.0, 14.0, 8.0, 4.0, 4.0, 4.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.1856689453125, -0.1799640655517578, -0.17425918579101562, -0.16855430603027344, -0.16284942626953125, -0.15714454650878906, -0.15143966674804688, -0.1457347869873047, -0.1400299072265625, -0.1343250274658203, -0.12862014770507812, -0.12291526794433594, -0.11721038818359375, -0.11150550842285156, -0.10580062866210938, -0.10009574890136719, -0.094390869140625, -0.08868598937988281, -0.08298110961914062, -0.07727622985839844, -0.07157135009765625, -0.06586647033691406, -0.060161590576171875, -0.05445671081542969, -0.0487518310546875, -0.04304695129394531, -0.037342071533203125, -0.03163719177246094, -0.02593231201171875, -0.020227432250976562, -0.014522552490234375, -0.008817672729492188, -0.00311279296875, 0.0025920867919921875, 0.008296966552734375, 0.014001846313476562, 0.01970672607421875, 0.025411605834960938, 0.031116485595703125, 0.03682136535644531, 0.0425262451171875, 0.04823112487792969, 0.053936004638671875, 0.05964088439941406, 0.06534576416015625, 0.07105064392089844, 0.07675552368164062, 0.08246040344238281, 0.088165283203125, 0.09387016296386719, 0.09957504272460938, 0.10527992248535156, 0.11098480224609375, 0.11668968200683594, 0.12239456176757812, 0.1280994415283203, 0.1338043212890625, 0.1395092010498047, 0.14521408081054688, 0.15091896057128906, 0.15662384033203125, 0.16232872009277344, 0.16803359985351562, 0.1737384796142578, 0.179443359375]}, "gradients/decoder.transformer.h.0.attn.c_attn.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 5.0, 5.0, 4.0, 5.0, 4.0, 14.0, 10.0, 22.0, 24.0, 27.0, 34.0, 48.0, 52.0, 72.0, 62.0, 77.0, 2085.0, 98.0, 70.0, 58.0, 61.0, 51.0, 36.0, 35.0, 31.0, 17.0, 13.0, 15.0, 7.0, 6.0, 6.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.380859375, -2.292144775390625, -2.20343017578125, -2.114715576171875, -2.0260009765625, -1.937286376953125, -1.84857177734375, -1.759857177734375, -1.671142578125, -1.582427978515625, -1.49371337890625, -1.404998779296875, -1.3162841796875, -1.227569580078125, -1.13885498046875, -1.050140380859375, -0.96142578125, -0.872711181640625, -0.78399658203125, -0.695281982421875, -0.6065673828125, -0.517852783203125, -0.42913818359375, -0.340423583984375, -0.251708984375, -0.162994384765625, -0.07427978515625, 0.014434814453125, 0.1031494140625, 0.191864013671875, 0.28057861328125, 0.369293212890625, 0.4580078125, 0.546722412109375, 0.63543701171875, 0.724151611328125, 0.8128662109375, 0.901580810546875, 0.99029541015625, 1.079010009765625, 1.167724609375, 1.256439208984375, 1.34515380859375, 1.433868408203125, 1.5225830078125, 1.611297607421875, 1.70001220703125, 1.788726806640625, 1.87744140625, 1.966156005859375, 2.05487060546875, 2.143585205078125, 2.2322998046875, 2.321014404296875, 2.40972900390625, 2.498443603515625, 2.587158203125, 2.675872802734375, 2.76458740234375, 2.853302001953125, 2.9420166015625, 3.030731201171875, 3.11944580078125, 3.208160400390625, 3.296875]}, "gradients/decoder.transformer.h.0.attn.c_attn.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 3.0, 2.0, 5.0, 5.0, 7.0, 14.0, 16.0, 21.0, 46.0, 63.0, 131.0, 270.0, 532.0, 1442.0, 5969.0, 91729.0, 2989003.0, 49923.0, 4267.0, 1262.0, 506.0, 233.0, 119.0, 70.0, 29.0, 11.0, 15.0, 8.0, 4.0, 4.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.337890625, -0.3288593292236328, -0.3198280334472656, -0.31079673767089844, -0.30176544189453125, -0.29273414611816406, -0.2837028503417969, -0.2746715545654297, -0.2656402587890625, -0.2566089630126953, -0.24757766723632812, -0.23854637145996094, -0.22951507568359375, -0.22048377990722656, -0.21145248413085938, -0.2024211883544922, -0.193389892578125, -0.1843585968017578, -0.17532730102539062, -0.16629600524902344, -0.15726470947265625, -0.14823341369628906, -0.13920211791992188, -0.1301708221435547, -0.1211395263671875, -0.11210823059082031, -0.10307693481445312, -0.09404563903808594, -0.08501434326171875, -0.07598304748535156, -0.06695175170898438, -0.05792045593261719, -0.04888916015625, -0.03985786437988281, -0.030826568603515625, -0.021795272827148438, -0.01276397705078125, -0.0037326812744140625, 0.005298614501953125, 0.014329910278320312, 0.0233612060546875, 0.03239250183105469, 0.041423797607421875, 0.05045509338378906, 0.05948638916015625, 0.06851768493652344, 0.07754898071289062, 0.08658027648925781, 0.095611572265625, 0.10464286804199219, 0.11367416381835938, 0.12270545959472656, 0.13173675537109375, 0.14076805114746094, 0.14979934692382812, 0.1588306427001953, 0.1678619384765625, 0.1768932342529297, 0.18592453002929688, 0.19495582580566406, 0.20398712158203125, 0.21301841735839844, 0.22204971313476562, 0.2310810089111328, 0.2401123046875]}, "gradients/decoder.transformer.h.0.ln_1.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 4.0, 6.0, 4.0, 10.0, 8.0, 11.0, 23.0, 22.0, 37.0, 58.0, 91.0, 111.0, 142.0, 126.0, 109.0, 71.0, 52.0, 30.0, 18.0, 16.0, 12.0, 13.0, 7.0, 7.0, 2.0, 3.0, 5.0, 4.0, 0.0, 3.0, 2.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.8811519145965576, -2.769111156463623, -2.6570701599121094, -2.545029401779175, -2.4329886436462402, -2.3209476470947266, -2.208906888961792, -2.0968661308288574, -1.9848251342773438, -1.8727842569351196, -1.7607433795928955, -1.648702621459961, -1.5366617441177368, -1.4246208667755127, -1.3125801086425781, -1.200539231300354, -1.0884983539581299, -0.9764574766159058, -0.8644166588783264, -0.7523758411407471, -0.640334963798523, -0.5282940864562988, -0.4162532687187195, -0.30421245098114014, -0.19217157363891602, -0.08013072609901428, 0.03191012144088745, 0.14395096898078918, 0.2559918165206909, 0.36803269386291504, 0.4800735116004944, 0.5921143293380737, 0.7041549682617188, 0.8161958456039429, 0.9282366633415222, 1.0402774810791016, 1.1523183584213257, 1.2643592357635498, 1.3763999938964844, 1.4884408712387085, 1.6004817485809326, 1.7125226259231567, 1.8245635032653809, 1.9366042613983154, 2.04864501953125, 2.1606860160827637, 2.2727267742156982, 2.384767532348633, 2.4968085289001465, 2.608849287033081, 2.7208902835845947, 2.8329310417175293, 2.944972038269043, 3.0570127964019775, 3.169053554534912, 3.281094551086426, 3.3931353092193604, 3.505176067352295, 3.6172170639038086, 3.729257822036743, 3.8412985801696777, 3.9533395767211914, 4.065380573272705, 4.1774210929870605, 4.289462089538574]}, "gradients/decoder.transformer.h.0.ln_1.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 4.0, 1.0, 3.0, 3.0, 2.0, 2.0, 5.0, 9.0, 9.0, 6.0, 10.0, 9.0, 17.0, 18.0, 22.0, 34.0, 25.0, 31.0, 31.0, 36.0, 42.0, 53.0, 44.0, 48.0, 53.0, 38.0, 43.0, 54.0, 51.0, 35.0, 28.0, 34.0, 36.0, 34.0, 25.0, 24.0, 15.0, 15.0, 18.0, 5.0, 11.0, 6.0, 9.0, 4.0, 4.0, 1.0, 5.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.142597198486328, -4.012853145599365, -3.883108615875244, -3.7533645629882812, -3.6236202716827393, -3.4938759803771973, -3.3641319274902344, -3.2343876361846924, -3.1046433448791504, -2.9748990535736084, -2.8451547622680664, -2.7154107093811035, -2.5856664180755615, -2.4559221267700195, -2.3261780738830566, -2.1964337825775146, -2.0666894912719727, -1.9369451999664307, -1.8072010278701782, -1.6774568557739258, -1.5477125644683838, -1.4179682731628418, -1.2882241010665894, -1.158479928970337, -1.028735637664795, -0.8989914059638977, -0.7692471742630005, -0.6395029425621033, -0.509758710861206, -0.38001447916030884, -0.2502702474594116, -0.1205260157585144, 0.009218215942382812, 0.13896244764328003, 0.26870667934417725, 0.39845091104507446, 0.5281951427459717, 0.6579393744468689, 0.7876836061477661, 0.9174278378486633, 1.0471720695495605, 1.1769163608551025, 1.306660532951355, 1.4364047050476074, 1.5661489963531494, 1.6958932876586914, 1.8256374597549438, 1.9553816318511963, 2.0851259231567383, 2.2148702144622803, 2.3446145057678223, 2.474358558654785, 2.604102849960327, 2.733847141265869, 2.863591194152832, 2.993335485458374, 3.123079776763916, 3.252824068069458, 3.382568359375, 3.512312412261963, 3.642056703567505, 3.771800994873047, 3.9015450477600098, 4.031289577484131, 4.161033630371094]}, "gradients/decoder.transformer.wpe.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 5.0, 3.0, 3.0, 4.0, 6.0, 2.0, 9.0, 9.0, 15.0, 14.0, 16.0, 27.0, 31.0, 49.0, 57.0, 65.0, 83.0, 144.0, 164.0, 188.0, 308.0, 408.0, 583.0, 753.0, 1240.0, 1041111.0, 816.0, 612.0, 477.0, 333.0, 236.0, 190.0, 155.0, 99.0, 71.0, 54.0, 45.0, 35.0, 32.0, 19.0, 16.0, 21.0, 12.0, 14.0, 7.0, 9.0, 7.0, 2.0, 4.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.8108595013618469, -0.7848710417747498, -0.7588826417922974, -0.7328941822052002, -0.7069057822227478, -0.6809173226356506, -0.6549289226531982, -0.6289404630661011, -0.6029520034790039, -0.5769635438919067, -0.5509751439094543, -0.5249866843223572, -0.4989982545375824, -0.4730098247528076, -0.44702139496803284, -0.42103296518325806, -0.3950445353984833, -0.3690561056137085, -0.3430676758289337, -0.31707924604415894, -0.29109078645706177, -0.265102356672287, -0.2391139268875122, -0.21312548220157623, -0.18713705241680145, -0.16114862263202667, -0.1351601779460907, -0.10917174816131592, -0.08318331092596054, -0.057194873690605164, -0.031206443905830383, -0.005217999219894409, 0.02077043056488037, 0.04675886780023575, 0.07274730503559113, 0.0987357348203659, 0.12472417205572128, 0.15071260929107666, 0.17670103907585144, 0.20268948376178741, 0.2286779135465622, 0.25466635823249817, 0.28065478801727295, 0.30664321780204773, 0.3326316475868225, 0.3586201071739197, 0.38460850715637207, 0.41059696674346924, 0.436585396528244, 0.4625738263130188, 0.4885622560977936, 0.5145506858825684, 0.5405391454696655, 0.5665276050567627, 0.5925160050392151, 0.6185044646263123, 0.6444928646087646, 0.6704813241958618, 0.6964697241783142, 0.7224581837654114, 0.7484465837478638, 0.7744350433349609, 0.8004235029220581, 0.8264119029045105, 0.8524003624916077]}, "gradients/decoder.transformer.wte.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 3.0, 6.0, 3.0, 5.0, 5.0, 5.0, 1.0, 6.0, 11.0, 6.0, 15.0, 29.0, 25.0, 66.0, 114.0, 587.0, 51450820.0, 11003.0, 266.0, 76.0, 48.0, 20.0, 16.0, 13.0, 8.0, 3.0, 4.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-21.74983787536621, -21.27509117126465, -20.800344467163086, -20.32559585571289, -19.850849151611328, -19.376102447509766, -18.901355743408203, -18.42660903930664, -17.951862335205078, -17.477115631103516, -17.002368927001953, -16.52762222290039, -16.052873611450195, -15.578126907348633, -15.10338020324707, -14.628633499145508, -14.153885841369629, -13.679139137268066, -13.204391479492188, -12.729644775390625, -12.254898071289062, -11.7801513671875, -11.305403709411621, -10.830657005310059, -10.35590934753418, -9.881162643432617, -9.406414985656738, -8.931668281555176, -8.456921577453613, -7.982174396514893, -7.507427215576172, -7.032680511474609, -6.5579328536987305, -6.08318567276001, -5.608438968658447, -5.133691787719727, -4.658945083618164, -4.184197902679443, -3.7094507217407227, -3.234703779220581, -2.7599568367004395, -2.285209894180298, -1.8104628324508667, -1.3357157707214355, -0.860968828201294, -0.38622188568115234, 0.08852529525756836, 0.56327223777771, 1.0380191802978516, 1.5127661228179932, 1.9875131845474243, 2.4622602462768555, 2.937007188796997, 3.4117541313171387, 3.8865013122558594, 4.361248016357422, 4.835995197296143, 5.310742378234863, 5.785489082336426, 6.2602362632751465, 6.734983444213867, 7.20973014831543, 7.68447732925415, 8.159224510192871, 8.633971214294434]}, "gradients/encoder.adapter.layers.2.conv.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 4.0, 0.0, 9.0, 6.0, 6.0, 13.0, 4.0, 12.0, 14.0, 14.0, 21.0, 28.0, 16.0, 31.0, 51.0, 40.0, 56.0, 78.0, 87.0, 143.0, 287.0, 614.0, 1735.0, 9414.0, 6268303.0, 7629.0, 1420.0, 533.0, 277.0, 159.0, 83.0, 58.0, 53.0, 33.0, 38.0, 30.0, 21.0, 19.0, 20.0, 10.0, 12.0, 14.0, 11.0, 11.0, 9.0, 7.0, 4.0, 5.0, 1.0, 0.0, 4.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0009365081787109375, -0.0009067431092262268, -0.0008769780397415161, -0.0008472129702568054, -0.0008174479007720947, -0.000787682831287384, -0.0007579177618026733, -0.0007281526923179626, -0.000698387622833252, -0.0006686225533485413, -0.0006388574838638306, -0.0006090924143791199, -0.0005793273448944092, -0.0005495622754096985, -0.0005197972059249878, -0.0004900321364402771, -0.0004602670669555664, -0.0004305019974708557, -0.000400736927986145, -0.0003709718585014343, -0.00034120678901672363, -0.00031144171953201294, -0.00028167665004730225, -0.00025191158056259155, -0.00022214651107788086, -0.00019238144159317017, -0.00016261637210845947, -0.00013285130262374878, -0.00010308623313903809, -7.332116365432739e-05, -4.35560941696167e-05, -1.3791024684906006e-05, 1.5974044799804688e-05, 4.573911428451538e-05, 7.550418376922607e-05, 0.00010526925325393677, 0.00013503432273864746, 0.00016479939222335815, 0.00019456446170806885, 0.00022432953119277954, 0.00025409460067749023, 0.00028385967016220093, 0.0003136247396469116, 0.0003433898091316223, 0.000373154878616333, 0.0004029199481010437, 0.0004326850175857544, 0.0004624500870704651, 0.0004922151565551758, 0.0005219802260398865, 0.0005517452955245972, 0.0005815103650093079, 0.0006112754344940186, 0.0006410405039787292, 0.0006708055734634399, 0.0007005706429481506, 0.0007303357124328613, 0.000760100781917572, 0.0007898658514022827, 0.0008196309208869934, 0.0008493959903717041, 0.0008791610598564148, 0.0009089261293411255, 0.0009386911988258362, 0.0009684562683105469]}, "gradients/encoder.adapter.layers.2.conv.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 1.0, 0.0, 4.0, 10.0, 49.0, 1800.0, 129.0, 16.0, 13.0, 5.0, 4.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000362396240234375, -0.0003513246774673462, -0.0003402531147003174, -0.0003291815519332886, -0.00031810998916625977, -0.00030703842639923096, -0.00029596686363220215, -0.00028489530086517334, -0.00027382373809814453, -0.0002627521753311157, -0.0002516806125640869, -0.0002406090497970581, -0.0002295374870300293, -0.0002184659242630005, -0.00020739436149597168, -0.00019632279872894287, -0.00018525123596191406, -0.00017417967319488525, -0.00016310811042785645, -0.00015203654766082764, -0.00014096498489379883, -0.00012989342212677002, -0.00011882185935974121, -0.0001077502965927124, -9.66787338256836e-05, -8.560717105865479e-05, -7.453560829162598e-05, -6.346404552459717e-05, -5.239248275756836e-05, -4.132091999053955e-05, -3.0249357223510742e-05, -1.9177794456481934e-05, -8.106231689453125e-06, 2.9653310775756836e-06, 1.4036893844604492e-05, 2.51084566116333e-05, 3.618001937866211e-05, 4.725158214569092e-05, 5.8323144912719727e-05, 6.939470767974854e-05, 8.046627044677734e-05, 9.153783321380615e-05, 0.00010260939598083496, 0.00011368095874786377, 0.00012475252151489258, 0.0001358240842819214, 0.0001468956470489502, 0.000157967209815979, 0.0001690387725830078, 0.00018011033535003662, 0.00019118189811706543, 0.00020225346088409424, 0.00021332502365112305, 0.00022439658641815186, 0.00023546814918518066, 0.00024653971195220947, 0.0002576112747192383, 0.0002686828374862671, 0.0002797544002532959, 0.0002908259630203247, 0.0003018975257873535, 0.0003129690885543823, 0.00032404065132141113, 0.00033511221408843994, 0.00034618377685546875]}, "gradients/encoder.adapter.layers.1.conv.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 10.0, 8.0, 6.0, 13.0, 5.0, 18.0, 39.0, 37.0, 92.0, 221.0, 749.0, 4465.0, 5230968.0, 1049383.0, 4254.0, 702.0, 232.0, 105.0, 50.0, 26.0, 16.0, 15.0, 10.0, 8.0, 3.0, 3.0, 2.0, 4.0, 1.0, 1.0, 1.0, 1.0], "bins": [-0.0002187490463256836, -0.00021388661116361618, -0.00020902417600154877, -0.00020416174083948135, -0.00019929930567741394, -0.00019443687051534653, -0.00018957443535327911, -0.0001847120001912117, -0.0001798495650291443, -0.00017498712986707687, -0.00017012469470500946, -0.00016526225954294205, -0.00016039982438087463, -0.00015553738921880722, -0.0001506749540567398, -0.0001458125188946724, -0.00014095008373260498, -0.00013608764857053757, -0.00013122521340847015, -0.00012636277824640274, -0.00012150034308433533, -0.00011663790792226791, -0.0001117754727602005, -0.00010691303759813309, -0.00010205060243606567, -9.718816727399826e-05, -9.232573211193085e-05, -8.746329694986343e-05, -8.260086178779602e-05, -7.773842662572861e-05, -7.28759914636612e-05, -6.801355630159378e-05, -6.315112113952637e-05, -5.8288685977458954e-05, -5.342625081539154e-05, -4.856381565332413e-05, -4.3701380491256714e-05, -3.88389453291893e-05, -3.397651016712189e-05, -2.9114075005054474e-05, -2.425163984298706e-05, -1.9389204680919647e-05, -1.4526769518852234e-05, -9.66433435678482e-06, -4.801899194717407e-06, 6.05359673500061e-08, 4.9229711294174194e-06, 9.785406291484833e-06, 1.4647841453552246e-05, 1.951027661561966e-05, 2.4372711777687073e-05, 2.9235146939754486e-05, 3.40975821018219e-05, 3.896001726388931e-05, 4.3822452425956726e-05, 4.868488758802414e-05, 5.354732275009155e-05, 5.8409757912158966e-05, 6.327219307422638e-05, 6.813462823629379e-05, 7.29970633983612e-05, 7.785949856042862e-05, 8.272193372249603e-05, 8.758436888456345e-05, 9.244680404663086e-05]}, "gradients/encoder.adapter.layers.1.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 4.0, 2.0, 3.0, 2.0, 2.0, 10.0, 5.0, 29.0, 30.0, 90.0, 187.0, 714.0, 649.0, 170.0, 59.0, 21.0, 19.0, 12.0, 8.0, 4.0, 4.0, 5.0, 1.0, 3.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00025916099548339844, -0.0002533961087465286, -0.0002476312220096588, -0.000241866335272789, -0.0002361014485359192, -0.00023033656179904938, -0.00022457167506217957, -0.00021880678832530975, -0.00021304190158843994, -0.00020727701485157013, -0.00020151212811470032, -0.0001957472413778305, -0.0001899823546409607, -0.00018421746790409088, -0.00017845258116722107, -0.00017268769443035126, -0.00016692280769348145, -0.00016115792095661163, -0.00015539303421974182, -0.000149628147482872, -0.0001438632607460022, -0.00013809837400913239, -0.00013233348727226257, -0.00012656860053539276, -0.00012080371379852295, -0.00011503882706165314, -0.00010927394032478333, -0.00010350905358791351, -9.77441668510437e-05, -9.197928011417389e-05, -8.621439337730408e-05, -8.044950664043427e-05, -7.468461990356445e-05, -6.891973316669464e-05, -6.315484642982483e-05, -5.738995969295502e-05, -5.1625072956085205e-05, -4.586018621921539e-05, -4.009529948234558e-05, -3.433041274547577e-05, -2.8565526008605957e-05, -2.2800639271736145e-05, -1.7035752534866333e-05, -1.1270865797996521e-05, -5.505979061126709e-06, 2.5890767574310303e-07, 6.023794412612915e-06, 1.1788681149482727e-05, 1.755356788635254e-05, 2.331845462322235e-05, 2.9083341360092163e-05, 3.4848228096961975e-05, 4.061311483383179e-05, 4.63780015707016e-05, 5.214288830757141e-05, 5.790777504444122e-05, 6.367266178131104e-05, 6.943754851818085e-05, 7.520243525505066e-05, 8.096732199192047e-05, 8.673220872879028e-05, 9.24970954656601e-05, 9.826198220252991e-05, 0.00010402686893939972, 0.00010979175567626953]}, "gradients/encoder.adapter.layers.0.conv.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 5.0, 2.0, 2.0, 5.0, 5.0, 1.0, 12.0, 2.0, 7.0, 7.0, 9.0, 20.0, 50.0, 70.0, 95.0, 166.0, 320.0, 756.0, 2180.0, 9900.0, 381015.0, 5879815.0, 12828.0, 2567.0, 844.0, 334.0, 173.0, 84.0, 54.0, 21.0, 22.0, 17.0, 16.0, 7.0, 11.0, 5.0, 5.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 3.0, 0.0, 2.0, 2.0], "bins": [-0.00011551380157470703, -0.0001120222732424736, -0.00010853074491024017, -0.00010503921657800674, -0.00010154768824577332, -9.805615991353989e-05, -9.456463158130646e-05, -9.107310324907303e-05, -8.75815749168396e-05, -8.409004658460617e-05, -8.059851825237274e-05, -7.710698992013931e-05, -7.361546158790588e-05, -7.012393325567245e-05, -6.663240492343903e-05, -6.31408765912056e-05, -5.964934825897217e-05, -5.615781992673874e-05, -5.266629159450531e-05, -4.917476326227188e-05, -4.568323493003845e-05, -4.219170659780502e-05, -3.8700178265571594e-05, -3.5208649933338165e-05, -3.1717121601104736e-05, -2.8225593268871307e-05, -2.473406493663788e-05, -2.124253660440445e-05, -1.775100827217102e-05, -1.4259479939937592e-05, -1.0767951607704163e-05, -7.276423275470734e-06, -3.7848949432373047e-06, -2.9336661100387573e-07, 3.1981617212295532e-06, 6.689690053462982e-06, 1.0181218385696411e-05, 1.367274671792984e-05, 1.716427505016327e-05, 2.0655803382396698e-05, 2.4147331714630127e-05, 2.7638860046863556e-05, 3.1130388379096985e-05, 3.4621916711330414e-05, 3.811344504356384e-05, 4.160497337579727e-05, 4.50965017080307e-05, 4.858803004026413e-05, 5.207955837249756e-05, 5.557108670473099e-05, 5.9062615036964417e-05, 6.255414336919785e-05, 6.604567170143127e-05, 6.95372000336647e-05, 7.302872836589813e-05, 7.652025669813156e-05, 8.001178503036499e-05, 8.350331336259842e-05, 8.699484169483185e-05, 9.048637002706528e-05, 9.39778983592987e-05, 9.746942669153214e-05, 0.00010096095502376556, 0.00010445248335599899, 0.00010794401168823242]}, "gradients/encoder.adapter.layers.0.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 3.0, 3.0, 5.0, 4.0, 10.0, 17.0, 28.0, 55.0, 76.0, 108.0, 253.0, 627.0, 542.0, 110.0, 69.0, 49.0, 32.0, 19.0, 13.0, 8.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00014901161193847656, -0.00014578085392713547, -0.00014255009591579437, -0.00013931933790445328, -0.00013608857989311218, -0.0001328578218817711, -0.00012962706387043, -0.0001263963058590889, -0.0001231655478477478, -0.00011993478983640671, -0.00011670403182506561, -0.00011347327381372452, -0.00011024251580238342, -0.00010701175779104233, -0.00010378099977970123, -0.00010055024176836014, -9.731948375701904e-05, -9.408872574567795e-05, -9.085796773433685e-05, -8.762720972299576e-05, -8.439645171165466e-05, -8.116569370031357e-05, -7.793493568897247e-05, -7.470417767763138e-05, -7.147341966629028e-05, -6.824266165494919e-05, -6.50119036436081e-05, -6.1781145632267e-05, -5.85503876209259e-05, -5.531962960958481e-05, -5.208887159824371e-05, -4.885811358690262e-05, -4.5627355575561523e-05, -4.239659756422043e-05, -3.9165839552879333e-05, -3.593508154153824e-05, -3.2704323530197144e-05, -2.947356551885605e-05, -2.6242807507514954e-05, -2.301204949617386e-05, -1.9781291484832764e-05, -1.655053347349167e-05, -1.3319775462150574e-05, -1.0089017450809479e-05, -6.858259439468384e-06, -3.627501428127289e-06, -3.9674341678619385e-07, 2.834014594554901e-06, 6.064772605895996e-06, 9.295530617237091e-06, 1.2526288628578186e-05, 1.575704663991928e-05, 1.8987804651260376e-05, 2.221856266260147e-05, 2.5449320673942566e-05, 2.868007868528366e-05, 3.1910836696624756e-05, 3.514159470796585e-05, 3.8372352719306946e-05, 4.160311073064804e-05, 4.4833868741989136e-05, 4.806462675333023e-05, 5.1295384764671326e-05, 5.452614277601242e-05, 5.7756900787353516e-05]}, "gradients/encoder.encoder.layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 6.0, 4.0, 9.0, 7.0, 10.0, 10.0, 19.0, 15.0, 13.0, 17.0, 19.0, 25.0, 26.0, 34.0, 26.0, 32.0, 36.0, 40.0, 113.0, 110.0, 65.0, 60.0, 48.0, 41.0, 31.0, 19.0, 32.0, 27.0, 34.0, 17.0, 21.0, 10.0, 3.0, 5.0, 4.0, 3.0, 3.0, 1.0, 4.0, 3.0, 3.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 2.0], "bins": [-0.001305190846323967, -0.00126779789570719, -0.001230404945090413, -0.001193012110888958, -0.001155619160272181, -0.001118226209655404, -0.0010808332590386271, -0.0010434403084218502, -0.001006047474220395, -0.0009686545236036181, -0.0009312616311945021, -0.0008938686805777252, -0.0008564757881686091, -0.0008190828375518322, -0.0007816898869350553, -0.0007442969945259392, -0.0007069040439091623, -0.0006695110932923853, -0.0006321182008832693, -0.0005947252502664924, -0.0005573323578573763, -0.0005199394072405994, -0.0004825464857276529, -0.0004451535642147064, -0.00040776064270175993, -0.00037036772118881345, -0.00033297479967586696, -0.0002955818781629205, -0.00025818892754614353, -0.00022079602058511227, -0.00018340308452025056, -0.00014601016300730407, -0.00010861724149435759, -7.12243199814111e-05, -3.3831391192507e-05, 3.561537596397102e-06, 4.095445910934359e-05, 7.834738062229007e-05, 0.00011574031668715179, 0.00015313323820009828, 0.00019052615971304476, 0.00022791908122599125, 0.00026531200273893774, 0.0003027049242518842, 0.00034009787486866117, 0.0003774907672777772, 0.00041488371789455414, 0.0004522766394075006, 0.0004896695609204471, 0.0005270625115372241, 0.0005644554039463401, 0.000601848354563117, 0.0006392412469722331, 0.00067663419758901, 0.000714027089998126, 0.000751420040614903, 0.0007888129912316799, 0.0008262059418484569, 0.0008635988342575729, 0.0009009917848743498, 0.0009383846772834659, 0.0009757776279002428, 0.0010131705785170197, 0.0010505635291337967, 0.0010879563633352518]}, "gradients/encoder.encoder.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 4.0, 1.0, 3.0, 2.0, 3.0, 8.0, 7.0, 11.0, 12.0, 5.0, 13.0, 18.0, 16.0, 30.0, 31.0, 24.0, 27.0, 21.0, 22.0, 40.0, 47.0, 47.0, 35.0, 46.0, 50.0, 35.0, 47.0, 45.0, 39.0, 36.0, 34.0, 24.0, 30.0, 29.0, 24.0, 29.0, 20.0, 20.0, 18.0, 12.0, 9.0, 6.0, 11.0, 5.0, 8.0, 3.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0008781552314758301, -0.0008478127419948578, -0.0008174702525138855, -0.0007871277630329132, -0.0007567852735519409, -0.0007264427840709686, -0.0006961002945899963, -0.000665757805109024, -0.0006354153156280518, -0.0006050728261470795, -0.0005747303366661072, -0.0005443878471851349, -0.0005140453577041626, -0.0004837028682231903, -0.000453360378742218, -0.00042301788926124573, -0.00039267539978027344, -0.00036233291029930115, -0.00033199042081832886, -0.00030164793133735657, -0.0002713054418563843, -0.000240962952375412, -0.0002106204628944397, -0.0001802779734134674, -0.00014993548393249512, -0.00011959299445152283, -8.925050497055054e-05, -5.890801548957825e-05, -2.8565526008605957e-05, 1.776963472366333e-06, 3.211945295333862e-05, 6.246194243431091e-05, 9.28044319152832e-05, 0.0001231469213962555, 0.00015348941087722778, 0.00018383190035820007, 0.00021417438983917236, 0.00024451687932014465, 0.00027485936880111694, 0.00030520185828208923, 0.0003355443477630615, 0.0003658868372440338, 0.0003962293267250061, 0.0004265718162059784, 0.0004569143056869507, 0.000487256795167923, 0.0005175992846488953, 0.0005479417741298676, 0.0005782842636108398, 0.0006086267530918121, 0.0006389692425727844, 0.0006693117320537567, 0.000699654221534729, 0.0007299967110157013, 0.0007603392004966736, 0.0007906816899776459, 0.0008210241794586182, 0.0008513666689395905, 0.0008817091584205627, 0.000912051647901535, 0.0009423941373825073, 0.0009727366268634796, 0.001003079116344452, 0.0010334216058254242, 0.0010637640953063965]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.23.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.22.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.21.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.20.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.19.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.18.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.17.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.16.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.15.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.14.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.13.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.12.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.11.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.10.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.9.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.8.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.7.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.6.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.5.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.4.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.3.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.2.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.1.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.attention.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.layers.0.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_v": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8388608.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_g": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 128.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 524288.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.projection.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/encoder.feature_projection.layer_norm.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 512.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "eval/loss": 5.054157257080078, "eval/wer": 2.4425624752082506, "eval/runtime": 1118.7333, "eval/samples_per_second": 2.362, "eval/steps_per_second": 0.296, "train/train_runtime": 8711.5909, "train/train_samples_per_second": 3.276, "train/train_steps_per_second": 0.205, "train/total_flos": 0.0, "train/train_loss": 7.005254806691756, "_wandb": {"runtime": 10367}}