diff --git "a/wandb/run-20220503_171959-a6039xud/files/wandb-summary.json" "b/wandb/run-20220503_171959-a6039xud/files/wandb-summary.json"
deleted file mode 100644--- "a/wandb/run-20220503_171959-a6039xud/files/wandb-summary.json"
+++ /dev/null
@@ -1 +0,0 @@
-{"train/loss": 4.5182, "train/learning_rate": 0.00038262531841076357, "train/epoch": 0.69, "train/global_step": 4500, "_runtime": 49051, "_timestamp": 1651647451, "_step": 4508, "gradients/decoder.model.decoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1023.0], "bins": [-284.7620544433594, -280.2913818359375, -275.8207092285156, -271.35003662109375, -266.8793640136719, -262.40869140625, -257.93804931640625, -253.4673614501953, -248.99668884277344, -244.52601623535156, -240.0553436279297, -235.58468627929688, -231.114013671875, -226.64334106445312, -222.17266845703125, -217.70199584960938, -213.2313232421875, -208.76065063476562, -204.28997802734375, -199.81930541992188, -195.34864807128906, -190.8779754638672, -186.4073028564453, -181.93663024902344, -177.46597290039062, -172.99530029296875, -168.52462768554688, -164.053955078125, -159.5832977294922, -155.1126251220703, -150.64195251464844, -146.17127990722656, -141.70059204101562, -137.22991943359375, -132.75924682617188, -128.28857421875, -123.81790924072266, -119.34724426269531, -114.87657165527344, -110.40589904785156, -105.93523406982422, -101.46456146240234, -96.993896484375, -92.52322387695312, -88.05255126953125, -83.58187866210938, -79.11121368408203, -74.64054107666016, -70.16987609863281, -65.69920349121094, -61.22853469848633, -56.75786590576172, -52.287193298339844, -47.816524505615234, -43.345855712890625, -38.87518310546875, -34.404510498046875, -29.933839797973633, -25.46316909790039, -20.99250030517578, -16.52182960510254, -12.051158905029297, -7.5804901123046875, -3.1098194122314453, 1.3608508110046387]}, "gradients/decoder.model.decoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 3.0, 2.0, 5.0, 7.0, 15.0, 12.0, 14.0, 21.0, 46.0, 47.0, 58.0, 65.0, 66.0, 81.0, 77.0, 82.0, 57.0, 61.0, 53.0, 47.0, 40.0, 45.0, 33.0, 16.0, 21.0, 15.0, 7.0, 4.0, 6.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-10.39465045928955, -10.039316177368164, -9.683980941772461, -9.328645706176758, -8.973311424255371, -8.617977142333984, -8.262641906738281, -7.907307147979736, -7.551972389221191, -7.1966376304626465, -6.841302871704102, -6.485968112945557, -6.130633354187012, -5.775298595428467, -5.419963836669922, -5.064629077911377, -4.709294319152832, -4.353959560394287, -3.998624801635742, -3.6432900428771973, -3.2879552841186523, -2.9326205253601074, -2.5772857666015625, -2.2219510078430176, -1.8666162490844727, -1.5112814903259277, -1.1559467315673828, -0.8006119728088379, -0.44527721405029297, -0.08994245529174805, 0.2653923034667969, 0.6207270622253418, 0.9760618209838867, 1.3313965797424316, 1.6867313385009766, 2.0420660972595215, 2.3974008560180664, 2.7527356147766113, 3.1080703735351562, 3.463405132293701, 3.818739891052246, 4.174074649810791, 4.529409408569336, 4.884744167327881, 5.240078926086426, 5.595413684844971, 5.950748443603516, 6.3060832023620605, 6.6614179611206055, 7.01675271987915, 7.372087478637695, 7.72742223739624, 8.082756996154785, 8.438091278076172, 8.793426513671875, 9.148761749267578, 9.504096031188965, 9.859430313110352, 10.214765548706055, 10.570100784301758, 10.925435066223145, 11.280769348144531, 11.636104583740234, 11.991439819335938, 12.346774101257324]}, "gradients/decoder.model.decoder.layers.11.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 5.0, 8.0, 10.0, 17.0, 16.0, 23.0, 21.0, 26.0, 35.0, 55.0, 71.0, 99.0, 100.0, 164.0, 180.0, 244.0, 329.0, 401.0, 540.0, 755.0, 1151.0, 1911.0, 4230.0, 11309.0, 4127312.0, 29656.0, 7371.0, 2948.0, 1456.0, 941.0, 656.0, 512.0, 418.0, 272.0, 231.0, 205.0, 151.0, 111.0, 95.0, 63.0, 38.0, 47.0, 33.0, 13.0, 14.0, 13.0, 14.0, 4.0, 4.0, 4.0, 7.0, 1.0, 1.0, 1.0, 2.0], "bins": [-2.978515625, -2.890350341796875, -2.80218505859375, -2.714019775390625, -2.6258544921875, -2.537689208984375, -2.44952392578125, -2.361358642578125, -2.273193359375, -2.185028076171875, -2.09686279296875, -2.008697509765625, -1.9205322265625, -1.832366943359375, -1.74420166015625, -1.656036376953125, -1.56787109375, -1.479705810546875, -1.39154052734375, -1.303375244140625, -1.2152099609375, -1.127044677734375, -1.03887939453125, -0.950714111328125, -0.862548828125, -0.774383544921875, -0.68621826171875, -0.598052978515625, -0.5098876953125, -0.421722412109375, -0.33355712890625, -0.245391845703125, -0.1572265625, -0.069061279296875, 0.01910400390625, 0.107269287109375, 0.1954345703125, 0.283599853515625, 0.37176513671875, 0.459930419921875, 0.548095703125, 0.636260986328125, 0.72442626953125, 0.812591552734375, 0.9007568359375, 0.988922119140625, 1.07708740234375, 1.165252685546875, 1.25341796875, 1.341583251953125, 1.42974853515625, 1.517913818359375, 1.6060791015625, 1.694244384765625, 1.78240966796875, 1.870574951171875, 1.958740234375, 2.046905517578125, 2.13507080078125, 2.223236083984375, 2.3114013671875, 2.399566650390625, 2.48773193359375, 2.575897216796875, 2.6640625]}, "gradients/decoder.model.decoder.layers.11.fc2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 1.0, 1.0, 3.0, 8.0, 16.0, 8.0, 20.0, 31.0, 42.0, 49.0, 66.0, 75.0, 81.0, 88.0, 88.0, 73.0, 63.0, 54.0, 55.0, 42.0, 36.0, 34.0, 22.0, 21.0, 7.0, 10.0, 8.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.296875, -6.08978271484375, -5.8826904296875, -5.67559814453125, -5.468505859375, -5.26141357421875, -5.0543212890625, -4.84722900390625, -4.64013671875, -4.43304443359375, -4.2259521484375, -4.01885986328125, -3.811767578125, -3.60467529296875, -3.3975830078125, -3.19049072265625, -2.9833984375, -2.77630615234375, -2.5692138671875, -2.36212158203125, -2.155029296875, -1.94793701171875, -1.7408447265625, -1.53375244140625, -1.32666015625, -1.11956787109375, -0.9124755859375, -0.70538330078125, -0.498291015625, -0.29119873046875, -0.0841064453125, 0.12298583984375, 0.330078125, 0.53717041015625, 0.7442626953125, 0.95135498046875, 1.158447265625, 1.36553955078125, 1.5726318359375, 1.77972412109375, 1.98681640625, 2.19390869140625, 2.4010009765625, 2.60809326171875, 2.815185546875, 3.02227783203125, 3.2293701171875, 3.43646240234375, 3.6435546875, 3.85064697265625, 4.0577392578125, 4.26483154296875, 4.471923828125, 4.67901611328125, 4.8861083984375, 5.09320068359375, 5.30029296875, 5.50738525390625, 5.7144775390625, 5.92156982421875, 6.128662109375, 6.33575439453125, 6.5428466796875, 6.74993896484375, 6.95703125]}, "gradients/decoder.model.decoder.layers.11.fc1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 3.0, 3.0, 3.0, 2.0, 0.0, 5.0, 4.0, 5.0, 11.0, 571.0, 4193640.0, 21.0, 4.0, 3.0, 2.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-147.25, -142.1875, -137.125, -132.0625, -127.0, -121.9375, -116.875, -111.8125, -106.75, -101.6875, -96.625, -91.5625, -86.5, -81.4375, -76.375, -71.3125, -66.25, -61.1875, -56.125, -51.0625, -46.0, -40.9375, -35.875, -30.8125, -25.75, -20.6875, -15.625, -10.5625, -5.5, -0.4375, 4.625, 9.6875, 14.75, 19.8125, 24.875, 29.9375, 35.0, 40.0625, 45.125, 50.1875, 55.25, 60.3125, 65.375, 70.4375, 75.5, 80.5625, 85.625, 90.6875, 95.75, 100.8125, 105.875, 110.9375, 116.0, 121.0625, 126.125, 131.1875, 136.25, 141.3125, 146.375, 151.4375, 156.5, 161.5625, 166.625, 171.6875, 176.75]}, "gradients/decoder.model.decoder.layers.11.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 3.0, 3.0, 2.0, 1.0, 5.0, 3.0, 6.0, 7.0, 52.0, 3959.0, 15.0, 5.0, 4.0, 2.0, 0.0, 2.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.8505859375, -1.7873992919921875, -1.724212646484375, -1.6610260009765625, -1.59783935546875, -1.5346527099609375, -1.471466064453125, -1.4082794189453125, -1.3450927734375, -1.2819061279296875, -1.218719482421875, -1.1555328369140625, -1.09234619140625, -1.0291595458984375, -0.965972900390625, -0.9027862548828125, -0.839599609375, -0.7764129638671875, -0.713226318359375, -0.6500396728515625, -0.58685302734375, -0.5236663818359375, -0.460479736328125, -0.3972930908203125, -0.3341064453125, -0.2709197998046875, -0.207733154296875, -0.1445465087890625, -0.08135986328125, -0.0181732177734375, 0.045013427734375, 0.1082000732421875, 0.17138671875, 0.2345733642578125, 0.297760009765625, 0.3609466552734375, 0.42413330078125, 0.4873199462890625, 0.550506591796875, 0.6136932373046875, 0.6768798828125, 0.7400665283203125, 0.803253173828125, 0.8664398193359375, 0.92962646484375, 0.9928131103515625, 1.055999755859375, 1.1191864013671875, 1.182373046875, 1.2455596923828125, 1.308746337890625, 1.3719329833984375, 1.43511962890625, 1.4983062744140625, 1.561492919921875, 1.6246795654296875, 1.6878662109375, 1.7510528564453125, 1.814239501953125, 1.8774261474609375, 1.94061279296875, 2.0037994384765625, 2.066986083984375, 2.1301727294921875, 2.193359375]}, "gradients/decoder.model.decoder.layers.11.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 0.0, 6.0, 11.0, 31.0, 46.0, 151.0, 387.0, 255.0, 85.0, 23.0, 8.0, 8.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.4957351684570312, -3.276693820953369, -3.057652235031128, -2.838610887527466, -2.6195695400238037, -2.4005279541015625, -2.1814866065979004, -1.9624452590942383, -1.7434037923812866, -1.524362325668335, -1.3053209781646729, -1.0862795114517212, -0.8672381043434143, -0.6481966972351074, -0.42915523052215576, -0.21011388301849365, 0.008927583694458008, 0.2279690057039261, 0.44701042771339417, 0.6660518646240234, 0.8850932717323303, 1.1041346788406372, 1.3231761455535889, 1.542217493057251, 1.7612589597702026, 1.9803004264831543, 2.1993417739868164, 2.4183831214904785, 2.6374247074127197, 2.856466054916382, 3.075507640838623, 3.294548988342285, 3.5135903358459473, 3.7326316833496094, 3.9516732692718506, 4.170714378356934, 4.389756202697754, 4.608797550201416, 4.827838897705078, 5.04688024520874, 5.265921592712402, 5.4849629402160645, 5.704004287719727, 5.923046112060547, 6.142087459564209, 6.361128807067871, 6.580170154571533, 6.799211502075195, 7.018253326416016, 7.237294673919678, 7.45633602142334, 7.67537784576416, 7.894419193267822, 8.113460540771484, 8.332502365112305, 8.551543235778809, 8.770584106445312, 8.989625930786133, 9.208666801452637, 9.427708625793457, 9.646749496459961, 9.865791320800781, 10.084833145141602, 10.303874015808105, 10.522915840148926]}, "gradients/decoder.model.decoder.layers.11.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 7.0, 1.0, 2.0, 7.0, 7.0, 8.0, 15.0, 18.0, 26.0, 42.0, 45.0, 60.0, 61.0, 80.0, 70.0, 76.0, 73.0, 60.0, 71.0, 54.0, 50.0, 53.0, 32.0, 22.0, 22.0, 16.0, 8.0, 9.0, 5.0, 4.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-6.873485565185547, -6.6662445068359375, -6.459003925323486, -6.251762866973877, -6.044522285461426, -5.837281227111816, -5.630040168762207, -5.422799587249756, -5.215559005737305, -5.008317947387695, -4.801077365875244, -4.593836307525635, -4.386595726013184, -4.179354667663574, -3.972113847732544, -3.7648730278015137, -3.5576319694519043, -3.350391149520874, -3.1431503295898438, -2.9359092712402344, -2.728668689727783, -2.521427631378174, -2.3141868114471436, -2.1069459915161133, -1.899705171585083, -1.6924643516540527, -1.4852235317230225, -1.2779825925827026, -1.0707417726516724, -0.8635009527206421, -0.6562600135803223, -0.449019193649292, -0.24177789688110352, -0.034537047147750854, 0.1727038025856018, 0.37994468212127686, 0.5871855020523071, 0.7944263219833374, 1.0016672611236572, 1.2089080810546875, 1.4161489009857178, 1.623389720916748, 1.8306305408477783, 2.0378713607788086, 2.245112419128418, 2.452353000640869, 2.6595940589904785, 2.866834878921509, 3.074075698852539, 3.2813165187835693, 3.4885573387145996, 3.695798397064209, 3.90303897857666, 4.1102800369262695, 4.317521095275879, 4.52476167678833, 4.732002258300781, 4.939243316650391, 5.146483898162842, 5.353724956512451, 5.560965538024902, 5.768206596374512, 5.975447654724121, 6.182688236236572, 6.389929294586182]}, "gradients/decoder.model.decoder.layers.11.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 4.0, 3.0, 2.0, 1.0, 3.0, 6.0, 7.0, 10.0, 9.0, 11.0, 26.0, 31.0, 31.0, 41.0, 89.0, 111.0, 205.0, 352.0, 693.0, 1316.0, 3188.0, 8799.0, 68243.0, 931285.0, 23764.0, 5704.0, 2253.0, 1038.0, 537.0, 287.0, 175.0, 112.0, 67.0, 46.0, 30.0, 29.0, 15.0, 11.0, 3.0, 6.0, 5.0, 2.0, 7.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.73828125, -0.71392822265625, -0.6895751953125, -0.66522216796875, -0.640869140625, -0.61651611328125, -0.5921630859375, -0.56781005859375, -0.54345703125, -0.51910400390625, -0.4947509765625, -0.47039794921875, -0.446044921875, -0.42169189453125, -0.3973388671875, -0.37298583984375, -0.3486328125, -0.32427978515625, -0.2999267578125, -0.27557373046875, -0.251220703125, -0.22686767578125, -0.2025146484375, -0.17816162109375, -0.15380859375, -0.12945556640625, -0.1051025390625, -0.08074951171875, -0.056396484375, -0.03204345703125, -0.0076904296875, 0.01666259765625, 0.041015625, 0.06536865234375, 0.0897216796875, 0.11407470703125, 0.138427734375, 0.16278076171875, 0.1871337890625, 0.21148681640625, 0.23583984375, 0.26019287109375, 0.2845458984375, 0.30889892578125, 0.333251953125, 0.35760498046875, 0.3819580078125, 0.40631103515625, 0.4306640625, 0.45501708984375, 0.4793701171875, 0.50372314453125, 0.528076171875, 0.55242919921875, 0.5767822265625, 0.60113525390625, 0.62548828125, 0.64984130859375, 0.6741943359375, 0.69854736328125, 0.722900390625, 0.74725341796875, 0.7716064453125, 0.79595947265625, 0.8203125]}, "gradients/decoder.model.decoder.layers.11.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 4.0, 1.0, 4.0, 8.0, 17.0, 12.0, 36.0, 42.0, 57.0, 78.0, 99.0, 102.0, 105.0, 94.0, 89.0, 74.0, 65.0, 40.0, 30.0, 15.0, 9.0, 10.0, 3.0, 3.0, 5.0, 4.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.31640625, -3.220367431640625, -3.12432861328125, -3.028289794921875, -2.9322509765625, -2.836212158203125, -2.74017333984375, -2.644134521484375, -2.548095703125, -2.452056884765625, -2.35601806640625, -2.259979248046875, -2.1639404296875, -2.067901611328125, -1.97186279296875, -1.875823974609375, -1.77978515625, -1.683746337890625, -1.58770751953125, -1.491668701171875, -1.3956298828125, -1.299591064453125, -1.20355224609375, -1.107513427734375, -1.011474609375, -0.915435791015625, -0.81939697265625, -0.723358154296875, -0.6273193359375, -0.531280517578125, -0.43524169921875, -0.339202880859375, -0.2431640625, -0.147125244140625, -0.05108642578125, 0.044952392578125, 0.1409912109375, 0.237030029296875, 0.33306884765625, 0.429107666015625, 0.525146484375, 0.621185302734375, 0.71722412109375, 0.813262939453125, 0.9093017578125, 1.005340576171875, 1.10137939453125, 1.197418212890625, 1.29345703125, 1.389495849609375, 1.48553466796875, 1.581573486328125, 1.6776123046875, 1.773651123046875, 1.86968994140625, 1.965728759765625, 2.061767578125, 2.157806396484375, 2.25384521484375, 2.349884033203125, 2.4459228515625, 2.541961669921875, 2.63800048828125, 2.734039306640625, 2.830078125]}, "gradients/decoder.model.decoder.layers.11.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 5.0, 11.0, 5.0, 11.0, 9.0, 27.0, 32.0, 55.0, 66.0, 93.0, 137.0, 219.0, 302.0, 493.0, 720.0, 1239.0, 2046.0, 3501.0, 6200.0, 11612.0, 23427.0, 49504.0, 117948.0, 442885.0, 232007.0, 81135.0, 36160.0, 17366.0, 9064.0, 4879.0, 2779.0, 1676.0, 992.0, 628.0, 415.0, 284.0, 178.0, 137.0, 87.0, 71.0, 43.0, 35.0, 18.0, 16.0, 10.0, 8.0, 3.0, 11.0, 7.0, 6.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0], "bins": [-0.035858154296875, -0.03469371795654297, -0.03352928161621094, -0.032364845275878906, -0.031200408935546875, -0.030035972595214844, -0.028871536254882812, -0.02770709991455078, -0.02654266357421875, -0.02537822723388672, -0.024213790893554688, -0.023049354553222656, -0.021884918212890625, -0.020720481872558594, -0.019556045532226562, -0.01839160919189453, -0.0172271728515625, -0.01606273651123047, -0.014898300170898438, -0.013733863830566406, -0.012569427490234375, -0.011404991149902344, -0.010240554809570312, -0.009076118469238281, -0.00791168212890625, -0.006747245788574219, -0.0055828094482421875, -0.004418373107910156, -0.003253936767578125, -0.0020895004272460938, -0.0009250640869140625, 0.00023937225341796875, 0.00140380859375, 0.0025682449340820312, 0.0037326812744140625, 0.004897117614746094, 0.006061553955078125, 0.007225990295410156, 0.008390426635742188, 0.009554862976074219, 0.01071929931640625, 0.011883735656738281, 0.013048171997070312, 0.014212608337402344, 0.015377044677734375, 0.016541481018066406, 0.017705917358398438, 0.01887035369873047, 0.0200347900390625, 0.02119922637939453, 0.022363662719726562, 0.023528099060058594, 0.024692535400390625, 0.025856971740722656, 0.027021408081054688, 0.02818584442138672, 0.02935028076171875, 0.03051471710205078, 0.03167915344238281, 0.032843589782714844, 0.034008026123046875, 0.035172462463378906, 0.03633689880371094, 0.03750133514404297, 0.038665771484375]}, "gradients/decoder.model.decoder.layers.11.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 4.0, 3.0, 2.0, 9.0, 4.0, 3.0, 13.0, 7.0, 14.0, 19.0, 13.0, 24.0, 29.0, 34.0, 34.0, 31.0, 42.0, 43.0, 39.0, 39.0, 56.0, 51.0, 35.0, 61.0, 48.0, 43.0, 42.0, 35.0, 43.0, 22.0, 25.0, 22.0, 25.0, 21.0, 11.0, 10.0, 13.0, 7.0, 8.0, 5.0, 3.0, 9.0, 4.0, 2.0, 1.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0], "bins": [-2.451171875, -2.3717041015625, -2.292236328125, -2.2127685546875, -2.13330078125, -2.0538330078125, -1.974365234375, -1.8948974609375, -1.8154296875, -1.7359619140625, -1.656494140625, -1.5770263671875, -1.49755859375, -1.4180908203125, -1.338623046875, -1.2591552734375, -1.1796875, -1.1002197265625, -1.020751953125, -0.9412841796875, -0.86181640625, -0.7823486328125, -0.702880859375, -0.6234130859375, -0.5439453125, -0.4644775390625, -0.385009765625, -0.3055419921875, -0.22607421875, -0.1466064453125, -0.067138671875, 0.0123291015625, 0.091796875, 0.1712646484375, 0.250732421875, 0.3302001953125, 0.40966796875, 0.4891357421875, 0.568603515625, 0.6480712890625, 0.7275390625, 0.8070068359375, 0.886474609375, 0.9659423828125, 1.04541015625, 1.1248779296875, 1.204345703125, 1.2838134765625, 1.36328125, 1.4427490234375, 1.522216796875, 1.6016845703125, 1.68115234375, 1.7606201171875, 1.840087890625, 1.9195556640625, 1.9990234375, 2.0784912109375, 2.157958984375, 2.2374267578125, 2.31689453125, 2.3963623046875, 2.475830078125, 2.5552978515625, 2.634765625]}, "gradients/decoder.model.decoder.layers.11.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 5.0, 3.0, 0.0, 4.0, 1.0, 7.0, 7.0, 9.0, 22.0, 18.0, 38.0, 46.0, 49.0, 85.0, 104.0, 122.0, 201.0, 302.0, 432.0, 560.0, 831.0, 1385.0, 2049.0, 3539.0, 7565.0, 22334.0, 168917.0, 776563.0, 40594.0, 10687.0, 4716.0, 2440.0, 1574.0, 1029.0, 653.0, 521.0, 353.0, 201.0, 142.0, 113.0, 95.0, 63.0, 42.0, 40.0, 22.0, 23.0, 15.0, 8.0, 17.0, 6.0, 6.0, 2.0, 1.0, 3.0, 1.0, 3.0, 0.0, 1.0, 0.0, 2.0], "bins": [-0.0004761219024658203, -0.00046085938811302185, -0.0004455968737602234, -0.0004303343594074249, -0.00041507184505462646, -0.000399809330701828, -0.00038454681634902954, -0.0003692843019962311, -0.0003540217876434326, -0.00033875927329063416, -0.0003234967589378357, -0.00030823424458503723, -0.00029297173023223877, -0.0002777092158794403, -0.00026244670152664185, -0.0002471841871738434, -0.00023192167282104492, -0.00021665915846824646, -0.000201396644115448, -0.00018613412976264954, -0.00017087161540985107, -0.0001556091010570526, -0.00014034658670425415, -0.0001250840723514557, -0.00010982155799865723, -9.455904364585876e-05, -7.92965292930603e-05, -6.403401494026184e-05, -4.877150058746338e-05, -3.350898623466492e-05, -1.8246471881866455e-05, -2.983957529067993e-06, 1.2278556823730469e-05, 2.754107117652893e-05, 4.280358552932739e-05, 5.8066099882125854e-05, 7.332861423492432e-05, 8.859112858772278e-05, 0.00010385364294052124, 0.0001191161572933197, 0.00013437867164611816, 0.00014964118599891663, 0.0001649037003517151, 0.00018016621470451355, 0.000195428729057312, 0.00021069124341011047, 0.00022595375776290894, 0.0002412162721157074, 0.00025647878646850586, 0.0002717413008213043, 0.0002870038151741028, 0.00030226632952690125, 0.0003175288438796997, 0.00033279135823249817, 0.00034805387258529663, 0.0003633163869380951, 0.00037857890129089355, 0.000393841415643692, 0.0004091039299964905, 0.00042436644434928894, 0.0004396289587020874, 0.00045489147305488586, 0.0004701539874076843, 0.0004854165017604828, 0.0005006790161132812]}, "gradients/decoder.model.decoder.layers.11.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 2.0, 3.0, 4.0, 5.0, 2.0, 7.0, 8.0, 11.0, 33.0, 63.0, 162.0, 413.0, 143.0, 63.0, 41.0, 11.0, 13.0, 8.0, 6.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-5.507469177246094e-05, -5.3066760301589966e-05, -5.1058828830718994e-05, -4.905089735984802e-05, -4.704296588897705e-05, -4.503503441810608e-05, -4.302710294723511e-05, -4.1019171476364136e-05, -3.9011240005493164e-05, -3.700330853462219e-05, -3.499537706375122e-05, -3.298744559288025e-05, -3.097951412200928e-05, -2.8971582651138306e-05, -2.6963651180267334e-05, -2.4955719709396362e-05, -2.294778823852539e-05, -2.093985676765442e-05, -1.8931925296783447e-05, -1.6923993825912476e-05, -1.4916062355041504e-05, -1.2908130884170532e-05, -1.090019941329956e-05, -8.892267942428589e-06, -6.884336471557617e-06, -4.8764050006866455e-06, -2.868473529815674e-06, -8.605420589447021e-07, 1.1473894119262695e-06, 3.155320882797241e-06, 5.163252353668213e-06, 7.1711838245391846e-06, 9.179115295410156e-06, 1.1187046766281128e-05, 1.31949782371521e-05, 1.5202909708023071e-05, 1.7210841178894043e-05, 1.9218772649765015e-05, 2.1226704120635986e-05, 2.3234635591506958e-05, 2.524256706237793e-05, 2.72504985332489e-05, 2.9258430004119873e-05, 3.1266361474990845e-05, 3.3274292945861816e-05, 3.528222441673279e-05, 3.729015588760376e-05, 3.929808735847473e-05, 4.13060188293457e-05, 4.3313950300216675e-05, 4.5321881771087646e-05, 4.732981324195862e-05, 4.933774471282959e-05, 5.134567618370056e-05, 5.335360765457153e-05, 5.5361539125442505e-05, 5.7369470596313477e-05, 5.937740206718445e-05, 6.138533353805542e-05, 6.339326500892639e-05, 6.540119647979736e-05, 6.740912795066833e-05, 6.94170594215393e-05, 7.142499089241028e-05, 7.343292236328125e-05]}, "gradients/decoder.model.decoder.layers.11.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 6.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 7.0, 5.0, 3.0, 8.0, 11.0, 15.0, 25.0, 37.0, 84.0, 522.0, 1045201.0, 2392.0, 106.0, 36.0, 38.0, 14.0, 10.0, 10.0, 7.0, 5.0, 2.0, 5.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.004482269287109375, -0.00432586669921875, -0.004169464111328125, -0.0040130615234375, -0.003856658935546875, -0.00370025634765625, -0.003543853759765625, -0.003387451171875, -0.003231048583984375, -0.00307464599609375, -0.002918243408203125, -0.0027618408203125, -0.002605438232421875, -0.00244903564453125, -0.002292633056640625, -0.00213623046875, -0.001979827880859375, -0.00182342529296875, -0.001667022705078125, -0.0015106201171875, -0.001354217529296875, -0.00119781494140625, -0.001041412353515625, -0.000885009765625, -0.000728607177734375, -0.00057220458984375, -0.000415802001953125, -0.0002593994140625, -0.000102996826171875, 5.340576171875e-05, 0.000209808349609375, 0.0003662109375, 0.000522613525390625, 0.00067901611328125, 0.000835418701171875, 0.0009918212890625, 0.001148223876953125, 0.00130462646484375, 0.001461029052734375, 0.001617431640625, 0.001773834228515625, 0.00193023681640625, 0.002086639404296875, 0.0022430419921875, 0.002399444580078125, 0.00255584716796875, 0.002712249755859375, 0.00286865234375, 0.003025054931640625, 0.00318145751953125, 0.003337860107421875, 0.0034942626953125, 0.003650665283203125, 0.00380706787109375, 0.003963470458984375, 0.004119873046875, 0.004276275634765625, 0.00443267822265625, 0.004589080810546875, 0.0047454833984375, 0.004901885986328125, 0.00505828857421875, 0.005214691162109375, 0.00537109375, 0.005527496337890625]}, "gradients/decoder.model.decoder.layers.11.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 5.0, 1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 2.0, 4.0, 9.0, 9.0, 8.0, 7.0, 23.0, 50.0, 94.0, 256.0, 267.0, 128.0, 50.0, 29.0, 21.0, 10.0, 5.0, 6.0, 5.0, 4.0, 0.0, 4.0, 2.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001590251922607422, -0.00015356764197349548, -0.00014811009168624878, -0.00014265254139900208, -0.00013719499111175537, -0.00013173744082450867, -0.00012627989053726196, -0.00012082234025001526, -0.00011536478996276855, -0.00010990723967552185, -0.00010444968938827515, -9.899213910102844e-05, -9.353458881378174e-05, -8.807703852653503e-05, -8.261948823928833e-05, -7.716193795204163e-05, -7.170438766479492e-05, -6.624683737754822e-05, -6.0789287090301514e-05, -5.533173680305481e-05, -4.9874186515808105e-05, -4.44166362285614e-05, -3.89590859413147e-05, -3.350153565406799e-05, -2.804398536682129e-05, -2.2586435079574585e-05, -1.712888479232788e-05, -1.1671334505081177e-05, -6.213784217834473e-06, -7.562339305877686e-07, 4.7013163566589355e-06, 1.015886664390564e-05, 1.5616416931152344e-05, 2.1073967218399048e-05, 2.6531517505645752e-05, 3.1989067792892456e-05, 3.744661808013916e-05, 4.2904168367385864e-05, 4.836171865463257e-05, 5.381926894187927e-05, 5.9276819229125977e-05, 6.473436951637268e-05, 7.019191980361938e-05, 7.564947009086609e-05, 8.110702037811279e-05, 8.65645706653595e-05, 9.20221209526062e-05, 9.74796712398529e-05, 0.00010293722152709961, 0.00010839477181434631, 0.00011385232210159302, 0.00011930987238883972, 0.00012476742267608643, 0.00013022497296333313, 0.00013568252325057983, 0.00014114007353782654, 0.00014659762382507324, 0.00015205517411231995, 0.00015751272439956665, 0.00016297027468681335, 0.00016842782497406006, 0.00017388537526130676, 0.00017934292554855347, 0.00018480047583580017, 0.00019025802612304688]}, "gradients/decoder.model.decoder.layers.11.self_attn_layer_norm.weight": {"_type": "histogram", "values": [4.0, 3.0, 3.0, 11.0, 38.0, 353.0, 552.0, 43.0, 8.0, 1.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9204168319702148, -1.6106188297271729, -1.3008208274841309, -0.9910228252410889, -0.6812248229980469, -0.3714268207550049, -0.06162881851196289, 0.2481691837310791, 0.5579671859741211, 0.8677651882171631, 1.177563190460205, 1.487361192703247, 1.797159194946289, 2.106957197189331, 2.416755199432373, 2.726553201675415, 3.036351203918457, 3.346149206161499, 3.655947208404541, 3.965745210647583, 4.275543212890625, 4.585341453552246, 4.895139217376709, 5.204936981201172, 5.514735221862793, 5.824533462524414, 6.134331226348877, 6.44412899017334, 6.753927230834961, 7.063725471496582, 7.373523235321045, 7.683320999145508, 7.993120193481445, 8.302918434143066, 8.612716674804688, 8.922513961791992, 9.232312202453613, 9.542110443115234, 9.851907730102539, 10.16170597076416, 10.471504211425781, 10.781302452087402, 11.091100692749023, 11.400897979736328, 11.71069622039795, 12.02049446105957, 12.330291748046875, 12.640089988708496, 12.949888229370117, 13.259686470031738, 13.56948471069336, 13.879281997680664, 14.189080238342285, 14.498878479003906, 14.808675765991211, 15.118474006652832, 15.428272247314453, 15.738070487976074, 16.047868728637695, 16.357666015625, 16.667465209960938, 16.977262496948242, 17.287059783935547, 17.596858978271484, 17.90665626525879]}, "gradients/decoder.model.decoder.layers.11.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 2.0, 4.0, 4.0, 2.0, 10.0, 9.0, 14.0, 21.0, 30.0, 59.0, 61.0, 88.0, 93.0, 85.0, 111.0, 78.0, 73.0, 75.0, 56.0, 39.0, 28.0, 23.0, 13.0, 9.0, 9.0, 3.0, 3.0, 4.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.6469390392303467, -2.5647802352905273, -2.482621431350708, -2.4004626274108887, -2.3183038234710693, -2.23614501953125, -2.1539862155914307, -2.0718274116516113, -1.989668607711792, -1.9075098037719727, -1.8253509998321533, -1.743192195892334, -1.6610333919525146, -1.5788745880126953, -1.496715784072876, -1.4145569801330566, -1.3323981761932373, -1.250239372253418, -1.1680805683135986, -1.0859217643737793, -1.00376296043396, -0.9216041564941406, -0.8394453525543213, -0.757286548614502, -0.6751277446746826, -0.5929689407348633, -0.510810136795044, -0.4286513328552246, -0.3464925289154053, -0.26433372497558594, -0.1821749210357666, -0.10001611709594727, -0.01785755157470703, 0.0643012523651123, 0.14646005630493164, 0.22861886024475098, 0.3107776641845703, 0.39293646812438965, 0.475095272064209, 0.5572540760040283, 0.6394128799438477, 0.721571683883667, 0.8037304878234863, 0.8858892917633057, 0.968048095703125, 1.0502068996429443, 1.1323657035827637, 1.214524507522583, 1.2966833114624023, 1.3788421154022217, 1.461000919342041, 1.5431597232818604, 1.6253185272216797, 1.707477331161499, 1.7896361351013184, 1.8717949390411377, 1.953953742980957, 2.0361125469207764, 2.1182713508605957, 2.200430154800415, 2.2825889587402344, 2.3647477626800537, 2.446906566619873, 2.5290653705596924, 2.6112241744995117]}, "gradients/decoder.model.decoder.layers.11.self_attn.out_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 4.0, 0.0, 2.0, 3.0, 4.0, 7.0, 5.0, 6.0, 17.0, 26.0, 13.0, 30.0, 40.0, 45.0, 100.0, 169.0, 285.0, 518.0, 999.0, 2314.0, 6689.0, 29165.0, 465232.0, 501091.0, 30196.0, 7006.0, 2368.0, 983.0, 507.0, 262.0, 140.0, 106.0, 64.0, 49.0, 32.0, 18.0, 14.0, 12.0, 13.0, 5.0, 3.0, 5.0, 3.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-1.7021484375, -1.6454315185546875, -1.588714599609375, -1.5319976806640625, -1.47528076171875, -1.4185638427734375, -1.361846923828125, -1.3051300048828125, -1.2484130859375, -1.1916961669921875, -1.134979248046875, -1.0782623291015625, -1.02154541015625, -0.9648284912109375, -0.908111572265625, -0.8513946533203125, -0.794677734375, -0.7379608154296875, -0.681243896484375, -0.6245269775390625, -0.56781005859375, -0.5110931396484375, -0.454376220703125, -0.3976593017578125, -0.3409423828125, -0.2842254638671875, -0.227508544921875, -0.1707916259765625, -0.11407470703125, -0.0573577880859375, -0.000640869140625, 0.0560760498046875, 0.11279296875, 0.1695098876953125, 0.226226806640625, 0.2829437255859375, 0.33966064453125, 0.3963775634765625, 0.453094482421875, 0.5098114013671875, 0.5665283203125, 0.6232452392578125, 0.679962158203125, 0.7366790771484375, 0.79339599609375, 0.8501129150390625, 0.906829833984375, 0.9635467529296875, 1.020263671875, 1.0769805908203125, 1.133697509765625, 1.1904144287109375, 1.24713134765625, 1.3038482666015625, 1.360565185546875, 1.4172821044921875, 1.4739990234375, 1.5307159423828125, 1.587432861328125, 1.6441497802734375, 1.70086669921875, 1.7575836181640625, 1.814300537109375, 1.8710174560546875, 1.927734375]}, "gradients/decoder.model.decoder.layers.11.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 4.0, 4.0, 1.0, 6.0, 9.0, 19.0, 31.0, 39.0, 77.0, 92.0, 121.0, 116.0, 130.0, 112.0, 73.0, 68.0, 43.0, 19.0, 16.0, 10.0, 11.0, 4.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7041015625, -1.65655517578125, -1.6090087890625, -1.56146240234375, -1.513916015625, -1.46636962890625, -1.4188232421875, -1.37127685546875, -1.32373046875, -1.27618408203125, -1.2286376953125, -1.18109130859375, -1.133544921875, -1.08599853515625, -1.0384521484375, -0.99090576171875, -0.943359375, -0.89581298828125, -0.8482666015625, -0.80072021484375, -0.753173828125, -0.70562744140625, -0.6580810546875, -0.61053466796875, -0.56298828125, -0.51544189453125, -0.4678955078125, -0.42034912109375, -0.372802734375, -0.32525634765625, -0.2777099609375, -0.23016357421875, -0.1826171875, -0.13507080078125, -0.0875244140625, -0.03997802734375, 0.007568359375, 0.05511474609375, 0.1026611328125, 0.15020751953125, 0.19775390625, 0.24530029296875, 0.2928466796875, 0.34039306640625, 0.387939453125, 0.43548583984375, 0.4830322265625, 0.53057861328125, 0.578125, 0.62567138671875, 0.6732177734375, 0.72076416015625, 0.768310546875, 0.81585693359375, 0.8634033203125, 0.91094970703125, 0.95849609375, 1.00604248046875, 1.0535888671875, 1.10113525390625, 1.148681640625, 1.19622802734375, 1.2437744140625, 1.29132080078125, 1.3388671875]}, "gradients/decoder.model.decoder.layers.11.self_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 2.0, 2.0, 2.0, 4.0, 2.0, 2.0, 2.0, 5.0, 7.0, 2.0, 7.0, 10.0, 4.0, 10.0, 7.0, 13.0, 9.0, 16.0, 17.0, 29.0, 38.0, 56.0, 118.0, 710.0, 1046915.0, 279.0, 82.0, 49.0, 30.0, 29.0, 13.0, 11.0, 13.0, 11.0, 10.0, 7.0, 6.0, 4.0, 3.0, 2.0, 7.0, 2.0, 3.0, 2.0, 3.0, 2.0, 2.0, 5.0, 3.0, 0.0, 1.0, 0.0, 1.0], "bins": [-45.78125, -44.48583984375, -43.1904296875, -41.89501953125, -40.599609375, -39.30419921875, -38.0087890625, -36.71337890625, -35.41796875, -34.12255859375, -32.8271484375, -31.53173828125, -30.236328125, -28.94091796875, -27.6455078125, -26.35009765625, -25.0546875, -23.75927734375, -22.4638671875, -21.16845703125, -19.873046875, -18.57763671875, -17.2822265625, -15.98681640625, -14.69140625, -13.39599609375, -12.1005859375, -10.80517578125, -9.509765625, -8.21435546875, -6.9189453125, -5.62353515625, -4.328125, -3.03271484375, -1.7373046875, -0.44189453125, 0.853515625, 2.14892578125, 3.4443359375, 4.73974609375, 6.03515625, 7.33056640625, 8.6259765625, 9.92138671875, 11.216796875, 12.51220703125, 13.8076171875, 15.10302734375, 16.3984375, 17.69384765625, 18.9892578125, 20.28466796875, 21.580078125, 22.87548828125, 24.1708984375, 25.46630859375, 26.76171875, 28.05712890625, 29.3525390625, 30.64794921875, 31.943359375, 33.23876953125, 34.5341796875, 35.82958984375, 37.125]}, "gradients/decoder.model.decoder.layers.11.self_attn.v_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 7.0, 2.0, 4.0, 6.0, 4.0, 6.0, 10.0, 5.0, 8.0, 12.0, 12.0, 7.0, 16.0, 11.0, 17.0, 31.0, 39.0, 45.0, 69.0, 83.0, 108.0, 113.0, 78.0, 93.0, 43.0, 38.0, 21.0, 13.0, 10.0, 17.0, 11.0, 6.0, 9.0, 7.0, 4.0, 2.0, 6.0, 5.0, 4.0, 4.0, 5.0, 3.0, 7.0, 2.0, 4.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.38671875, -2.30975341796875, -2.2327880859375, -2.15582275390625, -2.078857421875, -2.00189208984375, -1.9249267578125, -1.84796142578125, -1.77099609375, -1.69403076171875, -1.6170654296875, -1.54010009765625, -1.463134765625, -1.38616943359375, -1.3092041015625, -1.23223876953125, -1.1552734375, -1.07830810546875, -1.0013427734375, -0.92437744140625, -0.847412109375, -0.77044677734375, -0.6934814453125, -0.61651611328125, -0.53955078125, -0.46258544921875, -0.3856201171875, -0.30865478515625, -0.231689453125, -0.15472412109375, -0.0777587890625, -0.00079345703125, 0.076171875, 0.15313720703125, 0.2301025390625, 0.30706787109375, 0.384033203125, 0.46099853515625, 0.5379638671875, 0.61492919921875, 0.69189453125, 0.76885986328125, 0.8458251953125, 0.92279052734375, 0.999755859375, 1.07672119140625, 1.1536865234375, 1.23065185546875, 1.3076171875, 1.38458251953125, 1.4615478515625, 1.53851318359375, 1.615478515625, 1.69244384765625, 1.7694091796875, 1.84637451171875, 1.92333984375, 2.00030517578125, 2.0772705078125, 2.15423583984375, 2.231201171875, 2.30816650390625, 2.3851318359375, 2.46209716796875, 2.5390625]}, "gradients/decoder.model.decoder.layers.11.self_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 3.0, 5.0, 6.0, 20.0, 46.0, 127.0, 1047884.0, 377.0, 47.0, 20.0, 19.0, 4.0, 2.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-48.96875, -47.6328125, -46.296875, -44.9609375, -43.625, -42.2890625, -40.953125, -39.6171875, -38.28125, -36.9453125, -35.609375, -34.2734375, -32.9375, -31.6015625, -30.265625, -28.9296875, -27.59375, -26.2578125, -24.921875, -23.5859375, -22.25, -20.9140625, -19.578125, -18.2421875, -16.90625, -15.5703125, -14.234375, -12.8984375, -11.5625, -10.2265625, -8.890625, -7.5546875, -6.21875, -4.8828125, -3.546875, -2.2109375, -0.875, 0.4609375, 1.796875, 3.1328125, 4.46875, 5.8046875, 7.140625, 8.4765625, 9.8125, 11.1484375, 12.484375, 13.8203125, 15.15625, 16.4921875, 17.828125, 19.1640625, 20.5, 21.8359375, 23.171875, 24.5078125, 25.84375, 27.1796875, 28.515625, 29.8515625, 31.1875, 32.5234375, 33.859375, 35.1953125, 36.53125]}, "gradients/decoder.model.decoder.layers.11.self_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 6.0, 7.0, 4.0, 10.0, 15.0, 11.0, 20.0, 32.0, 52.0, 84.0, 452.0, 122.0, 76.0, 40.0, 20.0, 23.0, 10.0, 11.0, 0.0, 4.0, 4.0, 0.0, 5.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002918243408203125, -0.0002777278423309326, -0.00026363134384155273, -0.00024953484535217285, -0.00023543834686279297, -0.00022134184837341309, -0.0002072453498840332, -0.00019314885139465332, -0.00017905235290527344, -0.00016495585441589355, -0.00015085935592651367, -0.0001367628574371338, -0.0001226663589477539, -0.00010856986045837402, -9.447336196899414e-05, -8.037686347961426e-05, -6.628036499023438e-05, -5.218386650085449e-05, -3.808736801147461e-05, -2.3990869522094727e-05, -9.894371032714844e-06, 4.202127456665039e-06, 1.8298625946044922e-05, 3.2395124435424805e-05, 4.649162292480469e-05, 6.058812141418457e-05, 7.468461990356445e-05, 8.878111839294434e-05, 0.00010287761688232422, 0.0001169741153717041, 0.00013107061386108398, 0.00014516711235046387, 0.00015926361083984375, 0.00017336010932922363, 0.00018745660781860352, 0.0002015531063079834, 0.00021564960479736328, 0.00022974610328674316, 0.00024384260177612305, 0.00025793910026550293, 0.0002720355987548828, 0.0002861320972442627, 0.0003002285957336426, 0.00031432509422302246, 0.00032842159271240234, 0.0003425180912017822, 0.0003566145896911621, 0.000370711088180542, 0.0003848075866699219, 0.00039890408515930176, 0.00041300058364868164, 0.0004270970821380615, 0.0004411935806274414, 0.0004552900791168213, 0.00046938657760620117, 0.00048348307609558105, 0.0004975795745849609, 0.0005116760730743408, 0.0005257725715637207, 0.0005398690700531006, 0.0005539655685424805, 0.0005680620670318604, 0.0005821585655212402, 0.0005962550640106201, 0.0006103515625]}, "gradients/decoder.model.decoder.layers.11.self_attn.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 0.0, 4.0, 10.0, 12.0, 52.0, 105.0, 1048198.0, 92.0, 45.0, 12.0, 9.0, 8.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-56.84375, -54.97607421875, -53.1083984375, -51.24072265625, -49.373046875, -47.50537109375, -45.6376953125, -43.77001953125, -41.90234375, -40.03466796875, -38.1669921875, -36.29931640625, -34.431640625, -32.56396484375, -30.6962890625, -28.82861328125, -26.9609375, -25.09326171875, -23.2255859375, -21.35791015625, -19.490234375, -17.62255859375, -15.7548828125, -13.88720703125, -12.01953125, -10.15185546875, -8.2841796875, -6.41650390625, -4.548828125, -2.68115234375, -0.8134765625, 1.05419921875, 2.921875, 4.78955078125, 6.6572265625, 8.52490234375, 10.392578125, 12.26025390625, 14.1279296875, 15.99560546875, 17.86328125, 19.73095703125, 21.5986328125, 23.46630859375, 25.333984375, 27.20166015625, 29.0693359375, 30.93701171875, 32.8046875, 34.67236328125, 36.5400390625, 38.40771484375, 40.275390625, 42.14306640625, 44.0107421875, 45.87841796875, 47.74609375, 49.61376953125, 51.4814453125, 53.34912109375, 55.216796875, 57.08447265625, 58.9521484375, 60.81982421875, 62.6875]}, "gradients/decoder.model.decoder.layers.11.self_attn.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 1.0, 3.0, 11.0, 21.0, 41.0, 81.0, 666.0, 98.0, 35.0, 22.0, 11.0, 7.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.205078125, -2.1328125, -2.060546875, -1.98828125, -1.916015625, -1.84375, -1.771484375, -1.69921875, -1.626953125, -1.5546875, -1.482421875, -1.41015625, -1.337890625, -1.265625, -1.193359375, -1.12109375, -1.048828125, -0.9765625, -0.904296875, -0.83203125, -0.759765625, -0.6875, -0.615234375, -0.54296875, -0.470703125, -0.3984375, -0.326171875, -0.25390625, -0.181640625, -0.109375, -0.037109375, 0.03515625, 0.107421875, 0.1796875, 0.251953125, 0.32421875, 0.396484375, 0.46875, 0.541015625, 0.61328125, 0.685546875, 0.7578125, 0.830078125, 0.90234375, 0.974609375, 1.046875, 1.119140625, 1.19140625, 1.263671875, 1.3359375, 1.408203125, 1.48046875, 1.552734375, 1.625, 1.697265625, 1.76953125, 1.841796875, 1.9140625, 1.986328125, 2.05859375, 2.130859375, 2.203125, 2.275390625, 2.34765625, 2.419921875]}, "gradients/decoder.model.decoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [1020.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.253129720687866, 4.8995771408081055, 12.052284240722656, 19.204992294311523, 26.357698440551758, 33.510406494140625, 40.663116455078125, 47.81582260131836, 54.968528747558594, 62.12123489379883, 69.27394104003906, 76.42665100097656, 83.57936096191406, 90.73206329345703, 97.88477325439453, 105.0374755859375, 112.190185546875, 119.3428955078125, 126.49559783935547, 133.6483154296875, 140.80101013183594, 147.95372009277344, 155.10643005371094, 162.25914001464844, 169.41183471679688, 176.56454467773438, 183.71725463867188, 190.86996459960938, 198.0226593017578, 205.1753692626953, 212.3280792236328, 219.4807891845703, 226.63348388671875, 233.78619384765625, 240.93890380859375, 248.09161376953125, 255.2443084716797, 262.39703369140625, 269.54974365234375, 276.7024230957031, 283.8551330566406, 291.0078430175781, 298.1605529785156, 305.3132629394531, 312.4659729003906, 319.61865234375, 326.7713623046875, 333.924072265625, 341.0767822265625, 348.2294921875, 355.3822021484375, 362.534912109375, 369.6876220703125, 376.84033203125, 383.9930419921875, 391.1457214355469, 398.2984619140625, 405.451171875, 412.6038818359375, 419.756591796875, 426.9093017578125, 434.06201171875, 441.2147216796875, 448.3674011230469, 455.5201110839844]}, "gradients/decoder.model.decoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 6.0, 4.0, 3.0, 12.0, 29.0, 67.0, 141.0, 188.0, 204.0, 168.0, 96.0, 53.0, 22.0, 5.0, 10.0, 6.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.204971790313721, -3.807516098022461, -3.410060405731201, -3.0126047134399414, -2.6151490211486816, -2.217693328857422, -1.820237636566162, -1.4227819442749023, -1.0253262519836426, -0.6278705596923828, -0.23041486740112305, 0.16704082489013672, 0.5644965171813965, 0.9619522094726562, 1.359407901763916, 1.7568635940551758, 2.1543192863464355, 2.5517749786376953, 2.949230670928955, 3.346686363220215, 3.7441420555114746, 4.141597747802734, 4.539053440093994, 4.936509132385254, 5.333964824676514, 5.731420516967773, 6.128876209259033, 6.526331901550293, 6.923787593841553, 7.3212432861328125, 7.718698978424072, 8.116154670715332, 8.51361083984375, 8.911066055297852, 9.30852222442627, 9.705978393554688, 10.103433609008789, 10.50088882446289, 10.898344993591309, 11.295801162719727, 11.693256378173828, 12.09071159362793, 12.488167762756348, 12.885623931884766, 13.283079147338867, 13.680534362792969, 14.077990531921387, 14.475446701049805, 14.872901916503906, 15.270357131958008, 15.667813301086426, 16.065269470214844, 16.462724685668945, 16.860179901123047, 17.25763702392578, 17.655092239379883, 18.052547454833984, 18.450002670288086, 18.847457885742188, 19.244915008544922, 19.642370223999023, 20.039825439453125, 20.43728256225586, 20.83473777770996, 21.232192993164062]}, "gradients/decoder.model.decoder.layers.10.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 0.0, 3.0, 3.0, 3.0, 2.0, 9.0, 4.0, 10.0, 12.0, 16.0, 22.0, 28.0, 52.0, 89.0, 99.0, 165.0, 252.0, 506.0, 1641.0, 22197.0, 4164834.0, 2830.0, 596.0, 300.0, 174.0, 131.0, 98.0, 62.0, 36.0, 34.0, 17.0, 17.0, 10.0, 11.0, 7.0, 4.0, 4.0, 2.0, 1.0, 2.0, 2.0, 1.0, 3.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-7.37109375, -7.11834716796875, -6.8656005859375, -6.61285400390625, -6.360107421875, -6.10736083984375, -5.8546142578125, -5.60186767578125, -5.34912109375, -5.09637451171875, -4.8436279296875, -4.59088134765625, -4.338134765625, -4.08538818359375, -3.8326416015625, -3.57989501953125, -3.3271484375, -3.07440185546875, -2.8216552734375, -2.56890869140625, -2.316162109375, -2.06341552734375, -1.8106689453125, -1.55792236328125, -1.30517578125, -1.05242919921875, -0.7996826171875, -0.54693603515625, -0.294189453125, -0.04144287109375, 0.2113037109375, 0.46405029296875, 0.716796875, 0.96954345703125, 1.2222900390625, 1.47503662109375, 1.727783203125, 1.98052978515625, 2.2332763671875, 2.48602294921875, 2.73876953125, 2.99151611328125, 3.2442626953125, 3.49700927734375, 3.749755859375, 4.00250244140625, 4.2552490234375, 4.50799560546875, 4.7607421875, 5.01348876953125, 5.2662353515625, 5.51898193359375, 5.771728515625, 6.02447509765625, 6.2772216796875, 6.52996826171875, 6.78271484375, 7.03546142578125, 7.2882080078125, 7.54095458984375, 7.793701171875, 8.04644775390625, 8.2991943359375, 8.55194091796875, 8.8046875]}, "gradients/decoder.model.decoder.layers.10.fc2.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 3.0, 5.0, 6.0, 7.0, 16.0, 8.0, 31.0, 43.0, 45.0, 83.0, 90.0, 104.0, 94.0, 101.0, 88.0, 73.0, 59.0, 45.0, 21.0, 20.0, 15.0, 16.0, 4.0, 7.0, 2.0, 5.0, 2.0, 0.0, 1.0, 2.0, 2.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.2216796875, -1.181884765625, -1.14208984375, -1.102294921875, -1.0625, -1.022705078125, -0.98291015625, -0.943115234375, -0.9033203125, -0.863525390625, -0.82373046875, -0.783935546875, -0.744140625, -0.704345703125, -0.66455078125, -0.624755859375, -0.5849609375, -0.545166015625, -0.50537109375, -0.465576171875, -0.42578125, -0.385986328125, -0.34619140625, -0.306396484375, -0.2666015625, -0.226806640625, -0.18701171875, -0.147216796875, -0.107421875, -0.067626953125, -0.02783203125, 0.011962890625, 0.0517578125, 0.091552734375, 0.13134765625, 0.171142578125, 0.2109375, 0.250732421875, 0.29052734375, 0.330322265625, 0.3701171875, 0.409912109375, 0.44970703125, 0.489501953125, 0.529296875, 0.569091796875, 0.60888671875, 0.648681640625, 0.6884765625, 0.728271484375, 0.76806640625, 0.807861328125, 0.84765625, 0.887451171875, 0.92724609375, 0.967041015625, 1.0068359375, 1.046630859375, 1.08642578125, 1.126220703125, 1.166015625, 1.205810546875, 1.24560546875, 1.285400390625, 1.3251953125]}, "gradients/decoder.model.decoder.layers.10.fc1.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 6.0, 1.0, 6.0, 5.0, 11.0, 12.0, 56.0, 4193265.0, 836.0, 34.0, 14.0, 11.0, 10.0, 4.0, 3.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-46.84375, -44.47119140625, -42.0986328125, -39.72607421875, -37.353515625, -34.98095703125, -32.6083984375, -30.23583984375, -27.86328125, -25.49072265625, -23.1181640625, -20.74560546875, -18.373046875, -16.00048828125, -13.6279296875, -11.25537109375, -8.8828125, -6.51025390625, -4.1376953125, -1.76513671875, 0.607421875, 2.97998046875, 5.3525390625, 7.72509765625, 10.09765625, 12.47021484375, 14.8427734375, 17.21533203125, 19.587890625, 21.96044921875, 24.3330078125, 26.70556640625, 29.078125, 31.45068359375, 33.8232421875, 36.19580078125, 38.568359375, 40.94091796875, 43.3134765625, 45.68603515625, 48.05859375, 50.43115234375, 52.8037109375, 55.17626953125, 57.548828125, 59.92138671875, 62.2939453125, 64.66650390625, 67.0390625, 69.41162109375, 71.7841796875, 74.15673828125, 76.529296875, 78.90185546875, 81.2744140625, 83.64697265625, 86.01953125, 88.39208984375, 90.7646484375, 93.13720703125, 95.509765625, 97.88232421875, 100.2548828125, 102.62744140625, 105.0]}, "gradients/decoder.model.decoder.layers.10.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 1.0, 5.0, 6.0, 2.0, 6.0, 11.0, 71.0, 3906.0, 37.0, 14.0, 11.0, 2.0, 1.0, 4.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.775390625, -1.71051025390625, -1.6456298828125, -1.58074951171875, -1.515869140625, -1.45098876953125, -1.3861083984375, -1.32122802734375, -1.25634765625, -1.19146728515625, -1.1265869140625, -1.06170654296875, -0.996826171875, -0.93194580078125, -0.8670654296875, -0.80218505859375, -0.7373046875, -0.67242431640625, -0.6075439453125, -0.54266357421875, -0.477783203125, -0.41290283203125, -0.3480224609375, -0.28314208984375, -0.21826171875, -0.15338134765625, -0.0885009765625, -0.02362060546875, 0.041259765625, 0.10614013671875, 0.1710205078125, 0.23590087890625, 0.30078125, 0.36566162109375, 0.4305419921875, 0.49542236328125, 0.560302734375, 0.62518310546875, 0.6900634765625, 0.75494384765625, 0.81982421875, 0.88470458984375, 0.9495849609375, 1.01446533203125, 1.079345703125, 1.14422607421875, 1.2091064453125, 1.27398681640625, 1.3388671875, 1.40374755859375, 1.4686279296875, 1.53350830078125, 1.598388671875, 1.66326904296875, 1.7281494140625, 1.79302978515625, 1.85791015625, 1.92279052734375, 1.9876708984375, 2.05255126953125, 2.117431640625, 2.18231201171875, 2.2471923828125, 2.31207275390625, 2.376953125]}, "gradients/decoder.model.decoder.layers.10.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [2.0, 11.0, 26.0, 135.0, 620.0, 188.0, 31.0, 6.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.226189136505127, -0.9648860096931458, -0.7035828828811646, -0.44227975606918335, -0.18097662925720215, 0.08032655715942383, 0.34162962436676025, 0.6029326915740967, 0.8642358779907227, 1.1255390644073486, 1.386842131614685, 1.6481451988220215, 1.9094483852386475, 2.1707515716552734, 2.4320545196533203, 2.6933577060699463, 2.9546608924865723, 3.2159640789031982, 3.477267265319824, 3.738570213317871, 3.999873399734497, 4.261176586151123, 4.52247953414917, 4.783782958984375, 5.045085906982422, 5.306388854980469, 5.567692279815674, 5.828995227813721, 6.090298652648926, 6.351601600646973, 6.6129045486450195, 6.874207496643066, 7.135510444641113, 7.39681339263916, 7.658116817474365, 7.919419765472412, 8.180723190307617, 8.442026138305664, 8.703329086303711, 8.964632034301758, 9.225934982299805, 9.487237930297852, 9.748540878295898, 10.009844779968262, 10.271147727966309, 10.532450675964355, 10.793753623962402, 11.05505657196045, 11.316360473632812, 11.57766342163086, 11.838966369628906, 12.10027027130127, 12.361573219299316, 12.622876167297363, 12.88417911529541, 13.145482063293457, 13.40678596496582, 13.668088912963867, 13.929391860961914, 14.190695762634277, 14.451998710632324, 14.713301658630371, 14.974604606628418, 15.235907554626465, 15.497210502624512]}, "gradients/decoder.model.decoder.layers.10.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 5.0, 3.0, 3.0, 5.0, 12.0, 10.0, 11.0, 19.0, 29.0, 25.0, 31.0, 36.0, 36.0, 31.0, 41.0, 41.0, 48.0, 68.0, 52.0, 64.0, 66.0, 58.0, 43.0, 38.0, 25.0, 43.0, 37.0, 25.0, 16.0, 14.0, 20.0, 10.0, 8.0, 3.0, 9.0, 5.0, 9.0, 4.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0], "bins": [-1.366236925125122, -1.3264105319976807, -1.2865841388702393, -1.2467576265335083, -1.206931233406067, -1.1671048402786255, -1.127278447151184, -1.0874520540237427, -1.0476255416870117, -1.0077991485595703, -0.9679726958274841, -0.9281463027000427, -0.8883198499679565, -0.8484934568405151, -0.8086670637130737, -0.7688406705856323, -0.7290142774581909, -0.6891878843307495, -0.6493614315986633, -0.6095350384712219, -0.5697085857391357, -0.5298821926116943, -0.49005579948425293, -0.45022937655448914, -0.41040295362472534, -0.37057653069496155, -0.33075010776519775, -0.29092371463775635, -0.25109729170799255, -0.21127086877822876, -0.17144446074962616, -0.13161805272102356, -0.09179151058197021, -0.05196509510278702, -0.01213867962360382, 0.027687735855579376, 0.06751415133476257, 0.10734057426452637, 0.14716698229312897, 0.18699339032173157, 0.22681981325149536, 0.26664623618125916, 0.30647265911102295, 0.34629905223846436, 0.38612547516822815, 0.42595189809799194, 0.46577829122543335, 0.5056047439575195, 0.5454311370849609, 0.5852575302124023, 0.6250839829444885, 0.6649103760719299, 0.7047368288040161, 0.7445632219314575, 0.7843896150588989, 0.8242160081863403, 0.8640424609184265, 0.9038688540458679, 0.9436953067779541, 0.9835216999053955, 1.023348093032837, 1.0631744861602783, 1.1030009984970093, 1.1428273916244507, 1.182653784751892]}, "gradients/decoder.model.decoder.layers.10.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 3.0, 2.0, 4.0, 3.0, 3.0, 5.0, 6.0, 7.0, 7.0, 18.0, 29.0, 60.0, 102.0, 193.0, 433.0, 1272.0, 4732.0, 27883.0, 941897.0, 61517.0, 7469.0, 1782.0, 580.0, 254.0, 103.0, 72.0, 33.0, 24.0, 15.0, 15.0, 9.0, 5.0, 6.0, 4.0, 2.0, 2.0, 3.0, 1.0, 2.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.8232421875, -0.7980270385742188, -0.7728118896484375, -0.7475967407226562, -0.722381591796875, -0.6971664428710938, -0.6719512939453125, -0.6467361450195312, -0.62152099609375, -0.5963058471679688, -0.5710906982421875, -0.5458755493164062, -0.520660400390625, -0.49544525146484375, -0.4702301025390625, -0.44501495361328125, -0.4197998046875, -0.39458465576171875, -0.3693695068359375, -0.34415435791015625, -0.318939208984375, -0.29372406005859375, -0.2685089111328125, -0.24329376220703125, -0.21807861328125, -0.19286346435546875, -0.1676483154296875, -0.14243316650390625, -0.117218017578125, -0.09200286865234375, -0.0667877197265625, -0.04157257080078125, -0.016357421875, 0.00885772705078125, 0.0340728759765625, 0.05928802490234375, 0.084503173828125, 0.10971832275390625, 0.1349334716796875, 0.16014862060546875, 0.18536376953125, 0.21057891845703125, 0.2357940673828125, 0.26100921630859375, 0.286224365234375, 0.31143951416015625, 0.3366546630859375, 0.36186981201171875, 0.3870849609375, 0.41230010986328125, 0.4375152587890625, 0.46273040771484375, 0.487945556640625, 0.5131607055664062, 0.5383758544921875, 0.5635910034179688, 0.58880615234375, 0.6140213012695312, 0.6392364501953125, 0.6644515991210938, 0.689666748046875, 0.7148818969726562, 0.7400970458984375, 0.7653121948242188, 0.79052734375]}, "gradients/decoder.model.decoder.layers.10.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 4.0, 3.0, 10.0, 12.0, 25.0, 55.0, 81.0, 77.0, 129.0, 160.0, 152.0, 103.0, 71.0, 46.0, 37.0, 21.0, 8.0, 10.0, 2.0, 3.0, 1.0, 1.0, 1.0, 3.0, 0.0, 0.0, 1.0], "bins": [-2.2890625, -2.2400588989257812, -2.1910552978515625, -2.1420516967773438, -2.093048095703125, -2.0440444946289062, -1.9950408935546875, -1.9460372924804688, -1.89703369140625, -1.8480300903320312, -1.7990264892578125, -1.7500228881835938, -1.701019287109375, -1.6520156860351562, -1.6030120849609375, -1.5540084838867188, -1.5050048828125, -1.4560012817382812, -1.4069976806640625, -1.3579940795898438, -1.308990478515625, -1.2599868774414062, -1.2109832763671875, -1.1619796752929688, -1.11297607421875, -1.0639724731445312, -1.0149688720703125, -0.9659652709960938, -0.916961669921875, -0.8679580688476562, -0.8189544677734375, -0.7699508666992188, -0.720947265625, -0.6719436645507812, -0.6229400634765625, -0.5739364624023438, -0.524932861328125, -0.47592926025390625, -0.4269256591796875, -0.37792205810546875, -0.32891845703125, -0.27991485595703125, -0.2309112548828125, -0.18190765380859375, -0.132904052734375, -0.08390045166015625, -0.0348968505859375, 0.01410675048828125, 0.0631103515625, 0.11211395263671875, 0.1611175537109375, 0.21012115478515625, 0.259124755859375, 0.30812835693359375, 0.3571319580078125, 0.40613555908203125, 0.45513916015625, 0.5041427612304688, 0.5531463623046875, 0.6021499633789062, 0.651153564453125, 0.7001571655273438, 0.7491607666015625, 0.7981643676757812, 0.84716796875]}, "gradients/decoder.model.decoder.layers.10.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 7.0, 2.0, 7.0, 8.0, 13.0, 14.0, 20.0, 51.0, 54.0, 63.0, 84.0, 110.0, 157.0, 202.0, 290.0, 359.0, 596.0, 892.0, 1221.0, 1978.0, 3138.0, 5020.0, 8087.0, 13295.0, 23112.0, 41686.0, 80704.0, 190238.0, 407473.0, 129536.0, 60559.0, 32484.0, 18250.0, 10853.0, 6481.0, 3972.0, 2563.0, 1609.0, 1105.0, 695.0, 441.0, 321.0, 199.0, 198.0, 117.0, 84.0, 68.0, 40.0, 28.0, 28.0, 18.0, 23.0, 4.0, 5.0, 3.0, 2.0, 4.0, 0.0, 1.0, 2.0], "bins": [-0.0136260986328125, -0.013204216957092285, -0.01278233528137207, -0.012360453605651855, -0.01193857192993164, -0.011516690254211426, -0.011094808578491211, -0.010672926902770996, -0.010251045227050781, -0.009829163551330566, -0.009407281875610352, -0.008985400199890137, -0.008563518524169922, -0.008141636848449707, -0.007719755172729492, -0.007297873497009277, -0.0068759918212890625, -0.006454110145568848, -0.006032228469848633, -0.005610346794128418, -0.005188465118408203, -0.004766583442687988, -0.0043447017669677734, -0.003922820091247559, -0.0035009384155273438, -0.003079056739807129, -0.002657175064086914, -0.0022352933883666992, -0.0018134117126464844, -0.0013915300369262695, -0.0009696483612060547, -0.0005477666854858398, -0.000125885009765625, 0.00029599666595458984, 0.0007178783416748047, 0.0011397600173950195, 0.0015616416931152344, 0.0019835233688354492, 0.002405405044555664, 0.002827286720275879, 0.0032491683959960938, 0.0036710500717163086, 0.0040929317474365234, 0.004514813423156738, 0.004936695098876953, 0.005358576774597168, 0.005780458450317383, 0.006202340126037598, 0.0066242218017578125, 0.007046103477478027, 0.007467985153198242, 0.007889866828918457, 0.008311748504638672, 0.008733630180358887, 0.009155511856079102, 0.009577393531799316, 0.009999275207519531, 0.010421156883239746, 0.010843038558959961, 0.011264920234680176, 0.01168680191040039, 0.012108683586120605, 0.01253056526184082, 0.012952446937561035, 0.01337432861328125]}, "gradients/decoder.model.decoder.layers.10.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 5.0, 2.0, 6.0, 6.0, 3.0, 3.0, 7.0, 15.0, 10.0, 11.0, 9.0, 10.0, 13.0, 19.0, 18.0, 13.0, 17.0, 16.0, 25.0, 18.0, 22.0, 40.0, 31.0, 41.0, 28.0, 36.0, 27.0, 50.0, 34.0, 36.0, 45.0, 40.0, 41.0, 29.0, 37.0, 30.0, 26.0, 26.0, 20.0, 20.0, 26.0, 13.0, 15.0, 12.0, 9.0, 5.0, 7.0, 5.0, 8.0, 7.0, 8.0, 5.0, 4.0, 2.0, 0.0, 2.0, 4.0, 0.0, 1.0, 2.0], "bins": [-0.92822265625, -0.899383544921875, -0.87054443359375, -0.841705322265625, -0.8128662109375, -0.784027099609375, -0.75518798828125, -0.726348876953125, -0.697509765625, -0.668670654296875, -0.63983154296875, -0.610992431640625, -0.5821533203125, -0.553314208984375, -0.52447509765625, -0.495635986328125, -0.466796875, -0.437957763671875, -0.40911865234375, -0.380279541015625, -0.3514404296875, -0.322601318359375, -0.29376220703125, -0.264923095703125, -0.236083984375, -0.207244873046875, -0.17840576171875, -0.149566650390625, -0.1207275390625, -0.091888427734375, -0.06304931640625, -0.034210205078125, -0.00537109375, 0.023468017578125, 0.05230712890625, 0.081146240234375, 0.1099853515625, 0.138824462890625, 0.16766357421875, 0.196502685546875, 0.225341796875, 0.254180908203125, 0.28302001953125, 0.311859130859375, 0.3406982421875, 0.369537353515625, 0.39837646484375, 0.427215576171875, 0.4560546875, 0.484893798828125, 0.51373291015625, 0.542572021484375, 0.5714111328125, 0.600250244140625, 0.62908935546875, 0.657928466796875, 0.686767578125, 0.715606689453125, 0.74444580078125, 0.773284912109375, 0.8021240234375, 0.830963134765625, 0.85980224609375, 0.888641357421875, 0.91748046875]}, "gradients/decoder.model.decoder.layers.10.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 1.0, 6.0, 5.0, 10.0, 10.0, 10.0, 19.0, 28.0, 34.0, 52.0, 78.0, 103.0, 153.0, 195.0, 255.0, 459.0, 584.0, 837.0, 1293.0, 1969.0, 3222.0, 5599.0, 11450.0, 28806.0, 96296.0, 592643.0, 217861.0, 49868.0, 17706.0, 7664.0, 4118.0, 2440.0, 1553.0, 927.0, 701.0, 458.0, 341.0, 206.0, 180.0, 124.0, 90.0, 49.0, 51.0, 25.0, 22.0, 24.0, 12.0, 13.0, 5.0, 3.0, 4.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0003268718719482422, -0.00031657516956329346, -0.0003062784671783447, -0.000295981764793396, -0.00028568506240844727, -0.00027538836002349854, -0.0002650916576385498, -0.0002547949552536011, -0.00024449825286865234, -0.0002342015504837036, -0.00022390484809875488, -0.00021360814571380615, -0.00020331144332885742, -0.0001930147409439087, -0.00018271803855895996, -0.00017242133617401123, -0.0001621246337890625, -0.00015182793140411377, -0.00014153122901916504, -0.0001312345266342163, -0.00012093782424926758, -0.00011064112186431885, -0.00010034441947937012, -9.004771709442139e-05, -7.975101470947266e-05, -6.945431232452393e-05, -5.9157609939575195e-05, -4.8860907554626465e-05, -3.8564205169677734e-05, -2.8267502784729004e-05, -1.7970800399780273e-05, -7.674098014831543e-06, 2.6226043701171875e-06, 1.2919306755065918e-05, 2.321600914001465e-05, 3.351271152496338e-05, 4.380941390991211e-05, 5.410611629486084e-05, 6.440281867980957e-05, 7.46995210647583e-05, 8.499622344970703e-05, 9.529292583465576e-05, 0.00010558962821960449, 0.00011588633060455322, 0.00012618303298950195, 0.00013647973537445068, 0.00014677643775939941, 0.00015707314014434814, 0.00016736984252929688, 0.0001776665449142456, 0.00018796324729919434, 0.00019825994968414307, 0.0002085566520690918, 0.00021885335445404053, 0.00022915005683898926, 0.000239446759223938, 0.0002497434616088867, 0.00026004016399383545, 0.0002703368663787842, 0.0002806335687637329, 0.00029093027114868164, 0.00030122697353363037, 0.0003115236759185791, 0.00032182037830352783, 0.00033211708068847656]}, "gradients/decoder.model.decoder.layers.10.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 4.0, 7.0, 11.0, 4.0, 19.0, 17.0, 16.0, 18.0, 28.0, 36.0, 43.0, 76.0, 95.0, 133.0, 112.0, 101.0, 62.0, 51.0, 36.0, 26.0, 21.0, 18.0, 22.0, 9.0, 9.0, 8.0, 1.0, 7.0, 1.0, 2.0, 3.0, 3.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.57763671875e-05, -4.439055919647217e-05, -4.3004751205444336e-05, -4.1618943214416504e-05, -4.023313522338867e-05, -3.884732723236084e-05, -3.746151924133301e-05, -3.6075711250305176e-05, -3.4689903259277344e-05, -3.330409526824951e-05, -3.191828727722168e-05, -3.053247928619385e-05, -2.9146671295166016e-05, -2.7760863304138184e-05, -2.637505531311035e-05, -2.498924732208252e-05, -2.3603439331054688e-05, -2.2217631340026855e-05, -2.0831823348999023e-05, -1.944601535797119e-05, -1.806020736694336e-05, -1.6674399375915527e-05, -1.5288591384887695e-05, -1.3902783393859863e-05, -1.2516975402832031e-05, -1.11311674118042e-05, -9.745359420776367e-06, -8.359551429748535e-06, -6.973743438720703e-06, -5.587935447692871e-06, -4.202127456665039e-06, -2.816319465637207e-06, -1.430511474609375e-06, -4.470348358154297e-08, 1.341104507446289e-06, 2.726912498474121e-06, 4.112720489501953e-06, 5.498528480529785e-06, 6.884336471557617e-06, 8.27014446258545e-06, 9.655952453613281e-06, 1.1041760444641113e-05, 1.2427568435668945e-05, 1.3813376426696777e-05, 1.519918441772461e-05, 1.658499240875244e-05, 1.7970800399780273e-05, 1.9356608390808105e-05, 2.0742416381835938e-05, 2.212822437286377e-05, 2.35140323638916e-05, 2.4899840354919434e-05, 2.6285648345947266e-05, 2.7671456336975098e-05, 2.905726432800293e-05, 3.0443072319030762e-05, 3.1828880310058594e-05, 3.3214688301086426e-05, 3.460049629211426e-05, 3.598630428314209e-05, 3.737211227416992e-05, 3.8757920265197754e-05, 4.0143728256225586e-05, 4.152953624725342e-05, 4.291534423828125e-05]}, "gradients/decoder.model.decoder.layers.10.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 4.0, 5.0, 4.0, 5.0, 3.0, 5.0, 8.0, 17.0, 29.0, 52.0, 187.0, 732.0, 2943.0, 16600.0, 955715.0, 64888.0, 5479.0, 1373.0, 323.0, 84.0, 30.0, 17.0, 16.0, 5.0, 3.0, 10.0, 6.0, 1.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0013065338134765625, -0.0012610256671905518, -0.001215517520904541, -0.0011700093746185303, -0.0011245012283325195, -0.0010789930820465088, -0.001033484935760498, -0.0009879767894744873, -0.0009424686431884766, -0.0008969604969024658, -0.0008514523506164551, -0.0008059442043304443, -0.0007604360580444336, -0.0007149279117584229, -0.0006694197654724121, -0.0006239116191864014, -0.0005784034729003906, -0.0005328953266143799, -0.00048738718032836914, -0.0004418790340423584, -0.00039637088775634766, -0.0003508627414703369, -0.00030535459518432617, -0.00025984644889831543, -0.0002143383026123047, -0.00016883015632629395, -0.0001233220100402832, -7.781386375427246e-05, -3.230571746826172e-05, 1.3202428817749023e-05, 5.8710575103759766e-05, 0.00010421872138977051, 0.00014972686767578125, 0.000195235013961792, 0.00024074316024780273, 0.0002862513065338135, 0.0003317594528198242, 0.00037726759910583496, 0.0004227757453918457, 0.00046828389167785645, 0.0005137920379638672, 0.0005593001842498779, 0.0006048083305358887, 0.0006503164768218994, 0.0006958246231079102, 0.0007413327693939209, 0.0007868409156799316, 0.0008323490619659424, 0.0008778572082519531, 0.0009233653545379639, 0.0009688735008239746, 0.0010143816471099854, 0.001059889793395996, 0.0011053979396820068, 0.0011509060859680176, 0.0011964142322540283, 0.001241922378540039, 0.0012874305248260498, 0.0013329386711120605, 0.0013784468173980713, 0.001423954963684082, 0.0014694631099700928, 0.0015149712562561035, 0.0015604794025421143, 0.001605987548828125]}, "gradients/decoder.model.decoder.layers.10.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 3.0, 3.0, 5.0, 4.0, 3.0, 2.0, 4.0, 6.0, 12.0, 7.0, 13.0, 29.0, 75.0, 88.0, 162.0, 207.0, 131.0, 83.0, 44.0, 37.0, 21.0, 27.0, 8.0, 0.0, 5.0, 4.0, 4.0, 7.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00012814998626708984, -0.0001239348202943802, -0.00011971965432167053, -0.00011550448834896088, -0.00011128932237625122, -0.00010707415640354156, -0.00010285899043083191, -9.864382445812225e-05, -9.44286584854126e-05, -9.021349251270294e-05, -8.599832653999329e-05, -8.178316056728363e-05, -7.756799459457397e-05, -7.335282862186432e-05, -6.913766264915466e-05, -6.492249667644501e-05, -6.070733070373535e-05, -5.6492164731025696e-05, -5.227699875831604e-05, -4.8061832785606384e-05, -4.384666681289673e-05, -3.963150084018707e-05, -3.541633486747742e-05, -3.120116889476776e-05, -2.6986002922058105e-05, -2.277083694934845e-05, -1.8555670976638794e-05, -1.4340505003929138e-05, -1.0125339031219482e-05, -5.910173058509827e-06, -1.695007085800171e-06, 2.520158886909485e-06, 6.735324859619141e-06, 1.0950490832328796e-05, 1.5165656805038452e-05, 1.9380822777748108e-05, 2.3595988750457764e-05, 2.781115472316742e-05, 3.2026320695877075e-05, 3.624148666858673e-05, 4.045665264129639e-05, 4.467181861400604e-05, 4.88869845867157e-05, 5.3102150559425354e-05, 5.731731653213501e-05, 6.153248250484467e-05, 6.574764847755432e-05, 6.996281445026398e-05, 7.417798042297363e-05, 7.839314639568329e-05, 8.260831236839294e-05, 8.68234783411026e-05, 9.103864431381226e-05, 9.525381028652191e-05, 9.946897625923157e-05, 0.00010368414223194122, 0.00010789930820465088, 0.00011211447417736053, 0.00011632964015007019, 0.00012054480612277985, 0.0001247599720954895, 0.00012897513806819916, 0.0001331903040409088, 0.00013740547001361847, 0.00014162063598632812]}, "gradients/decoder.model.decoder.layers.10.self_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 8.0, 23.0, 87.0, 335.0, 481.0, 60.0, 15.0, 6.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1856123208999634, -1.041259765625, -0.8969073295593262, -0.7525548338890076, -0.608202338218689, -0.46384984254837036, -0.31949734687805176, -0.17514479160308838, -0.03079235553741455, 0.11356014013290405, 0.25791263580322266, 0.40226513147354126, 0.5466176271438599, 0.6909701228141785, 0.8353226184844971, 0.9796751737594604, 1.1240276098251343, 1.2683801651000977, 1.4127326011657715, 1.5570850372314453, 1.7014375925064087, 1.845790147781372, 1.990142583847046, 2.134495258331299, 2.2788476943969727, 2.4232001304626465, 2.5675525665283203, 2.7119052410125732, 2.856257677078247, 3.000610113143921, 3.144962787628174, 3.2893152236938477, 3.4336671829223633, 3.578019618988037, 3.722372055053711, 3.866724729537964, 4.011076927185059, 4.155429840087891, 4.2997822761535645, 4.444134712219238, 4.588487148284912, 4.732839584350586, 4.87719202041626, 5.021544456481934, 5.165897369384766, 5.3102498054504395, 5.454602241516113, 5.598954677581787, 5.743307113647461, 5.887659549713135, 6.032011985778809, 6.176364421844482, 6.320716857910156, 6.465069770812988, 6.609422206878662, 6.753774642944336, 6.89812707901001, 7.042479515075684, 7.186831951141357, 7.331184387207031, 7.475537300109863, 7.619889736175537, 7.764242172241211, 7.908594608306885, 8.052947044372559]}, "gradients/decoder.model.decoder.layers.10.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 2.0, 3.0, 1.0, 4.0, 5.0, 7.0, 9.0, 13.0, 22.0, 35.0, 38.0, 58.0, 44.0, 67.0, 68.0, 78.0, 99.0, 90.0, 83.0, 52.0, 56.0, 46.0, 35.0, 21.0, 21.0, 16.0, 4.0, 10.0, 7.0, 6.0, 3.0, 2.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.7823656797409058, -0.7557980418205261, -0.7292304039001465, -0.7026627659797668, -0.6760951280593872, -0.6495274901390076, -0.6229598522186279, -0.5963922142982483, -0.5698245763778687, -0.543256938457489, -0.5166893005371094, -0.49012166261672974, -0.4635540246963501, -0.43698638677597046, -0.4104187488555908, -0.3838511109352112, -0.35728347301483154, -0.3307158350944519, -0.30414819717407227, -0.2775805592536926, -0.251012921333313, -0.22444528341293335, -0.1978776454925537, -0.17131000757217407, -0.14474236965179443, -0.1181747317314148, -0.09160709381103516, -0.06503945589065552, -0.03847181797027588, -0.01190418004989624, 0.014663457870483398, 0.04123109579086304, 0.06779873371124268, 0.09436637163162231, 0.12093400955200195, 0.1475016474723816, 0.17406928539276123, 0.20063692331314087, 0.2272045612335205, 0.25377219915390015, 0.2803398370742798, 0.3069074749946594, 0.33347511291503906, 0.3600427508354187, 0.38661038875579834, 0.413178026676178, 0.4397456645965576, 0.46631330251693726, 0.4928809404373169, 0.5194485783576965, 0.5460162162780762, 0.5725838541984558, 0.5991514921188354, 0.6257191300392151, 0.6522867679595947, 0.6788544058799744, 0.705422043800354, 0.7319896817207336, 0.7585573196411133, 0.7851249575614929, 0.8116925954818726, 0.8382602334022522, 0.8648278713226318, 0.8913955092430115, 0.9179631471633911]}, "gradients/decoder.model.decoder.layers.10.self_attn.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 2.0, 3.0, 4.0, 4.0, 3.0, 10.0, 15.0, 14.0, 13.0, 24.0, 55.0, 105.0, 174.0, 366.0, 782.0, 2013.0, 5799.0, 18277.0, 75440.0, 674827.0, 218027.0, 36314.0, 10520.0, 3350.0, 1275.0, 534.0, 260.0, 148.0, 63.0, 30.0, 31.0, 22.0, 13.0, 16.0, 12.0, 3.0, 7.0, 4.0, 2.0, 1.0, 3.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.970703125, -0.9401397705078125, -0.909576416015625, -0.8790130615234375, -0.84844970703125, -0.8178863525390625, -0.787322998046875, -0.7567596435546875, -0.7261962890625, -0.6956329345703125, -0.665069580078125, -0.6345062255859375, -0.60394287109375, -0.5733795166015625, -0.542816162109375, -0.5122528076171875, -0.481689453125, -0.4511260986328125, -0.420562744140625, -0.3899993896484375, -0.35943603515625, -0.3288726806640625, -0.298309326171875, -0.2677459716796875, -0.2371826171875, -0.2066192626953125, -0.176055908203125, -0.1454925537109375, -0.11492919921875, -0.0843658447265625, -0.053802490234375, -0.0232391357421875, 0.00732421875, 0.0378875732421875, 0.068450927734375, 0.0990142822265625, 0.12957763671875, 0.1601409912109375, 0.190704345703125, 0.2212677001953125, 0.2518310546875, 0.2823944091796875, 0.312957763671875, 0.3435211181640625, 0.37408447265625, 0.4046478271484375, 0.435211181640625, 0.4657745361328125, 0.496337890625, 0.5269012451171875, 0.557464599609375, 0.5880279541015625, 0.61859130859375, 0.6491546630859375, 0.679718017578125, 0.7102813720703125, 0.7408447265625, 0.7714080810546875, 0.801971435546875, 0.8325347900390625, 0.86309814453125, 0.8936614990234375, 0.924224853515625, 0.9547882080078125, 0.9853515625]}, "gradients/decoder.model.decoder.layers.10.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 5.0, 5.0, 10.0, 8.0, 11.0, 22.0, 54.0, 39.0, 55.0, 92.0, 100.0, 104.0, 118.0, 91.0, 77.0, 62.0, 49.0, 37.0, 26.0, 16.0, 8.0, 3.0, 7.0, 3.0, 8.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.1453857421875, -0.13846778869628906, -0.13154983520507812, -0.12463188171386719, -0.11771392822265625, -0.11079597473144531, -0.10387802124023438, -0.09696006774902344, -0.0900421142578125, -0.08312416076660156, -0.07620620727539062, -0.06928825378417969, -0.06237030029296875, -0.05545234680175781, -0.048534393310546875, -0.04161643981933594, -0.034698486328125, -0.027780532836914062, -0.020862579345703125, -0.013944625854492188, -0.00702667236328125, -0.0001087188720703125, 0.006809234619140625, 0.013727188110351562, 0.0206451416015625, 0.027563095092773438, 0.034481048583984375, 0.04139900207519531, 0.04831695556640625, 0.05523490905761719, 0.062152862548828125, 0.06907081604003906, 0.07598876953125, 0.08290672302246094, 0.08982467651367188, 0.09674263000488281, 0.10366058349609375, 0.11057853698730469, 0.11749649047851562, 0.12441444396972656, 0.1313323974609375, 0.13825035095214844, 0.14516830444335938, 0.1520862579345703, 0.15900421142578125, 0.1659221649169922, 0.17284011840820312, 0.17975807189941406, 0.186676025390625, 0.19359397888183594, 0.20051193237304688, 0.2074298858642578, 0.21434783935546875, 0.2212657928466797, 0.22818374633789062, 0.23510169982910156, 0.2420196533203125, 0.24893760681152344, 0.2558555603027344, 0.2627735137939453, 0.26969146728515625, 0.2766094207763672, 0.2835273742675781, 0.29044532775878906, 0.29736328125]}, "gradients/decoder.model.decoder.layers.10.self_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 3.0, 3.0, 0.0, 2.0, 2.0, 4.0, 2.0, 3.0, 3.0, 11.0, 15.0, 15.0, 25.0, 24.0, 33.0, 37.0, 50.0, 80.0, 237.0, 4590.0, 1039066.0, 3803.0, 207.0, 92.0, 52.0, 47.0, 35.0, 31.0, 18.0, 15.0, 13.0, 4.0, 10.0, 4.0, 11.0, 2.0, 1.0, 1.0, 0.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.13671875, -3.99639892578125, -3.8560791015625, -3.71575927734375, -3.575439453125, -3.43511962890625, -3.2947998046875, -3.15447998046875, -3.01416015625, -2.87384033203125, -2.7335205078125, -2.59320068359375, -2.452880859375, -2.31256103515625, -2.1722412109375, -2.03192138671875, -1.8916015625, -1.75128173828125, -1.6109619140625, -1.47064208984375, -1.330322265625, -1.19000244140625, -1.0496826171875, -0.90936279296875, -0.76904296875, -0.62872314453125, -0.4884033203125, -0.34808349609375, -0.207763671875, -0.06744384765625, 0.0728759765625, 0.21319580078125, 0.353515625, 0.49383544921875, 0.6341552734375, 0.77447509765625, 0.914794921875, 1.05511474609375, 1.1954345703125, 1.33575439453125, 1.47607421875, 1.61639404296875, 1.7567138671875, 1.89703369140625, 2.037353515625, 2.17767333984375, 2.3179931640625, 2.45831298828125, 2.5986328125, 2.73895263671875, 2.8792724609375, 3.01959228515625, 3.159912109375, 3.30023193359375, 3.4405517578125, 3.58087158203125, 3.72119140625, 3.86151123046875, 4.0018310546875, 4.14215087890625, 4.282470703125, 4.42279052734375, 4.5631103515625, 4.70343017578125, 4.84375]}, "gradients/decoder.model.decoder.layers.10.self_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 3.0, 4.0, 1.0, 4.0, 1.0, 0.0, 3.0, 2.0, 4.0, 2.0, 5.0, 11.0, 9.0, 15.0, 22.0, 21.0, 27.0, 41.0, 40.0, 62.0, 66.0, 78.0, 91.0, 76.0, 85.0, 62.0, 59.0, 51.0, 45.0, 29.0, 16.0, 23.0, 11.0, 6.0, 8.0, 6.0, 8.0, 6.0, 0.0, 2.0, 1.0, 1.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.595703125, -0.5757598876953125, -0.555816650390625, -0.5358734130859375, -0.51593017578125, -0.4959869384765625, -0.476043701171875, -0.4561004638671875, -0.4361572265625, -0.4162139892578125, -0.396270751953125, -0.3763275146484375, -0.35638427734375, -0.3364410400390625, -0.316497802734375, -0.2965545654296875, -0.276611328125, -0.2566680908203125, -0.236724853515625, -0.2167816162109375, -0.19683837890625, -0.1768951416015625, -0.156951904296875, -0.1370086669921875, -0.1170654296875, -0.0971221923828125, -0.077178955078125, -0.0572357177734375, -0.03729248046875, -0.0173492431640625, 0.002593994140625, 0.0225372314453125, 0.04248046875, 0.0624237060546875, 0.082366943359375, 0.1023101806640625, 0.12225341796875, 0.1421966552734375, 0.162139892578125, 0.1820831298828125, 0.2020263671875, 0.2219696044921875, 0.241912841796875, 0.2618560791015625, 0.28179931640625, 0.3017425537109375, 0.321685791015625, 0.3416290283203125, 0.361572265625, 0.3815155029296875, 0.401458740234375, 0.4214019775390625, 0.44134521484375, 0.4612884521484375, 0.481231689453125, 0.5011749267578125, 0.5211181640625, 0.5410614013671875, 0.561004638671875, 0.5809478759765625, 0.60089111328125, 0.6208343505859375, 0.640777587890625, 0.6607208251953125, 0.6806640625]}, "gradients/decoder.model.decoder.layers.10.self_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 4.0, 0.0, 3.0, 4.0, 2.0, 5.0, 11.0, 14.0, 27.0, 65.0, 107.0, 178.0, 345.0, 634.0, 1416.0, 3458.0, 9909.0, 35405.0, 227161.0, 693883.0, 53875.0, 13884.0, 4595.0, 1828.0, 815.0, 425.0, 221.0, 115.0, 54.0, 37.0, 26.0, 12.0, 12.0, 9.0, 8.0, 3.0, 5.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0665283203125, -0.0646352767944336, -0.06274223327636719, -0.06084918975830078, -0.058956146240234375, -0.05706310272216797, -0.05517005920410156, -0.053277015686035156, -0.05138397216796875, -0.049490928649902344, -0.04759788513183594, -0.04570484161376953, -0.043811798095703125, -0.04191875457763672, -0.04002571105957031, -0.038132667541503906, -0.0362396240234375, -0.034346580505371094, -0.03245353698730469, -0.03056049346923828, -0.028667449951171875, -0.02677440643310547, -0.024881362915039062, -0.022988319396972656, -0.02109527587890625, -0.019202232360839844, -0.017309188842773438, -0.015416145324707031, -0.013523101806640625, -0.011630058288574219, -0.009737014770507812, -0.007843971252441406, -0.005950927734375, -0.004057884216308594, -0.0021648406982421875, -0.00027179718017578125, 0.001621246337890625, 0.0035142898559570312, 0.0054073333740234375, 0.007300376892089844, 0.00919342041015625, 0.011086463928222656, 0.012979507446289062, 0.014872550964355469, 0.016765594482421875, 0.01865863800048828, 0.020551681518554688, 0.022444725036621094, 0.0243377685546875, 0.026230812072753906, 0.028123855590820312, 0.03001689910888672, 0.031909942626953125, 0.03380298614501953, 0.03569602966308594, 0.037589073181152344, 0.03948211669921875, 0.041375160217285156, 0.04326820373535156, 0.04516124725341797, 0.047054290771484375, 0.04894733428955078, 0.05084037780761719, 0.052733421325683594, 0.05462646484375]}, "gradients/decoder.model.decoder.layers.10.self_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 4.0, 0.0, 2.0, 1.0, 2.0, 2.0, 5.0, 4.0, 4.0, 5.0, 2.0, 13.0, 18.0, 19.0, 30.0, 27.0, 42.0, 99.0, 356.0, 126.0, 66.0, 48.0, 33.0, 15.0, 18.0, 18.0, 12.0, 7.0, 8.0, 7.0, 3.0, 5.0, 2.0, 1.0, 2.0, 3.0, 4.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.5643577575683594e-05, -3.464799374341965e-05, -3.36524099111557e-05, -3.2656826078891754e-05, -3.166124224662781e-05, -3.066565841436386e-05, -2.9670074582099915e-05, -2.8674490749835968e-05, -2.767890691757202e-05, -2.6683323085308075e-05, -2.568773925304413e-05, -2.4692155420780182e-05, -2.3696571588516235e-05, -2.270098775625229e-05, -2.1705403923988342e-05, -2.0709820091724396e-05, -1.971423625946045e-05, -1.8718652427196503e-05, -1.7723068594932556e-05, -1.672748476266861e-05, -1.5731900930404663e-05, -1.4736317098140717e-05, -1.374073326587677e-05, -1.2745149433612823e-05, -1.1749565601348877e-05, -1.075398176908493e-05, -9.758397936820984e-06, -8.762814104557037e-06, -7.76723027229309e-06, -6.771646440029144e-06, -5.776062607765198e-06, -4.780478775501251e-06, -3.7848949432373047e-06, -2.789311110973358e-06, -1.7937272787094116e-06, -7.981434464454651e-07, 1.9744038581848145e-07, 1.193024218082428e-06, 2.1886080503463745e-06, 3.184191882610321e-06, 4.179775714874268e-06, 5.175359547138214e-06, 6.170943379402161e-06, 7.166527211666107e-06, 8.162111043930054e-06, 9.157694876194e-06, 1.0153278708457947e-05, 1.1148862540721893e-05, 1.214444637298584e-05, 1.3140030205249786e-05, 1.4135614037513733e-05, 1.513119786977768e-05, 1.6126781702041626e-05, 1.7122365534305573e-05, 1.811794936656952e-05, 1.9113533198833466e-05, 2.0109117031097412e-05, 2.110470086336136e-05, 2.2100284695625305e-05, 2.3095868527889252e-05, 2.4091452360153198e-05, 2.5087036192417145e-05, 2.608262002468109e-05, 2.7078203856945038e-05, 2.8073787689208984e-05]}, "gradients/decoder.model.decoder.layers.10.self_attn.q_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 4.0, 0.0, 0.0, 4.0, 0.0, 4.0, 7.0, 5.0, 1.0, 4.0, 7.0, 8.0, 10.0, 9.0, 9.0, 13.0, 16.0, 8.0, 22.0, 22.0, 24.0, 28.0, 31.0, 45.0, 114.0, 1147.0, 729799.0, 315871.0, 1011.0, 122.0, 54.0, 26.0, 22.0, 19.0, 16.0, 11.0, 14.0, 7.0, 9.0, 4.0, 8.0, 6.0, 3.0, 4.0, 4.0, 2.0, 4.0, 5.0, 3.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.07269287109375, -0.07034683227539062, -0.06800079345703125, -0.06565475463867188, -0.0633087158203125, -0.060962677001953125, -0.05861663818359375, -0.056270599365234375, -0.053924560546875, -0.051578521728515625, -0.04923248291015625, -0.046886444091796875, -0.0445404052734375, -0.042194366455078125, -0.03984832763671875, -0.037502288818359375, -0.03515625, -0.032810211181640625, -0.03046417236328125, -0.028118133544921875, -0.0257720947265625, -0.023426055908203125, -0.02108001708984375, -0.018733978271484375, -0.016387939453125, -0.014041900634765625, -0.01169586181640625, -0.009349822998046875, -0.0070037841796875, -0.004657745361328125, -0.00231170654296875, 3.4332275390625e-05, 0.00238037109375, 0.004726409912109375, 0.00707244873046875, 0.009418487548828125, 0.0117645263671875, 0.014110565185546875, 0.01645660400390625, 0.018802642822265625, 0.021148681640625, 0.023494720458984375, 0.02584075927734375, 0.028186798095703125, 0.0305328369140625, 0.032878875732421875, 0.03522491455078125, 0.037570953369140625, 0.0399169921875, 0.042263031005859375, 0.04460906982421875, 0.046955108642578125, 0.0493011474609375, 0.051647186279296875, 0.05399322509765625, 0.056339263916015625, 0.058685302734375, 0.061031341552734375, 0.06337738037109375, 0.06572341918945312, 0.0680694580078125, 0.07041549682617188, 0.07276153564453125, 0.07510757446289062, 0.07745361328125]}, "gradients/decoder.model.decoder.layers.10.self_attn.q_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 3.0, 4.0, 5.0, 6.0, 3.0, 4.0, 9.0, 8.0, 8.0, 10.0, 12.0, 12.0, 16.0, 10.0, 26.0, 18.0, 30.0, 26.0, 28.0, 38.0, 34.0, 83.0, 244.0, 89.0, 53.0, 43.0, 32.0, 21.0, 20.0, 19.0, 16.0, 11.0, 10.0, 8.0, 8.0, 6.0, 7.0, 7.0, 1.0, 5.0, 3.0, 3.0, 5.0, 5.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.01052093505859375, -0.010188937187194824, -0.009856939315795898, -0.009524941444396973, -0.009192943572998047, -0.008860945701599121, -0.008528947830200195, -0.00819694995880127, -0.007864952087402344, -0.007532954216003418, -0.007200956344604492, -0.006868958473205566, -0.006536960601806641, -0.006204962730407715, -0.005872964859008789, -0.005540966987609863, -0.0052089691162109375, -0.004876971244812012, -0.004544973373413086, -0.00421297550201416, -0.0038809776306152344, -0.0035489797592163086, -0.003216981887817383, -0.002884984016418457, -0.0025529861450195312, -0.0022209882736206055, -0.0018889904022216797, -0.001556992530822754, -0.0012249946594238281, -0.0008929967880249023, -0.0005609989166259766, -0.00022900104522705078, 0.000102996826171875, 0.0004349946975708008, 0.0007669925689697266, 0.0010989904403686523, 0.0014309883117675781, 0.001762986183166504, 0.0020949840545654297, 0.0024269819259643555, 0.0027589797973632812, 0.003090977668762207, 0.003422975540161133, 0.0037549734115600586, 0.004086971282958984, 0.00441896915435791, 0.004750967025756836, 0.005082964897155762, 0.0054149627685546875, 0.005746960639953613, 0.006078958511352539, 0.006410956382751465, 0.006742954254150391, 0.007074952125549316, 0.007406949996948242, 0.007738947868347168, 0.008070945739746094, 0.00840294361114502, 0.008734941482543945, 0.009066939353942871, 0.009398937225341797, 0.009730935096740723, 0.010062932968139648, 0.010394930839538574, 0.0107269287109375]}, "gradients/decoder.model.decoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [10.0, 72.0, 352.0, 456.0, 93.0, 14.0, 16.0, 6.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.4490743577480316, -0.3118334710597992, -0.17459258437156677, -0.03735169768333435, 0.09988918900489807, 0.2371300756931305, 0.3743709623813629, 0.511611819267273, 0.6488527059555054, 0.7860935926437378, 0.9233344793319702, 1.0605753660202026, 1.197816252708435, 1.3350571393966675, 1.4722980260849, 1.6095389127731323, 1.7467797994613647, 1.8840206861495972, 2.021261692047119, 2.1585025787353516, 2.295743465423584, 2.4329843521118164, 2.570225238800049, 2.7074661254882812, 2.8447070121765137, 2.981947898864746, 3.1191887855529785, 3.256429672241211, 3.3936705589294434, 3.530911445617676, 3.668152332305908, 3.8053932189941406, 3.942633628845215, 4.079874515533447, 4.21711540222168, 4.354356288909912, 4.4915971755981445, 4.628838062286377, 4.766078948974609, 4.903319835662842, 5.040560722351074, 5.177801609039307, 5.315042495727539, 5.4522833824157715, 5.589524269104004, 5.726765155792236, 5.864006042480469, 6.001246929168701, 6.138487815856934, 6.275728702545166, 6.412969589233398, 6.550210475921631, 6.687451362609863, 6.824692249298096, 6.961933135986328, 7.0991740226745605, 7.236414909362793, 7.373655796051025, 7.510896682739258, 7.64813756942749, 7.785378456115723, 7.922619342803955, 8.059860229492188, 8.197101593017578, 8.334342002868652]}, "gradients/decoder.model.decoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 9.0, 6.0, 2.0, 4.0, 12.0, 9.0, 17.0, 17.0, 18.0, 15.0, 15.0, 16.0, 16.0, 26.0, 32.0, 34.0, 33.0, 32.0, 35.0, 34.0, 28.0, 34.0, 24.0, 42.0, 44.0, 45.0, 45.0, 36.0, 29.0, 35.0, 35.0, 35.0, 21.0, 30.0, 27.0, 16.0, 16.0, 11.0, 13.0, 10.0, 12.0, 7.0, 7.0, 9.0, 8.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.8920454382896423, -0.8605098128318787, -0.828974187374115, -0.7974385023117065, -0.7659028768539429, -0.7343672513961792, -0.7028316259384155, -0.6712960004806519, -0.6397603750228882, -0.6082247495651245, -0.5766891241073608, -0.5451534986495972, -0.5136178135871887, -0.48208218812942505, -0.4505465626716614, -0.4190109372138977, -0.38747525215148926, -0.3559396266937256, -0.3244039714336395, -0.29286834597587585, -0.2613326907157898, -0.22979706525802612, -0.19826143980026245, -0.16672579944133759, -0.13519015908241272, -0.10365451872348785, -0.07211888581514359, -0.040583252906799316, -0.00904761254787445, 0.022488027811050415, 0.05402365326881409, 0.08555929362773895, 0.11709487438201904, 0.1486305147409439, 0.18016615509986877, 0.21170178055763245, 0.2432374209165573, 0.2747730612754822, 0.30630868673324585, 0.3378443121910095, 0.3693799674510956, 0.40091559290885925, 0.4324512481689453, 0.463986873626709, 0.49552249908447266, 0.5270581245422363, 0.55859375, 0.5901294350624084, 0.6216650605201721, 0.6532006859779358, 0.6847363114356995, 0.7162719964981079, 0.7478076219558716, 0.7793432474136353, 0.8108788728713989, 0.8424144983291626, 0.8739501237869263, 0.9054857492446899, 0.9370213747024536, 0.9685570001602173, 1.000092625617981, 1.0316283702850342, 1.0631639957427979, 1.0946996212005615, 1.1262352466583252]}, "gradients/decoder.model.decoder.layers.9.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 4.0, 11.0, 7.0, 21.0, 19.0, 40.0, 65.0, 93.0, 148.0, 214.0, 348.0, 559.0, 905.0, 1674.0, 3199.0, 10595.0, 4146103.0, 20868.0, 4429.0, 2022.0, 1121.0, 681.0, 434.0, 251.0, 200.0, 106.0, 65.0, 46.0, 28.0, 16.0, 11.0, 4.0, 3.0, 4.0], "bins": [-3.9375, -3.853118896484375, -3.76873779296875, -3.684356689453125, -3.5999755859375, -3.515594482421875, -3.43121337890625, -3.346832275390625, -3.262451171875, -3.178070068359375, -3.09368896484375, -3.009307861328125, -2.9249267578125, -2.840545654296875, -2.75616455078125, -2.671783447265625, -2.58740234375, -2.503021240234375, -2.41864013671875, -2.334259033203125, -2.2498779296875, -2.165496826171875, -2.08111572265625, -1.996734619140625, -1.912353515625, -1.827972412109375, -1.74359130859375, -1.659210205078125, -1.5748291015625, -1.490447998046875, -1.40606689453125, -1.321685791015625, -1.2373046875, -1.152923583984375, -1.06854248046875, -0.984161376953125, -0.8997802734375, -0.815399169921875, -0.73101806640625, -0.646636962890625, -0.562255859375, -0.477874755859375, -0.39349365234375, -0.309112548828125, -0.2247314453125, -0.140350341796875, -0.05596923828125, 0.028411865234375, 0.11279296875, 0.197174072265625, 0.28155517578125, 0.365936279296875, 0.4503173828125, 0.534698486328125, 0.61907958984375, 0.703460693359375, 0.787841796875, 0.872222900390625, 0.95660400390625, 1.040985107421875, 1.1253662109375, 1.209747314453125, 1.29412841796875, 1.378509521484375, 1.462890625]}, "gradients/decoder.model.decoder.layers.9.fc2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 7.0, 3.0, 4.0, 8.0, 11.0, 9.0, 17.0, 24.0, 22.0, 29.0, 30.0, 33.0, 34.0, 48.0, 47.0, 65.0, 59.0, 43.0, 85.0, 58.0, 46.0, 43.0, 40.0, 33.0, 33.0, 37.0, 31.0, 25.0, 15.0, 16.0, 14.0, 13.0, 10.0, 3.0, 6.0, 3.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.07501220703125, -0.07291889190673828, -0.07082557678222656, -0.06873226165771484, -0.06663894653320312, -0.0645456314086914, -0.06245231628417969, -0.06035900115966797, -0.05826568603515625, -0.05617237091064453, -0.05407905578613281, -0.051985740661621094, -0.049892425537109375, -0.047799110412597656, -0.04570579528808594, -0.04361248016357422, -0.0415191650390625, -0.03942584991455078, -0.03733253479003906, -0.035239219665527344, -0.033145904541015625, -0.031052589416503906, -0.028959274291992188, -0.02686595916748047, -0.02477264404296875, -0.02267932891845703, -0.020586013793945312, -0.018492698669433594, -0.016399383544921875, -0.014306068420410156, -0.012212753295898438, -0.010119438171386719, -0.008026123046875, -0.005932807922363281, -0.0038394927978515625, -0.0017461776733398438, 0.000347137451171875, 0.0024404525756835938, 0.0045337677001953125, 0.006627082824707031, 0.00872039794921875, 0.010813713073730469, 0.012907028198242188, 0.015000343322753906, 0.017093658447265625, 0.019186973571777344, 0.021280288696289062, 0.02337360382080078, 0.0254669189453125, 0.02756023406982422, 0.029653549194335938, 0.031746864318847656, 0.033840179443359375, 0.035933494567871094, 0.03802680969238281, 0.04012012481689453, 0.04221343994140625, 0.04430675506591797, 0.04640007019042969, 0.048493385314941406, 0.050586700439453125, 0.052680015563964844, 0.05477333068847656, 0.05686664581298828, 0.0589599609375]}, "gradients/decoder.model.decoder.layers.9.fc1.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 0.0, 1.0, 3.0, 1.0, 16.0, 17.0, 130.0, 4193626.0, 454.0, 14.0, 8.0, 4.0, 4.0, 2.0, 3.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-38.75, -37.59716796875, -36.4443359375, -35.29150390625, -34.138671875, -32.98583984375, -31.8330078125, -30.68017578125, -29.52734375, -28.37451171875, -27.2216796875, -26.06884765625, -24.916015625, -23.76318359375, -22.6103515625, -21.45751953125, -20.3046875, -19.15185546875, -17.9990234375, -16.84619140625, -15.693359375, -14.54052734375, -13.3876953125, -12.23486328125, -11.08203125, -9.92919921875, -8.7763671875, -7.62353515625, -6.470703125, -5.31787109375, -4.1650390625, -3.01220703125, -1.859375, -0.70654296875, 0.4462890625, 1.59912109375, 2.751953125, 3.90478515625, 5.0576171875, 6.21044921875, 7.36328125, 8.51611328125, 9.6689453125, 10.82177734375, 11.974609375, 13.12744140625, 14.2802734375, 15.43310546875, 16.5859375, 17.73876953125, 18.8916015625, 20.04443359375, 21.197265625, 22.35009765625, 23.5029296875, 24.65576171875, 25.80859375, 26.96142578125, 28.1142578125, 29.26708984375, 30.419921875, 31.57275390625, 32.7255859375, 33.87841796875, 35.03125]}, "gradients/decoder.model.decoder.layers.9.fc1.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 4.0, 0.0, 10.0, 13.0, 18.0, 46.0, 3934.0, 19.0, 12.0, 8.0, 4.0, 2.0, 2.0, 3.0, 3.0, 5.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.8076171875, -0.7840347290039062, -0.7604522705078125, -0.7368698120117188, -0.713287353515625, -0.6897048950195312, -0.6661224365234375, -0.6425399780273438, -0.61895751953125, -0.5953750610351562, -0.5717926025390625, -0.5482101440429688, -0.524627685546875, -0.5010452270507812, -0.4774627685546875, -0.45388031005859375, -0.4302978515625, -0.40671539306640625, -0.3831329345703125, -0.35955047607421875, -0.335968017578125, -0.31238555908203125, -0.2888031005859375, -0.26522064208984375, -0.24163818359375, -0.21805572509765625, -0.1944732666015625, -0.17089080810546875, -0.147308349609375, -0.12372589111328125, -0.1001434326171875, -0.07656097412109375, -0.052978515625, -0.02939605712890625, -0.0058135986328125, 0.01776885986328125, 0.041351318359375, 0.06493377685546875, 0.0885162353515625, 0.11209869384765625, 0.13568115234375, 0.15926361083984375, 0.1828460693359375, 0.20642852783203125, 0.230010986328125, 0.25359344482421875, 0.2771759033203125, 0.30075836181640625, 0.3243408203125, 0.34792327880859375, 0.3715057373046875, 0.39508819580078125, 0.418670654296875, 0.44225311279296875, 0.4658355712890625, 0.48941802978515625, 0.51300048828125, 0.5365829467773438, 0.5601654052734375, 0.5837478637695312, 0.607330322265625, 0.6309127807617188, 0.6544952392578125, 0.6780776977539062, 0.70166015625]}, "gradients/decoder.model.decoder.layers.9.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 0.0, 4.0, 5.0, 3.0, 7.0, 9.0, 18.0, 35.0, 63.0, 134.0, 339.0, 198.0, 102.0, 36.0, 26.0, 8.0, 7.0, 6.0, 6.0, 1.0, 3.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.2669153213500977, -2.209665298461914, -2.1524152755737305, -2.095165252685547, -2.0379152297973633, -1.9806652069091797, -1.9234153032302856, -1.866165280342102, -1.8089152574539185, -1.7516652345657349, -1.6944152116775513, -1.6371651887893677, -1.5799152851104736, -1.52266526222229, -1.4654152393341064, -1.4081652164459229, -1.3509151935577393, -1.2936651706695557, -1.236415147781372, -1.1791651248931885, -1.1219151020050049, -1.0646650791168213, -1.0074151754379272, -0.9501651525497437, -0.8929151296615601, -0.8356651067733765, -0.7784150838851929, -0.721165120601654, -0.6639150977134705, -0.6066650748252869, -0.549415111541748, -0.49216508865356445, -0.43491506576538086, -0.37766504287719727, -0.32041504979133606, -0.26316505670547485, -0.20591503381729126, -0.14866501092910767, -0.09141501784324646, -0.034165024757385254, 0.02308499813079834, 0.08033500611782074, 0.13758501410484314, 0.19483502209186554, 0.25208503007888794, 0.30933505296707153, 0.36658504605293274, 0.42383503913879395, 0.48108506202697754, 0.5383350849151611, 0.5955851078033447, 0.6528350710868835, 0.7100850939750671, 0.7673351168632507, 0.8245850801467896, 0.8818351030349731, 0.9390851259231567, 0.9963351488113403, 1.053585171699524, 1.1108351945877075, 1.1680850982666016, 1.2253351211547852, 1.2825851440429688, 1.3398351669311523, 1.397085189819336]}, "gradients/decoder.model.decoder.layers.9.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 5.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 3.0, 6.0, 10.0, 4.0, 15.0, 16.0, 19.0, 13.0, 28.0, 30.0, 26.0, 34.0, 36.0, 53.0, 53.0, 47.0, 59.0, 45.0, 40.0, 46.0, 46.0, 44.0, 50.0, 35.0, 35.0, 36.0, 30.0, 19.0, 12.0, 13.0, 14.0, 14.0, 15.0, 17.0, 10.0, 4.0, 8.0, 5.0, 4.0, 3.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0], "bins": [-0.3794079124927521, -0.3685816824436188, -0.3577554225921631, -0.3469291925430298, -0.3361029624938965, -0.3252767026424408, -0.3144504725933075, -0.3036242127418518, -0.2927979826927185, -0.2819717526435852, -0.2711454927921295, -0.2603192627429962, -0.24949301779270172, -0.23866677284240723, -0.22784054279327393, -0.21701429784297943, -0.20618805289268494, -0.19536180794239044, -0.18453556299209595, -0.17370933294296265, -0.16288308799266815, -0.15205684304237366, -0.14123061299324036, -0.13040436804294586, -0.11957812309265137, -0.10875187814235687, -0.09792564064264297, -0.08709940314292908, -0.07627315819263458, -0.06544691324234009, -0.05462067574262619, -0.04379443824291229, -0.0329681932926178, -0.0221419520676136, -0.011315710842609406, -0.0004894696176052094, 0.010336771607398987, 0.021163012832403183, 0.03198925405740738, 0.04281549155712128, 0.05364173650741577, 0.06446798145771027, 0.07529421895742416, 0.08612045645713806, 0.09694670140743256, 0.10777294635772705, 0.11859918385744095, 0.12942542135715485, 0.14025166630744934, 0.15107791125774384, 0.16190415620803833, 0.17273038625717163, 0.18355663120746613, 0.19438287615776062, 0.20520910620689392, 0.21603535115718842, 0.2268615961074829, 0.2376878410577774, 0.2485140860080719, 0.2593403160572052, 0.2701665759086609, 0.2809928059577942, 0.2918190360069275, 0.3026452660560608, 0.3134715259075165]}, "gradients/decoder.model.decoder.layers.9.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 2.0, 1.0, 1.0, 4.0, 7.0, 6.0, 10.0, 25.0, 32.0, 68.0, 121.0, 234.0, 542.0, 1342.0, 4526.0, 26500.0, 917144.0, 86326.0, 8111.0, 2162.0, 768.0, 301.0, 155.0, 77.0, 42.0, 21.0, 15.0, 5.0, 8.0, 4.0, 5.0, 2.0, 0.0, 2.0], "bins": [-0.328369140625, -0.3213376998901367, -0.31430625915527344, -0.30727481842041016, -0.3002433776855469, -0.2932119369506836, -0.2861804962158203, -0.27914905548095703, -0.27211761474609375, -0.26508617401123047, -0.2580547332763672, -0.2510232925415039, -0.24399185180664062, -0.23696041107177734, -0.22992897033691406, -0.22289752960205078, -0.2158660888671875, -0.20883464813232422, -0.20180320739746094, -0.19477176666259766, -0.18774032592773438, -0.1807088851928711, -0.1736774444580078, -0.16664600372314453, -0.15961456298828125, -0.15258312225341797, -0.1455516815185547, -0.1385202407836914, -0.13148880004882812, -0.12445735931396484, -0.11742591857910156, -0.11039447784423828, -0.103363037109375, -0.09633159637451172, -0.08930015563964844, -0.08226871490478516, -0.07523727416992188, -0.0682058334350586, -0.06117439270019531, -0.05414295196533203, -0.04711151123046875, -0.04008007049560547, -0.03304862976074219, -0.026017189025878906, -0.018985748291015625, -0.011954307556152344, -0.0049228668212890625, 0.0021085739135742188, 0.0091400146484375, 0.01617145538330078, 0.023202896118164062, 0.030234336853027344, 0.037265777587890625, 0.044297218322753906, 0.05132865905761719, 0.05836009979248047, 0.06539154052734375, 0.07242298126220703, 0.07945442199707031, 0.0864858627319336, 0.09351730346679688, 0.10054874420166016, 0.10758018493652344, 0.11461162567138672, 0.12164306640625]}, "gradients/decoder.model.decoder.layers.9.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 4.0, 4.0, 1.0, 3.0, 11.0, 5.0, 7.0, 2.0, 9.0, 18.0, 27.0, 34.0, 41.0, 58.0, 84.0, 79.0, 91.0, 95.0, 85.0, 76.0, 60.0, 49.0, 31.0, 25.0, 23.0, 23.0, 17.0, 6.0, 11.0, 7.0, 6.0, 3.0, 5.0, 4.0, 3.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.29345703125, -0.28310394287109375, -0.2727508544921875, -0.26239776611328125, -0.252044677734375, -0.24169158935546875, -0.2313385009765625, -0.22098541259765625, -0.21063232421875, -0.20027923583984375, -0.1899261474609375, -0.17957305908203125, -0.169219970703125, -0.15886688232421875, -0.1485137939453125, -0.13816070556640625, -0.1278076171875, -0.11745452880859375, -0.1071014404296875, -0.09674835205078125, -0.086395263671875, -0.07604217529296875, -0.0656890869140625, -0.05533599853515625, -0.04498291015625, -0.03462982177734375, -0.0242767333984375, -0.01392364501953125, -0.003570556640625, 0.00678253173828125, 0.0171356201171875, 0.02748870849609375, 0.037841796875, 0.04819488525390625, 0.0585479736328125, 0.06890106201171875, 0.079254150390625, 0.08960723876953125, 0.0999603271484375, 0.11031341552734375, 0.12066650390625, 0.13101959228515625, 0.1413726806640625, 0.15172576904296875, 0.162078857421875, 0.17243194580078125, 0.1827850341796875, 0.19313812255859375, 0.2034912109375, 0.21384429931640625, 0.2241973876953125, 0.23455047607421875, 0.244903564453125, 0.25525665283203125, 0.2656097412109375, 0.27596282958984375, 0.28631591796875, 0.29666900634765625, 0.3070220947265625, 0.31737518310546875, 0.327728271484375, 0.33808135986328125, 0.3484344482421875, 0.35878753662109375, 0.369140625]}, "gradients/decoder.model.decoder.layers.9.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 2.0, 2.0, 3.0, 8.0, 10.0, 18.0, 23.0, 36.0, 67.0, 119.0, 179.0, 262.0, 411.0, 678.0, 1199.0, 2096.0, 4078.0, 8070.0, 16685.0, 36951.0, 87879.0, 260032.0, 419704.0, 118196.0, 48485.0, 21406.0, 10146.0, 5188.0, 2697.0, 1489.0, 875.0, 561.0, 345.0, 214.0, 135.0, 101.0, 72.0, 42.0, 35.0, 21.0, 12.0, 9.0, 7.0, 8.0, 2.0, 1.0, 1.0, 3.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00696563720703125, -0.006734609603881836, -0.006503582000732422, -0.006272554397583008, -0.006041526794433594, -0.00581049919128418, -0.005579471588134766, -0.0053484439849853516, -0.0051174163818359375, -0.0048863887786865234, -0.004655361175537109, -0.004424333572387695, -0.004193305969238281, -0.003962278366088867, -0.003731250762939453, -0.003500223159790039, -0.003269195556640625, -0.003038167953491211, -0.002807140350341797, -0.002576112747192383, -0.0023450851440429688, -0.0021140575408935547, -0.0018830299377441406, -0.0016520023345947266, -0.0014209747314453125, -0.0011899471282958984, -0.0009589195251464844, -0.0007278919219970703, -0.0004968643188476562, -0.0002658367156982422, -3.4809112548828125e-05, 0.00019621849060058594, 0.00042724609375, 0.0006582736968994141, 0.0008893013000488281, 0.0011203289031982422, 0.0013513565063476562, 0.0015823841094970703, 0.0018134117126464844, 0.0020444393157958984, 0.0022754669189453125, 0.0025064945220947266, 0.0027375221252441406, 0.0029685497283935547, 0.0031995773315429688, 0.003430604934692383, 0.003661632537841797, 0.003892660140991211, 0.004123687744140625, 0.004354715347290039, 0.004585742950439453, 0.004816770553588867, 0.005047798156738281, 0.005278825759887695, 0.005509853363037109, 0.0057408809661865234, 0.0059719085693359375, 0.0062029361724853516, 0.006433963775634766, 0.00666499137878418, 0.006896018981933594, 0.007127046585083008, 0.007358074188232422, 0.007589101791381836, 0.00782012939453125]}, "gradients/decoder.model.decoder.layers.9.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 5.0, 5.0, 11.0, 9.0, 11.0, 13.0, 12.0, 25.0, 25.0, 19.0, 34.0, 47.0, 44.0, 48.0, 50.0, 40.0, 56.0, 49.0, 32.0, 39.0, 41.0, 62.0, 33.0, 37.0, 40.0, 36.0, 38.0, 24.0, 23.0, 22.0, 20.0, 17.0, 13.0, 4.0, 13.0, 6.0, 4.0, 3.0, 2.0, 4.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.470458984375, -0.4548225402832031, -0.43918609619140625, -0.4235496520996094, -0.4079132080078125, -0.3922767639160156, -0.37664031982421875, -0.3610038757324219, -0.345367431640625, -0.3297309875488281, -0.31409454345703125, -0.2984580993652344, -0.2828216552734375, -0.2671852111816406, -0.25154876708984375, -0.23591232299804688, -0.22027587890625, -0.20463943481445312, -0.18900299072265625, -0.17336654663085938, -0.1577301025390625, -0.14209365844726562, -0.12645721435546875, -0.11082077026367188, -0.095184326171875, -0.07954788208007812, -0.06391143798828125, -0.048274993896484375, -0.0326385498046875, -0.017002105712890625, -0.00136566162109375, 0.014270782470703125, 0.0299072265625, 0.045543670654296875, 0.06118011474609375, 0.07681655883789062, 0.0924530029296875, 0.10808944702148438, 0.12372589111328125, 0.13936233520507812, 0.154998779296875, 0.17063522338867188, 0.18627166748046875, 0.20190811157226562, 0.2175445556640625, 0.23318099975585938, 0.24881744384765625, 0.2644538879394531, 0.28009033203125, 0.2957267761230469, 0.31136322021484375, 0.3269996643066406, 0.3426361083984375, 0.3582725524902344, 0.37390899658203125, 0.3895454406738281, 0.405181884765625, 0.4208183288574219, 0.43645477294921875, 0.4520912170410156, 0.4677276611328125, 0.4833641052246094, 0.49900054931640625, 0.5146369934082031, 0.5302734375]}, "gradients/decoder.model.decoder.layers.9.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 3.0, 3.0, 6.0, 9.0, 10.0, 20.0, 28.0, 29.0, 47.0, 84.0, 94.0, 139.0, 197.0, 301.0, 441.0, 636.0, 958.0, 1393.0, 2174.0, 3452.0, 5697.0, 9734.0, 17889.0, 35997.0, 83151.0, 278468.0, 413928.0, 102122.0, 42201.0, 20822.0, 11183.0, 6429.0, 3753.0, 2399.0, 1548.0, 1020.0, 674.0, 488.0, 302.0, 217.0, 164.0, 119.0, 75.0, 44.0, 42.0, 20.0, 17.0, 13.0, 11.0, 5.0, 5.0, 1.0, 4.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0002942085266113281, -0.0002850443124771118, -0.0002758800983428955, -0.0002667158842086792, -0.0002575516700744629, -0.0002483874559402466, -0.00023922324180603027, -0.00023005902767181396, -0.00022089481353759766, -0.00021173059940338135, -0.00020256638526916504, -0.00019340217113494873, -0.00018423795700073242, -0.0001750737428665161, -0.0001659095287322998, -0.0001567453145980835, -0.0001475811004638672, -0.00013841688632965088, -0.00012925267219543457, -0.00012008845806121826, -0.00011092424392700195, -0.00010176002979278564, -9.259581565856934e-05, -8.343160152435303e-05, -7.426738739013672e-05, -6.510317325592041e-05, -5.59389591217041e-05, -4.677474498748779e-05, -3.7610530853271484e-05, -2.8446316719055176e-05, -1.9282102584838867e-05, -1.0117888450622559e-05, -9.5367431640625e-07, 8.210539817810059e-06, 1.7374753952026367e-05, 2.6538968086242676e-05, 3.5703182220458984e-05, 4.486739635467529e-05, 5.40316104888916e-05, 6.319582462310791e-05, 7.236003875732422e-05, 8.152425289154053e-05, 9.068846702575684e-05, 9.985268115997314e-05, 0.00010901689529418945, 0.00011818110942840576, 0.00012734532356262207, 0.00013650953769683838, 0.0001456737518310547, 0.000154837965965271, 0.0001640021800994873, 0.0001731663942337036, 0.00018233060836791992, 0.00019149482250213623, 0.00020065903663635254, 0.00020982325077056885, 0.00021898746490478516, 0.00022815167903900146, 0.00023731589317321777, 0.0002464801073074341, 0.0002556443214416504, 0.0002648085355758667, 0.000273972749710083, 0.0002831369638442993, 0.0002923011779785156]}, "gradients/decoder.model.decoder.layers.9.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 7.0, 3.0, 1.0, 2.0, 4.0, 7.0, 7.0, 7.0, 6.0, 10.0, 18.0, 17.0, 21.0, 20.0, 61.0, 85.0, 142.0, 221.0, 137.0, 79.0, 43.0, 34.0, 16.0, 13.0, 13.0, 6.0, 5.0, 6.0, 4.0, 0.0, 0.0, 3.0, 4.0, 4.0, 0.0, 1.0, 2.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-9.232759475708008e-05, -8.95550474524498e-05, -8.678250014781952e-05, -8.400995284318924e-05, -8.123740553855896e-05, -7.846485823392868e-05, -7.56923109292984e-05, -7.291976362466812e-05, -7.014721632003784e-05, -6.737466901540756e-05, -6.460212171077728e-05, -6.1829574406147e-05, -5.9057027101516724e-05, -5.6284479796886444e-05, -5.3511932492256165e-05, -5.0739385187625885e-05, -4.7966837882995605e-05, -4.5194290578365326e-05, -4.2421743273735046e-05, -3.964919596910477e-05, -3.687664866447449e-05, -3.410410135984421e-05, -3.133155405521393e-05, -2.855900675058365e-05, -2.578645944595337e-05, -2.301391214132309e-05, -2.024136483669281e-05, -1.746881753206253e-05, -1.4696270227432251e-05, -1.1923722922801971e-05, -9.151175618171692e-06, -6.378628313541412e-06, -3.606081008911133e-06, -8.335337042808533e-07, 1.9390136003494263e-06, 4.711560904979706e-06, 7.484108209609985e-06, 1.0256655514240265e-05, 1.3029202818870544e-05, 1.5801750123500824e-05, 1.8574297428131104e-05, 2.1346844732761383e-05, 2.4119392037391663e-05, 2.6891939342021942e-05, 2.966448664665222e-05, 3.24370339512825e-05, 3.520958125591278e-05, 3.798212856054306e-05, 4.075467586517334e-05, 4.352722316980362e-05, 4.62997704744339e-05, 4.907231777906418e-05, 5.184486508369446e-05, 5.461741238832474e-05, 5.738995969295502e-05, 6.01625069975853e-05, 6.293505430221558e-05, 6.570760160684586e-05, 6.848014891147614e-05, 7.125269621610641e-05, 7.40252435207367e-05, 7.679779082536697e-05, 7.957033812999725e-05, 8.234288543462753e-05, 8.511543273925781e-05]}, "gradients/decoder.model.decoder.layers.9.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 0.0, 5.0, 3.0, 2.0, 3.0, 3.0, 2.0, 2.0, 9.0, 8.0, 13.0, 20.0, 44.0, 46.0, 109.0, 163.0, 276.0, 555.0, 1015.0, 1933.0, 3412.0, 7184.0, 23003.0, 217143.0, 734963.0, 39802.0, 9471.0, 4203.0, 2309.0, 1277.0, 687.0, 390.0, 210.0, 109.0, 61.0, 34.0, 27.0, 14.0, 8.0, 12.0, 4.0, 10.0, 5.0, 2.0, 6.0, 5.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0013523101806640625, -0.0013102591037750244, -0.0012682080268859863, -0.0012261569499969482, -0.0011841058731079102, -0.001142054796218872, -0.001100003719329834, -0.001057952642440796, -0.0010159015655517578, -0.0009738504886627197, -0.0009317994117736816, -0.0008897483348846436, -0.0008476972579956055, -0.0008056461811065674, -0.0007635951042175293, -0.0007215440273284912, -0.0006794929504394531, -0.000637441873550415, -0.000595390796661377, -0.0005533397197723389, -0.0005112886428833008, -0.0004692375659942627, -0.0004271864891052246, -0.0003851354122161865, -0.00034308433532714844, -0.00030103325843811035, -0.00025898218154907227, -0.00021693110466003418, -0.0001748800277709961, -0.000132828950881958, -9.077787399291992e-05, -4.8726797103881836e-05, -6.67572021484375e-06, 3.5375356674194336e-05, 7.742643356323242e-05, 0.00011947751045227051, 0.0001615285873413086, 0.00020357966423034668, 0.00024563074111938477, 0.00028768181800842285, 0.00032973289489746094, 0.000371783971786499, 0.0004138350486755371, 0.0004558861255645752, 0.0004979372024536133, 0.0005399882793426514, 0.0005820393562316895, 0.0006240904331207275, 0.0006661415100097656, 0.0007081925868988037, 0.0007502436637878418, 0.0007922947406768799, 0.000834345817565918, 0.0008763968944549561, 0.0009184479713439941, 0.0009604990482330322, 0.0010025501251220703, 0.0010446012020111084, 0.0010866522789001465, 0.0011287033557891846, 0.0011707544326782227, 0.0012128055095672607, 0.0012548565864562988, 0.001296907663345337, 0.001338958740234375]}, "gradients/decoder.model.decoder.layers.9.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 2.0, 4.0, 3.0, 4.0, 5.0, 1.0, 2.0, 5.0, 9.0, 17.0, 29.0, 51.0, 89.0, 119.0, 110.0, 153.0, 121.0, 68.0, 69.0, 38.0, 33.0, 10.0, 9.0, 5.0, 11.0, 5.0, 3.0, 4.0, 5.0, 1.0, 2.0, 1.0, 2.0, 4.0, 1.0, 3.0, 3.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00023293495178222656, -0.00022568926215171814, -0.00021844357252120972, -0.0002111978828907013, -0.00020395219326019287, -0.00019670650362968445, -0.00018946081399917603, -0.0001822151243686676, -0.00017496943473815918, -0.00016772374510765076, -0.00016047805547714233, -0.0001532323658466339, -0.0001459866762161255, -0.00013874098658561707, -0.00013149529695510864, -0.00012424960732460022, -0.0001170039176940918, -0.00010975822806358337, -0.00010251253843307495, -9.526684880256653e-05, -8.80211591720581e-05, -8.077546954154968e-05, -7.352977991104126e-05, -6.628409028053284e-05, -5.9038400650024414e-05, -5.179271101951599e-05, -4.454702138900757e-05, -3.7301331758499146e-05, -3.0055642127990723e-05, -2.28099524974823e-05, -1.5564262866973877e-05, -8.318573236465454e-06, -1.0728836059570312e-06, 6.172806024551392e-06, 1.3418495655059814e-05, 2.0664185285568237e-05, 2.790987491607666e-05, 3.515556454658508e-05, 4.2401254177093506e-05, 4.964694380760193e-05, 5.689263343811035e-05, 6.413832306861877e-05, 7.13840126991272e-05, 7.862970232963562e-05, 8.587539196014404e-05, 9.312108159065247e-05, 0.00010036677122116089, 0.00010761246085166931, 0.00011485815048217773, 0.00012210384011268616, 0.00012934952974319458, 0.000136595219373703, 0.00014384090900421143, 0.00015108659863471985, 0.00015833228826522827, 0.0001655779778957367, 0.00017282366752624512, 0.00018006935715675354, 0.00018731504678726196, 0.00019456073641777039, 0.0002018064260482788, 0.00020905211567878723, 0.00021629780530929565, 0.00022354349493980408, 0.0002307891845703125]}, "gradients/decoder.model.decoder.layers.9.self_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 2.0, 1.0, 5.0, 9.0, 4.0, 14.0, 39.0, 53.0, 205.0, 379.0, 170.0, 64.0, 30.0, 16.0, 7.0, 4.0, 2.0, 3.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.439193844795227, -1.4087722301483154, -1.3783507347106934, -1.3479291200637817, -1.3175076246261597, -1.287086009979248, -1.256664514541626, -1.2262428998947144, -1.1958212852478027, -1.1653996706008911, -1.134978175163269, -1.1045565605163574, -1.0741350650787354, -1.0437134504318237, -1.013291835784912, -0.98287034034729, -0.9524487853050232, -0.9220272302627563, -0.8916056752204895, -0.8611841201782227, -0.830762505531311, -0.8003409504890442, -0.7699193954467773, -0.7394978404045105, -0.7090762853622437, -0.6786547303199768, -0.64823317527771, -0.6178115606307983, -0.5873900055885315, -0.5569684505462646, -0.5265468955039978, -0.49612534046173096, -0.4657037854194641, -0.43528223037719727, -0.40486064553260803, -0.3744390904903412, -0.34401750564575195, -0.3135959506034851, -0.28317439556121826, -0.2527528405189514, -0.22233125567436218, -0.19190968573093414, -0.1614881157875061, -0.13106656074523926, -0.10064499080181122, -0.07022342085838318, -0.03980186581611633, -0.009380295872688293, 0.021041274070739746, 0.05146284028887749, 0.08188440650701523, 0.11230596899986267, 0.1427275389432907, 0.17314910888671875, 0.2035706639289856, 0.23399223387241364, 0.2644138038158417, 0.2948353588581085, 0.32525694370269775, 0.3556784987449646, 0.38610005378723145, 0.4165216386318207, 0.4469431936740875, 0.47736477851867676, 0.5077863335609436]}, "gradients/decoder.model.decoder.layers.9.self_attn_layer_norm.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 2.0, 2.0, 5.0, 8.0, 11.0, 10.0, 13.0, 15.0, 22.0, 26.0, 30.0, 39.0, 38.0, 52.0, 59.0, 69.0, 61.0, 57.0, 48.0, 54.0, 53.0, 55.0, 51.0, 42.0, 29.0, 30.0, 18.0, 13.0, 19.0, 13.0, 19.0, 9.0, 10.0, 8.0, 6.0, 2.0, 1.0, 4.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.15987028181552887, -0.15418106317520142, -0.14849182963371277, -0.14280261099338531, -0.13711339235305786, -0.1314241588115692, -0.12573494017124176, -0.12004571408033371, -0.11435648798942566, -0.10866726189851761, -0.10297803580760956, -0.0972888171672821, -0.09159959107637405, -0.085910364985466, -0.08022114634513855, -0.0745319202542305, -0.06884269416332245, -0.0631534680724144, -0.057464245706796646, -0.051775023341178894, -0.046085797250270844, -0.04039657115936279, -0.03470734879374504, -0.02901812642812729, -0.02332890033721924, -0.017639676108956337, -0.011950451880693436, -0.006261227652430534, -0.0005720034241676331, 0.005117220804095268, 0.01080644503235817, 0.01649566739797592, 0.02218487858772278, 0.02787410281598568, 0.03356332704424858, 0.03925254940986633, 0.044941775500774384, 0.050631001591682434, 0.056320223957300186, 0.06200944632291794, 0.06769867241382599, 0.07338789850473404, 0.07907712459564209, 0.08476634323596954, 0.0904555693268776, 0.09614479541778564, 0.1018340140581131, 0.10752324014902115, 0.1132124662399292, 0.11890169233083725, 0.1245909184217453, 0.13028013706207275, 0.1359693706035614, 0.14165858924388885, 0.1473478078842163, 0.15303704142570496, 0.1587262600660324, 0.16441547870635986, 0.1701047122478485, 0.17579393088817596, 0.18148314952850342, 0.18717238306999207, 0.19286160171031952, 0.19855082035064697, 0.20424005389213562]}, "gradients/decoder.model.decoder.layers.9.self_attn.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 8.0, 7.0, 11.0, 15.0, 41.0, 154.0, 416.0, 1748.0, 12882.0, 926011.0, 100238.0, 5605.0, 975.0, 278.0, 77.0, 30.0, 11.0, 7.0, 7.0, 6.0, 4.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0], "bins": [-0.9453125, -0.9196319580078125, -0.893951416015625, -0.8682708740234375, -0.84259033203125, -0.8169097900390625, -0.791229248046875, -0.7655487060546875, -0.7398681640625, -0.7141876220703125, -0.688507080078125, -0.6628265380859375, -0.63714599609375, -0.6114654541015625, -0.585784912109375, -0.5601043701171875, -0.534423828125, -0.5087432861328125, -0.483062744140625, -0.4573822021484375, -0.43170166015625, -0.4060211181640625, -0.380340576171875, -0.3546600341796875, -0.3289794921875, -0.3032989501953125, -0.277618408203125, -0.2519378662109375, -0.22625732421875, -0.2005767822265625, -0.174896240234375, -0.1492156982421875, -0.12353515625, -0.0978546142578125, -0.072174072265625, -0.0464935302734375, -0.02081298828125, 0.0048675537109375, 0.030548095703125, 0.0562286376953125, 0.0819091796875, 0.1075897216796875, 0.133270263671875, 0.1589508056640625, 0.18463134765625, 0.2103118896484375, 0.235992431640625, 0.2616729736328125, 0.287353515625, 0.3130340576171875, 0.338714599609375, 0.3643951416015625, 0.39007568359375, 0.4157562255859375, 0.441436767578125, 0.4671173095703125, 0.4927978515625, 0.5184783935546875, 0.544158935546875, 0.5698394775390625, 0.59552001953125, 0.6212005615234375, 0.646881103515625, 0.6725616455078125, 0.6982421875]}, "gradients/decoder.model.decoder.layers.9.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 4.0, 1.0, 3.0, 2.0, 1.0, 1.0, 3.0, 6.0, 6.0, 8.0, 8.0, 21.0, 23.0, 29.0, 49.0, 64.0, 80.0, 101.0, 96.0, 101.0, 105.0, 77.0, 60.0, 33.0, 38.0, 24.0, 19.0, 16.0, 8.0, 8.0, 4.0, 4.0, 1.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0164947509765625, -0.01604902744293213, -0.015603303909301758, -0.015157580375671387, -0.014711856842041016, -0.014266133308410645, -0.013820409774780273, -0.013374686241149902, -0.012928962707519531, -0.01248323917388916, -0.012037515640258789, -0.011591792106628418, -0.011146068572998047, -0.010700345039367676, -0.010254621505737305, -0.009808897972106934, -0.009363174438476562, -0.008917450904846191, -0.00847172737121582, -0.00802600383758545, -0.007580280303955078, -0.007134556770324707, -0.006688833236694336, -0.006243109703063965, -0.005797386169433594, -0.005351662635803223, -0.0049059391021728516, -0.0044602155685424805, -0.004014492034912109, -0.0035687685012817383, -0.003123044967651367, -0.002677321434020996, -0.002231597900390625, -0.001785874366760254, -0.0013401508331298828, -0.0008944272994995117, -0.0004487037658691406, -2.9802322387695312e-06, 0.00044274330139160156, 0.0008884668350219727, 0.0013341903686523438, 0.0017799139022827148, 0.002225637435913086, 0.002671360969543457, 0.003117084503173828, 0.0035628080368041992, 0.00400853157043457, 0.004454255104064941, 0.0048999786376953125, 0.005345702171325684, 0.005791425704956055, 0.006237149238586426, 0.006682872772216797, 0.007128596305847168, 0.007574319839477539, 0.00802004337310791, 0.008465766906738281, 0.008911490440368652, 0.009357213973999023, 0.009802937507629395, 0.010248661041259766, 0.010694384574890137, 0.011140108108520508, 0.011585831642150879, 0.01203155517578125]}, "gradients/decoder.model.decoder.layers.9.self_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 5.0, 1.0, 4.0, 2.0, 3.0, 8.0, 5.0, 12.0, 16.0, 28.0, 42.0, 43.0, 78.0, 131.0, 218.0, 293.0, 533.0, 771.0, 1429.0, 2508.0, 4946.0, 11695.0, 34406.0, 173722.0, 701484.0, 78296.0, 21288.0, 8057.0, 3638.0, 1945.0, 1127.0, 636.0, 429.0, 291.0, 168.0, 101.0, 74.0, 39.0, 30.0, 18.0, 15.0, 5.0, 8.0, 7.0, 6.0, 4.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.08489990234375, -0.08227062225341797, -0.07964134216308594, -0.0770120620727539, -0.07438278198242188, -0.07175350189208984, -0.06912422180175781, -0.06649494171142578, -0.06386566162109375, -0.06123638153076172, -0.05860710144042969, -0.055977821350097656, -0.053348541259765625, -0.050719261169433594, -0.04808998107910156, -0.04546070098876953, -0.0428314208984375, -0.04020214080810547, -0.03757286071777344, -0.034943580627441406, -0.032314300537109375, -0.029685020446777344, -0.027055740356445312, -0.02442646026611328, -0.02179718017578125, -0.01916790008544922, -0.016538619995117188, -0.013909339904785156, -0.011280059814453125, -0.008650779724121094, -0.0060214996337890625, -0.0033922195434570312, -0.000762939453125, 0.0018663406372070312, 0.0044956207275390625, 0.007124900817871094, 0.009754180908203125, 0.012383460998535156, 0.015012741088867188, 0.01764202117919922, 0.02027130126953125, 0.02290058135986328, 0.025529861450195312, 0.028159141540527344, 0.030788421630859375, 0.033417701721191406, 0.03604698181152344, 0.03867626190185547, 0.0413055419921875, 0.04393482208251953, 0.04656410217285156, 0.049193382263183594, 0.051822662353515625, 0.054451942443847656, 0.05708122253417969, 0.05971050262451172, 0.06233978271484375, 0.06496906280517578, 0.06759834289550781, 0.07022762298583984, 0.07285690307617188, 0.0754861831665039, 0.07811546325683594, 0.08074474334716797, 0.0833740234375]}, "gradients/decoder.model.decoder.layers.9.self_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 3.0, 3.0, 5.0, 6.0, 8.0, 3.0, 8.0, 19.0, 21.0, 26.0, 38.0, 44.0, 51.0, 50.0, 64.0, 70.0, 89.0, 68.0, 68.0, 76.0, 64.0, 47.0, 46.0, 39.0, 19.0, 21.0, 9.0, 10.0, 7.0, 7.0, 5.0, 4.0, 7.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.026641845703125, -0.02580714225769043, -0.02497243881225586, -0.02413773536682129, -0.02330303192138672, -0.02246832847595215, -0.021633625030517578, -0.020798921585083008, -0.019964218139648438, -0.019129514694213867, -0.018294811248779297, -0.017460107803344727, -0.016625404357910156, -0.015790700912475586, -0.014955997467041016, -0.014121294021606445, -0.013286590576171875, -0.012451887130737305, -0.011617183685302734, -0.010782480239868164, -0.009947776794433594, -0.009113073348999023, -0.008278369903564453, -0.007443666458129883, -0.0066089630126953125, -0.005774259567260742, -0.004939556121826172, -0.0041048526763916016, -0.0032701492309570312, -0.002435445785522461, -0.0016007423400878906, -0.0007660388946533203, 6.866455078125e-05, 0.0009033679962158203, 0.0017380714416503906, 0.002572774887084961, 0.0034074783325195312, 0.0042421817779541016, 0.005076885223388672, 0.005911588668823242, 0.0067462921142578125, 0.007580995559692383, 0.008415699005126953, 0.009250402450561523, 0.010085105895996094, 0.010919809341430664, 0.011754512786865234, 0.012589216232299805, 0.013423919677734375, 0.014258623123168945, 0.015093326568603516, 0.015928030014038086, 0.016762733459472656, 0.017597436904907227, 0.018432140350341797, 0.019266843795776367, 0.020101547241210938, 0.020936250686645508, 0.021770954132080078, 0.02260565757751465, 0.02344036102294922, 0.02427506446838379, 0.02510976791381836, 0.02594447135925293, 0.0267791748046875]}, "gradients/decoder.model.decoder.layers.9.self_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 3.0, 3.0, 1.0, 4.0, 6.0, 3.0, 5.0, 10.0, 10.0, 10.0, 17.0, 26.0, 25.0, 32.0, 49.0, 76.0, 108.0, 155.0, 201.0, 346.0, 499.0, 909.0, 2680.0, 1035022.0, 5676.0, 1068.0, 530.0, 351.0, 213.0, 149.0, 108.0, 75.0, 50.0, 37.0, 26.0, 14.0, 16.0, 15.0, 7.0, 6.0, 4.0, 4.0, 2.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0], "bins": [-1.2216796875, -1.186370849609375, -1.15106201171875, -1.115753173828125, -1.0804443359375, -1.045135498046875, -1.00982666015625, -0.974517822265625, -0.939208984375, -0.903900146484375, -0.86859130859375, -0.833282470703125, -0.7979736328125, -0.762664794921875, -0.72735595703125, -0.692047119140625, -0.65673828125, -0.621429443359375, -0.58612060546875, -0.550811767578125, -0.5155029296875, -0.480194091796875, -0.44488525390625, -0.409576416015625, -0.374267578125, -0.338958740234375, -0.30364990234375, -0.268341064453125, -0.2330322265625, -0.197723388671875, -0.16241455078125, -0.127105712890625, -0.091796875, -0.056488037109375, -0.02117919921875, 0.014129638671875, 0.0494384765625, 0.084747314453125, 0.12005615234375, 0.155364990234375, 0.190673828125, 0.225982666015625, 0.26129150390625, 0.296600341796875, 0.3319091796875, 0.367218017578125, 0.40252685546875, 0.437835693359375, 0.47314453125, 0.508453369140625, 0.54376220703125, 0.579071044921875, 0.6143798828125, 0.649688720703125, 0.68499755859375, 0.720306396484375, 0.755615234375, 0.790924072265625, 0.82623291015625, 0.861541748046875, 0.8968505859375, 0.932159423828125, 0.96746826171875, 1.002777099609375, 1.0380859375]}, "gradients/decoder.model.decoder.layers.9.self_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 1.0, 4.0, 13.0, 939.0, 26.0, 2.0, 2.0, 3.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00017333030700683594, -0.00016402453184127808, -0.00015471875667572021, -0.00014541298151016235, -0.0001361072063446045, -0.00012680143117904663, -0.00011749565601348877, -0.00010818988084793091, -9.888410568237305e-05, -8.957833051681519e-05, -8.027255535125732e-05, -7.096678018569946e-05, -6.16610050201416e-05, -5.235522985458374e-05, -4.304945468902588e-05, -3.374367952346802e-05, -2.4437904357910156e-05, -1.5132129192352295e-05, -5.826354026794434e-06, 3.4794211387634277e-06, 1.2785196304321289e-05, 2.209097146987915e-05, 3.139674663543701e-05, 4.070252180099487e-05, 5.0008296966552734e-05, 5.9314072132110596e-05, 6.861984729766846e-05, 7.792562246322632e-05, 8.723139762878418e-05, 9.653717279434204e-05, 0.0001058429479598999, 0.00011514872312545776, 0.00012445449829101562, 0.00013376027345657349, 0.00014306604862213135, 0.0001523718237876892, 0.00016167759895324707, 0.00017098337411880493, 0.0001802891492843628, 0.00018959492444992065, 0.00019890069961547852, 0.00020820647478103638, 0.00021751224994659424, 0.0002268180251121521, 0.00023612380027770996, 0.0002454295754432678, 0.0002547353506088257, 0.00026404112577438354, 0.0002733469009399414, 0.00028265267610549927, 0.00029195845127105713, 0.000301264226436615, 0.00031057000160217285, 0.0003198757767677307, 0.0003291815519332886, 0.00033848732709884644, 0.0003477931022644043, 0.00035709887742996216, 0.00036640465259552, 0.0003757104277610779, 0.00038501620292663574, 0.0003943219780921936, 0.00040362775325775146, 0.0004129335284233093, 0.0004222393035888672]}, "gradients/decoder.model.decoder.layers.9.self_attn.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 6.0, 4.0, 7.0, 6.0, 14.0, 30.0, 32.0, 63.0, 83.0, 98.0, 168.0, 222.0, 336.0, 488.0, 784.0, 1378.0, 2421.0, 4865.0, 34943.0, 988133.0, 7017.0, 3031.0, 1661.0, 988.0, 559.0, 390.0, 267.0, 177.0, 127.0, 98.0, 49.0, 31.0, 33.0, 21.0, 13.0, 5.0, 3.0, 4.0, 5.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-0.10662841796875, -0.10359764099121094, -0.10056686401367188, -0.09753608703613281, -0.09450531005859375, -0.09147453308105469, -0.08844375610351562, -0.08541297912597656, -0.0823822021484375, -0.07935142517089844, -0.07632064819335938, -0.07328987121582031, -0.07025909423828125, -0.06722831726074219, -0.06419754028320312, -0.06116676330566406, -0.058135986328125, -0.05510520935058594, -0.052074432373046875, -0.04904365539550781, -0.04601287841796875, -0.04298210144042969, -0.039951324462890625, -0.03692054748535156, -0.0338897705078125, -0.030858993530273438, -0.027828216552734375, -0.024797439575195312, -0.02176666259765625, -0.018735885620117188, -0.015705108642578125, -0.012674331665039062, -0.0096435546875, -0.0066127777099609375, -0.003582000732421875, -0.0005512237548828125, 0.00247955322265625, 0.0055103302001953125, 0.008541107177734375, 0.011571884155273438, 0.0146026611328125, 0.017633438110351562, 0.020664215087890625, 0.023694992065429688, 0.02672576904296875, 0.029756546020507812, 0.032787322998046875, 0.03581809997558594, 0.038848876953125, 0.04187965393066406, 0.044910430908203125, 0.04794120788574219, 0.05097198486328125, 0.05400276184082031, 0.057033538818359375, 0.06006431579589844, 0.0630950927734375, 0.06612586975097656, 0.06915664672851562, 0.07218742370605469, 0.07521820068359375, 0.07824897766113281, 0.08127975463867188, 0.08431053161621094, 0.08734130859375]}, "gradients/decoder.model.decoder.layers.9.self_attn.q_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 2.0, 2.0, 1.0, 1.0, 2.0, 0.0, 3.0, 2.0, 41.0, 584.0, 310.0, 22.0, 8.0, 2.0, 3.0, 2.0, 0.0, 5.0, 2.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.033660888671875, -0.032535552978515625, -0.03141021728515625, -0.030284881591796875, -0.0291595458984375, -0.028034210205078125, -0.02690887451171875, -0.025783538818359375, -0.024658203125, -0.023532867431640625, -0.02240753173828125, -0.021282196044921875, -0.0201568603515625, -0.019031524658203125, -0.01790618896484375, -0.016780853271484375, -0.015655517578125, -0.014530181884765625, -0.01340484619140625, -0.012279510498046875, -0.0111541748046875, -0.010028839111328125, -0.00890350341796875, -0.007778167724609375, -0.00665283203125, -0.005527496337890625, -0.00440216064453125, -0.003276824951171875, -0.0021514892578125, -0.001026153564453125, 9.918212890625e-05, 0.001224517822265625, 0.002349853515625, 0.003475189208984375, 0.00460052490234375, 0.005725860595703125, 0.0068511962890625, 0.007976531982421875, 0.00910186767578125, 0.010227203369140625, 0.0113525390625, 0.012477874755859375, 0.01360321044921875, 0.014728546142578125, 0.0158538818359375, 0.016979217529296875, 0.01810455322265625, 0.019229888916015625, 0.020355224609375, 0.021480560302734375, 0.02260589599609375, 0.023731231689453125, 0.0248565673828125, 0.025981903076171875, 0.02710723876953125, 0.028232574462890625, 0.02935791015625, 0.030483245849609375, 0.03160858154296875, 0.032733917236328125, 0.0338592529296875, 0.034984588623046875, 0.03610992431640625, 0.037235260009765625, 0.038360595703125]}, "gradients/decoder.model.decoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 0.0, 2.0, 2.0, 2.0, 6.0, 8.0, 9.0, 24.0, 54.0, 699.0, 144.0, 25.0, 8.0, 3.0, 5.0, 6.0, 1.0, 2.0, 3.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.997390866279602, -1.912779450416565, -1.8281679153442383, -1.7435564994812012, -1.658945083618164, -1.574333667755127, -1.4897222518920898, -1.4051107168197632, -1.320499300956726, -1.235887885093689, -1.1512763500213623, -1.0666649341583252, -0.9820535182952881, -0.897442102432251, -0.8128306269645691, -0.7282191514968872, -0.6436077356338501, -0.558996319770813, -0.4743848443031311, -0.3897733986377716, -0.3051619529724121, -0.2205505073070526, -0.13593906164169312, -0.05132758617401123, 0.03328382968902588, 0.11789527535438538, 0.20250672101974487, 0.28711816668510437, 0.37172961235046387, 0.45634105801582336, 0.5409525036811829, 0.6255639791488647, 0.7101752758026123, 0.7947866916656494, 0.8793981671333313, 0.9640096426010132, 1.0486210584640503, 1.1332324743270874, 1.217844009399414, 1.3024554252624512, 1.3870668411254883, 1.4716782569885254, 1.5562896728515625, 1.6409012079238892, 1.7255126237869263, 1.8101240396499634, 1.89473557472229, 1.9793469905853271, 2.0639584064483643, 2.1485698223114014, 2.2331812381744385, 2.3177926540374756, 2.402404308319092, 2.487015724182129, 2.571627140045166, 2.656238555908203, 2.7408499717712402, 2.8254613876342773, 2.9100728034973145, 2.9946842193603516, 3.0792956352233887, 3.163907289505005, 3.248518705368042, 3.333130121231079, 3.417741537094116]}, "gradients/decoder.model.decoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 3.0, 3.0, 2.0, 3.0, 9.0, 4.0, 8.0, 8.0, 4.0, 9.0, 17.0, 20.0, 14.0, 28.0, 29.0, 27.0, 33.0, 29.0, 44.0, 44.0, 45.0, 47.0, 39.0, 30.0, 55.0, 48.0, 39.0, 44.0, 38.0, 47.0, 34.0, 35.0, 23.0, 28.0, 26.0, 21.0, 13.0, 10.0, 6.0, 10.0, 10.0, 10.0, 4.0, 5.0, 4.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.04645663872361183, -0.044814612716436386, -0.04317258670926094, -0.0415305569767952, -0.03988853096961975, -0.038246504962444305, -0.03660447895526886, -0.034962452948093414, -0.03332042694091797, -0.03167840093374252, -0.03003637306392193, -0.028394347056746483, -0.026752321049571037, -0.025110293179750443, -0.023468267172574997, -0.02182624116539955, -0.020184213295578957, -0.01854218728840351, -0.016900159418582916, -0.01525813341140747, -0.013616107404232025, -0.011974080465734005, -0.010332053527235985, -0.00869002752006054, -0.007048000581562519, -0.005405974108725786, -0.0037639474030584097, -0.002121920697391033, -0.0004798942245543003, 0.0011621322482824326, 0.0028041591867804527, 0.004446185193955898, 0.0060882121324539185, 0.007730238605290651, 0.009372265078127384, 0.011014292016625404, 0.01265631802380085, 0.01429834496229887, 0.01594037190079689, 0.017582397907972336, 0.01922442391514778, 0.020866449922323227, 0.02250847779214382, 0.024150503799319267, 0.025792529806494713, 0.027434557676315308, 0.029076583683490753, 0.0307186096906662, 0.032360635697841644, 0.03400266170501709, 0.035644687712192535, 0.03728671371936798, 0.038928743451833725, 0.04057076945900917, 0.042212795466184616, 0.04385482147336006, 0.045496851205825806, 0.04713887721300125, 0.0487809032201767, 0.05042292922735214, 0.052064958959817886, 0.05370698496699333, 0.05534901097416878, 0.05699103698134422, 0.05863306298851967]}, "gradients/decoder.model.decoder.layers.8.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 2.0, 3.0, 1.0, 3.0, 8.0, 7.0, 9.0, 14.0, 14.0, 23.0, 34.0, 39.0, 45.0, 63.0, 103.0, 184.0, 246.0, 422.0, 733.0, 1303.0, 2537.0, 5095.0, 10627.0, 25941.0, 209898.0, 3886319.0, 28621.0, 10996.0, 5086.0, 2552.0, 1368.0, 750.0, 456.0, 294.0, 142.0, 132.0, 85.0, 37.0, 38.0, 22.0, 16.0, 13.0, 4.0, 3.0, 3.0, 3.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.328857421875, -0.3189201354980469, -0.30898284912109375, -0.2990455627441406, -0.2891082763671875, -0.2791709899902344, -0.26923370361328125, -0.2592964172363281, -0.249359130859375, -0.23942184448242188, -0.22948455810546875, -0.21954727172851562, -0.2096099853515625, -0.19967269897460938, -0.18973541259765625, -0.17979812622070312, -0.16986083984375, -0.15992355346679688, -0.14998626708984375, -0.14004898071289062, -0.1301116943359375, -0.12017440795898438, -0.11023712158203125, -0.10029983520507812, -0.090362548828125, -0.08042526245117188, -0.07048797607421875, -0.060550689697265625, -0.0506134033203125, -0.040676116943359375, -0.03073883056640625, -0.020801544189453125, -0.0108642578125, -0.000926971435546875, 0.00901031494140625, 0.018947601318359375, 0.0288848876953125, 0.038822174072265625, 0.04875946044921875, 0.058696746826171875, 0.068634033203125, 0.07857131958007812, 0.08850860595703125, 0.09844589233398438, 0.1083831787109375, 0.11832046508789062, 0.12825775146484375, 0.13819503784179688, 0.14813232421875, 0.15806961059570312, 0.16800689697265625, 0.17794418334960938, 0.1878814697265625, 0.19781875610351562, 0.20775604248046875, 0.21769332885742188, 0.227630615234375, 0.23756790161132812, 0.24750518798828125, 0.2574424743652344, 0.2673797607421875, 0.2773170471191406, 0.28725433349609375, 0.2971916198730469, 0.30712890625]}, "gradients/decoder.model.decoder.layers.8.fc2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 5.0, 8.0, 4.0, 8.0, 7.0, 6.0, 5.0, 11.0, 12.0, 23.0, 70.0, 579.0, 184.0, 30.0, 11.0, 3.0, 8.0, 7.0, 6.0, 4.0, 5.0, 3.0, 6.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.01076507568359375, -0.01049351692199707, -0.01022195816040039, -0.009950399398803711, -0.009678840637207031, -0.009407281875610352, -0.009135723114013672, -0.008864164352416992, -0.008592605590820312, -0.008321046829223633, -0.008049488067626953, -0.0077779293060302734, -0.007506370544433594, -0.007234811782836914, -0.006963253021240234, -0.006691694259643555, -0.006420135498046875, -0.006148576736450195, -0.005877017974853516, -0.005605459213256836, -0.005333900451660156, -0.0050623416900634766, -0.004790782928466797, -0.004519224166870117, -0.0042476654052734375, -0.003976106643676758, -0.003704547882080078, -0.0034329891204833984, -0.0031614303588867188, -0.002889871597290039, -0.0026183128356933594, -0.0023467540740966797, -0.0020751953125, -0.0018036365509033203, -0.0015320777893066406, -0.001260519027709961, -0.0009889602661132812, -0.0007174015045166016, -0.0004458427429199219, -0.0001742839813232422, 9.72747802734375e-05, 0.0003688335418701172, 0.0006403923034667969, 0.0009119510650634766, 0.0011835098266601562, 0.001455068588256836, 0.0017266273498535156, 0.0019981861114501953, 0.002269744873046875, 0.0025413036346435547, 0.0028128623962402344, 0.003084421157836914, 0.0033559799194335938, 0.0036275386810302734, 0.003899097442626953, 0.004170656204223633, 0.0044422149658203125, 0.004713773727416992, 0.004985332489013672, 0.0052568912506103516, 0.005528450012207031, 0.005800008773803711, 0.006071567535400391, 0.00634312629699707, 0.00661468505859375]}, "gradients/decoder.model.decoder.layers.8.fc1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 2.0, 4.0, 7.0, 3.0, 11.0, 6.0, 9.0, 12.0, 24.0, 20.0, 38.0, 54.0, 74.0, 125.0, 211.0, 353.0, 646.0, 1483.0, 3235.0, 8650.0, 29404.0, 570152.0, 3532238.0, 31937.0, 9057.0, 3446.0, 1460.0, 695.0, 363.0, 217.0, 112.0, 86.0, 38.0, 28.0, 21.0, 18.0, 15.0, 14.0, 3.0, 6.0, 4.0, 4.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.1480712890625, -0.14329910278320312, -0.13852691650390625, -0.13375473022460938, -0.1289825439453125, -0.12421035766601562, -0.11943817138671875, -0.11466598510742188, -0.109893798828125, -0.10512161254882812, -0.10034942626953125, -0.09557723999023438, -0.0908050537109375, -0.08603286743164062, -0.08126068115234375, -0.07648849487304688, -0.07171630859375, -0.06694412231445312, -0.06217193603515625, -0.057399749755859375, -0.0526275634765625, -0.047855377197265625, -0.04308319091796875, -0.038311004638671875, -0.033538818359375, -0.028766632080078125, -0.02399444580078125, -0.019222259521484375, -0.0144500732421875, -0.009677886962890625, -0.00490570068359375, -0.000133514404296875, 0.004638671875, 0.009410858154296875, 0.01418304443359375, 0.018955230712890625, 0.0237274169921875, 0.028499603271484375, 0.03327178955078125, 0.038043975830078125, 0.042816162109375, 0.047588348388671875, 0.05236053466796875, 0.057132720947265625, 0.0619049072265625, 0.06667709350585938, 0.07144927978515625, 0.07622146606445312, 0.08099365234375, 0.08576583862304688, 0.09053802490234375, 0.09531021118164062, 0.1000823974609375, 0.10485458374023438, 0.10962677001953125, 0.11439895629882812, 0.119171142578125, 0.12394332885742188, 0.12871551513671875, 0.13348770141601562, 0.1382598876953125, 0.14303207397460938, 0.14780426025390625, 0.15257644653320312, 0.1573486328125]}, "gradients/decoder.model.decoder.layers.8.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 4.0, 0.0, 4.0, 1.0, 3.0, 3.0, 1.0, 2.0, 5.0, 8.0, 8.0, 3.0, 7.0, 10.0, 21.0, 44.0, 174.0, 3185.0, 404.0, 90.0, 33.0, 8.0, 9.0, 6.0, 7.0, 7.0, 13.0, 7.0, 3.0, 1.0, 4.0, 2.0, 2.0, 3.0, 0.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.045623779296875, -0.04434776306152344, -0.043071746826171875, -0.04179573059082031, -0.04051971435546875, -0.03924369812011719, -0.037967681884765625, -0.03669166564941406, -0.0354156494140625, -0.03413963317871094, -0.032863616943359375, -0.03158760070800781, -0.03031158447265625, -0.029035568237304688, -0.027759552001953125, -0.026483535766601562, -0.02520751953125, -0.023931503295898438, -0.022655487060546875, -0.021379470825195312, -0.02010345458984375, -0.018827438354492188, -0.017551422119140625, -0.016275405883789062, -0.0149993896484375, -0.013723373413085938, -0.012447357177734375, -0.011171340942382812, -0.00989532470703125, -0.008619308471679688, -0.007343292236328125, -0.0060672760009765625, -0.004791259765625, -0.0035152435302734375, -0.002239227294921875, -0.0009632110595703125, 0.00031280517578125, 0.0015888214111328125, 0.002864837646484375, 0.0041408538818359375, 0.0054168701171875, 0.0066928863525390625, 0.007968902587890625, 0.009244918823242188, 0.01052093505859375, 0.011796951293945312, 0.013072967529296875, 0.014348983764648438, 0.015625, 0.016901016235351562, 0.018177032470703125, 0.019453048706054688, 0.02072906494140625, 0.022005081176757812, 0.023281097412109375, 0.024557113647460938, 0.0258331298828125, 0.027109146118164062, 0.028385162353515625, 0.029661178588867188, 0.03093719482421875, 0.03221321105957031, 0.033489227294921875, 0.03476524353027344, 0.036041259765625]}, "gradients/decoder.model.decoder.layers.8.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 3.0, 3.0, 2.0, 0.0, 2.0, 5.0, 4.0, 12.0, 9.0, 32.0, 39.0, 83.0, 217.0, 370.0, 97.0, 52.0, 20.0, 12.0, 10.0, 10.0, 6.0, 3.0, 8.0, 1.0, 4.0, 2.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.27183958888053894, -0.263414591550827, -0.2549895942211151, -0.246564581990242, -0.2381395697593689, -0.22971457242965698, -0.22128957509994507, -0.21286457777023315, -0.20443956553936005, -0.19601456820964813, -0.18758955597877502, -0.1791645586490631, -0.1707395613193512, -0.1623145490884781, -0.15388955175876617, -0.14546453952789307, -0.13703954219818115, -0.12861454486846924, -0.12018953263759613, -0.11176453530788422, -0.1033395305275917, -0.0949145257472992, -0.08648952841758728, -0.07806452363729477, -0.06963951885700226, -0.06121451407670975, -0.052789513021707535, -0.04436451196670532, -0.03593950718641281, -0.0275145024061203, -0.019089501351118088, -0.010664500296115875, -0.002239525318145752, 0.00618547759950161, 0.014610480517148972, 0.023035483434796333, 0.031460486352443695, 0.039885491132736206, 0.04831049218773842, 0.05673549324274063, 0.06516049802303314, 0.07358550280332565, 0.08201050758361816, 0.09043550491333008, 0.09886050969362259, 0.1072855144739151, 0.11571051180362701, 0.12413551658391953, 0.13256052136421204, 0.14098551869392395, 0.14941053092479706, 0.15783552825450897, 0.16626054048538208, 0.174685537815094, 0.1831105351448059, 0.19153553247451782, 0.19996054470539093, 0.20838554203510284, 0.21681055426597595, 0.22523555159568787, 0.23366054892539978, 0.2420855611562729, 0.250510573387146, 0.2589355707168579, 0.2673605680465698]}, "gradients/decoder.model.decoder.layers.8.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 3.0, 3.0, 1.0, 2.0, 6.0, 7.0, 11.0, 9.0, 7.0, 8.0, 11.0, 14.0, 19.0, 17.0, 22.0, 29.0, 26.0, 31.0, 18.0, 31.0, 33.0, 30.0, 32.0, 51.0, 48.0, 40.0, 33.0, 35.0, 27.0, 35.0, 40.0, 31.0, 39.0, 29.0, 31.0, 22.0, 12.0, 23.0, 24.0, 23.0, 25.0, 16.0, 17.0, 8.0, 7.0, 7.0, 4.0, 4.0, 4.0, 5.0, 3.0, 3.0, 1.0], "bins": [-0.028486788272857666, -0.027657240629196167, -0.026827692985534668, -0.02599814534187317, -0.02516859583556652, -0.02433904819190502, -0.023509500548243523, -0.022679952904582024, -0.021850403398275375, -0.021020855754613876, -0.020191308110952377, -0.01936176046729088, -0.01853221096098423, -0.01770266331732273, -0.016873115673661232, -0.016043568029999733, -0.015214020386338234, -0.014384472742676735, -0.013554924167692661, -0.012725376524031162, -0.011895827949047089, -0.01106628030538559, -0.01023673266172409, -0.009407185018062592, -0.008577636443078518, -0.007748088333755732, -0.006918540224432945, -0.006088992580771446, -0.00525944447144866, -0.0044298963621258736, -0.0036003487184643745, -0.002770800609141588, -0.0019412506371736526, -0.0011117026442661881, -0.00028215465135872364, 0.000547393225133419, 0.0013769413344562054, 0.0022064894437789917, 0.0030360370874404907, 0.003865585196763277, 0.004695133306086063, 0.00552468141540885, 0.006354229524731636, 0.007183777168393135, 0.008013324812054634, 0.008842873387038708, 0.009672421030700207, 0.01050196960568428, 0.01133151724934578, 0.012161064893007278, 0.012990613467991352, 0.013820161111652851, 0.014649709686636925, 0.015479257330298424, 0.016308804973959923, 0.017138352617621422, 0.01796790212392807, 0.01879744976758957, 0.019626997411251068, 0.020456545054912567, 0.021286094561219215, 0.022115642204880714, 0.022945189848542213, 0.023774737492203712, 0.02460428513586521]}, "gradients/decoder.model.decoder.layers.8.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 7.0, 3.0, 6.0, 8.0, 11.0, 21.0, 33.0, 60.0, 104.0, 227.0, 461.0, 1196.0, 3797.0, 14864.0, 210385.0, 786723.0, 22582.0, 5294.0, 1609.0, 578.0, 247.0, 145.0, 68.0, 32.0, 35.0, 17.0, 18.0, 6.0, 7.0, 6.0, 2.0, 5.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.033477783203125, -0.03224372863769531, -0.031009674072265625, -0.029775619506835938, -0.02854156494140625, -0.027307510375976562, -0.026073455810546875, -0.024839401245117188, -0.0236053466796875, -0.022371292114257812, -0.021137237548828125, -0.019903182983398438, -0.01866912841796875, -0.017435073852539062, -0.016201019287109375, -0.014966964721679688, -0.01373291015625, -0.012498855590820312, -0.011264801025390625, -0.010030746459960938, -0.00879669189453125, -0.0075626373291015625, -0.006328582763671875, -0.0050945281982421875, -0.0038604736328125, -0.0026264190673828125, -0.001392364501953125, -0.0001583099365234375, 0.00107574462890625, 0.0023097991943359375, 0.003543853759765625, 0.0047779083251953125, 0.006011962890625, 0.0072460174560546875, 0.008480072021484375, 0.009714126586914062, 0.01094818115234375, 0.012182235717773438, 0.013416290283203125, 0.014650344848632812, 0.0158843994140625, 0.017118453979492188, 0.018352508544921875, 0.019586563110351562, 0.02082061767578125, 0.022054672241210938, 0.023288726806640625, 0.024522781372070312, 0.0257568359375, 0.026990890502929688, 0.028224945068359375, 0.029458999633789062, 0.03069305419921875, 0.03192710876464844, 0.033161163330078125, 0.03439521789550781, 0.0356292724609375, 0.03686332702636719, 0.038097381591796875, 0.03933143615722656, 0.04056549072265625, 0.04179954528808594, 0.043033599853515625, 0.04426765441894531, 0.045501708984375]}, "gradients/decoder.model.decoder.layers.8.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 3.0, 1.0, 2.0, 9.0, 5.0, 6.0, 8.0, 3.0, 3.0, 11.0, 21.0, 38.0, 103.0, 165.0, 224.0, 180.0, 115.0, 38.0, 16.0, 9.0, 9.0, 9.0, 7.0, 4.0, 2.0, 2.0, 3.0, 2.0, 2.0, 1.0, 2.0, 1.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.059661865234375, -0.05782508850097656, -0.055988311767578125, -0.05415153503417969, -0.05231475830078125, -0.05047798156738281, -0.048641204833984375, -0.04680442810058594, -0.0449676513671875, -0.04313087463378906, -0.041294097900390625, -0.03945732116699219, -0.03762054443359375, -0.03578376770019531, -0.033946990966796875, -0.03211021423339844, -0.0302734375, -0.028436660766601562, -0.026599884033203125, -0.024763107299804688, -0.02292633056640625, -0.021089553833007812, -0.019252777099609375, -0.017416000366210938, -0.0155792236328125, -0.013742446899414062, -0.011905670166015625, -0.010068893432617188, -0.00823211669921875, -0.0063953399658203125, -0.004558563232421875, -0.0027217864990234375, -0.000885009765625, 0.0009517669677734375, 0.002788543701171875, 0.0046253204345703125, 0.00646209716796875, 0.008298873901367188, 0.010135650634765625, 0.011972427368164062, 0.0138092041015625, 0.015645980834960938, 0.017482757568359375, 0.019319534301757812, 0.02115631103515625, 0.022993087768554688, 0.024829864501953125, 0.026666641235351562, 0.02850341796875, 0.030340194702148438, 0.032176971435546875, 0.03401374816894531, 0.03585052490234375, 0.03768730163574219, 0.039524078369140625, 0.04136085510253906, 0.0431976318359375, 0.04503440856933594, 0.046871185302734375, 0.04870796203613281, 0.05054473876953125, 0.05238151550292969, 0.054218292236328125, 0.05605506896972656, 0.057891845703125]}, "gradients/decoder.model.decoder.layers.8.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 0.0, 3.0, 7.0, 7.0, 7.0, 11.0, 12.0, 15.0, 19.0, 35.0, 55.0, 59.0, 94.0, 154.0, 244.0, 308.0, 523.0, 804.0, 1316.0, 2135.0, 3685.0, 6982.0, 13252.0, 26401.0, 57161.0, 137606.0, 464961.0, 190040.0, 73472.0, 33164.0, 16243.0, 8335.0, 4607.0, 2567.0, 1536.0, 924.0, 582.0, 385.0, 267.0, 180.0, 119.0, 88.0, 64.0, 37.0, 32.0, 13.0, 9.0, 9.0, 9.0, 12.0, 7.0, 2.0, 6.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.0010061264038085938, -0.0009732991456985474, -0.000940471887588501, -0.0009076446294784546, -0.0008748173713684082, -0.0008419901132583618, -0.0008091628551483154, -0.000776335597038269, -0.0007435083389282227, -0.0007106810808181763, -0.0006778538227081299, -0.0006450265645980835, -0.0006121993064880371, -0.0005793720483779907, -0.0005465447902679443, -0.000513717532157898, -0.00048089027404785156, -0.0004480630159378052, -0.0004152357578277588, -0.0003824084997177124, -0.000349581241607666, -0.00031675398349761963, -0.00028392672538757324, -0.00025109946727752686, -0.00021827220916748047, -0.00018544495105743408, -0.0001526176929473877, -0.00011979043483734131, -8.696317672729492e-05, -5.4135918617248535e-05, -2.130866050720215e-05, 1.1518597602844238e-05, 4.4345855712890625e-05, 7.717311382293701e-05, 0.0001100003719329834, 0.00014282763004302979, 0.00017565488815307617, 0.00020848214626312256, 0.00024130940437316895, 0.00027413666248321533, 0.0003069639205932617, 0.0003397911787033081, 0.0003726184368133545, 0.0004054456949234009, 0.00043827295303344727, 0.00047110021114349365, 0.00050392746925354, 0.0005367547273635864, 0.0005695819854736328, 0.0006024092435836792, 0.0006352365016937256, 0.000668063759803772, 0.0007008910179138184, 0.0007337182760238647, 0.0007665455341339111, 0.0007993727922439575, 0.0008322000503540039, 0.0008650273084640503, 0.0008978545665740967, 0.0009306818246841431, 0.0009635090827941895, 0.0009963363409042358, 0.0010291635990142822, 0.0010619908571243286, 0.001094818115234375]}, "gradients/decoder.model.decoder.layers.8.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 1.0, 4.0, 8.0, 5.0, 7.0, 8.0, 12.0, 11.0, 16.0, 29.0, 20.0, 26.0, 24.0, 29.0, 41.0, 42.0, 39.0, 54.0, 39.0, 53.0, 50.0, 51.0, 49.0, 42.0, 36.0, 37.0, 43.0, 31.0, 29.0, 35.0, 20.0, 19.0, 17.0, 17.0, 15.0, 12.0, 9.0, 4.0, 9.0, 5.0, 4.0, 3.0, 0.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-0.06964111328125, -0.06737804412841797, -0.06511497497558594, -0.0628519058227539, -0.060588836669921875, -0.058325767517089844, -0.05606269836425781, -0.05379962921142578, -0.05153656005859375, -0.04927349090576172, -0.04701042175292969, -0.044747352600097656, -0.042484283447265625, -0.040221214294433594, -0.03795814514160156, -0.03569507598876953, -0.0334320068359375, -0.03116893768310547, -0.028905868530273438, -0.026642799377441406, -0.024379730224609375, -0.022116661071777344, -0.019853591918945312, -0.01759052276611328, -0.01532745361328125, -0.013064384460449219, -0.010801315307617188, -0.008538246154785156, -0.006275177001953125, -0.004012107849121094, -0.0017490386962890625, 0.0005140304565429688, 0.002777099609375, 0.005040168762207031, 0.0073032379150390625, 0.009566307067871094, 0.011829376220703125, 0.014092445373535156, 0.016355514526367188, 0.01861858367919922, 0.02088165283203125, 0.02314472198486328, 0.025407791137695312, 0.027670860290527344, 0.029933929443359375, 0.032196998596191406, 0.03446006774902344, 0.03672313690185547, 0.0389862060546875, 0.04124927520751953, 0.04351234436035156, 0.045775413513183594, 0.048038482666015625, 0.050301551818847656, 0.05256462097167969, 0.05482769012451172, 0.05709075927734375, 0.05935382843017578, 0.06161689758300781, 0.06387996673583984, 0.06614303588867188, 0.0684061050415039, 0.07066917419433594, 0.07293224334716797, 0.0751953125]}, "gradients/decoder.model.decoder.layers.8.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 6.0, 6.0, 8.0, 9.0, 18.0, 22.0, 31.0, 58.0, 79.0, 119.0, 186.0, 255.0, 454.0, 699.0, 1110.0, 1744.0, 2960.0, 5644.0, 10927.0, 23173.0, 68387.0, 707829.0, 152914.0, 38102.0, 15965.0, 7677.0, 4093.0, 2313.0, 1418.0, 843.0, 532.0, 302.0, 184.0, 146.0, 105.0, 74.0, 56.0, 40.0, 16.0, 14.0, 18.0, 13.0, 2.0, 3.0, 3.0, 1.0, 2.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.510185241699219e-05, -7.26599246263504e-05, -7.021799683570862e-05, -6.777606904506683e-05, -6.533414125442505e-05, -6.289221346378326e-05, -6.045028567314148e-05, -5.8008357882499695e-05, -5.556643009185791e-05, -5.3124502301216125e-05, -5.068257451057434e-05, -4.8240646719932556e-05, -4.579871892929077e-05, -4.335679113864899e-05, -4.09148633480072e-05, -3.847293555736542e-05, -3.603100776672363e-05, -3.358907997608185e-05, -3.1147152185440063e-05, -2.870522439479828e-05, -2.6263296604156494e-05, -2.382136881351471e-05, -2.1379441022872925e-05, -1.893751323223114e-05, -1.6495585441589355e-05, -1.405365765094757e-05, -1.1611729860305786e-05, -9.169802069664001e-06, -6.727874279022217e-06, -4.285946488380432e-06, -1.8440186977386475e-06, 5.979090929031372e-07, 3.039836883544922e-06, 5.4817646741867065e-06, 7.923692464828491e-06, 1.0365620255470276e-05, 1.280754804611206e-05, 1.5249475836753845e-05, 1.769140362739563e-05, 2.0133331418037415e-05, 2.25752592086792e-05, 2.5017186999320984e-05, 2.745911478996277e-05, 2.9901042580604553e-05, 3.234297037124634e-05, 3.478489816188812e-05, 3.722682595252991e-05, 3.966875374317169e-05, 4.2110681533813477e-05, 4.455260932445526e-05, 4.6994537115097046e-05, 4.943646490573883e-05, 5.1878392696380615e-05, 5.43203204870224e-05, 5.6762248277664185e-05, 5.920417606830597e-05, 6.164610385894775e-05, 6.408803164958954e-05, 6.652995944023132e-05, 6.897188723087311e-05, 7.141381502151489e-05, 7.385574281215668e-05, 7.629767060279846e-05, 7.873959839344025e-05, 8.118152618408203e-05]}, "gradients/decoder.model.decoder.layers.8.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 5.0, 0.0, 3.0, 2.0, 3.0, 3.0, 7.0, 6.0, 8.0, 16.0, 24.0, 49.0, 118.0, 477.0, 142.0, 60.0, 28.0, 15.0, 6.0, 8.0, 10.0, 4.0, 1.0, 4.0, 2.0, 3.0, 4.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-4.470348358154297e-05, -4.3514184653759e-05, -4.232488572597504e-05, -4.113558679819107e-05, -3.9946287870407104e-05, -3.875698894262314e-05, -3.756769001483917e-05, -3.6378391087055206e-05, -3.518909215927124e-05, -3.3999793231487274e-05, -3.281049430370331e-05, -3.162119537591934e-05, -3.0431896448135376e-05, -2.924259752035141e-05, -2.8053298592567444e-05, -2.6863999664783478e-05, -2.5674700736999512e-05, -2.4485401809215546e-05, -2.329610288143158e-05, -2.2106803953647614e-05, -2.0917505025863647e-05, -1.972820609807968e-05, -1.8538907170295715e-05, -1.734960824251175e-05, -1.6160309314727783e-05, -1.4971010386943817e-05, -1.3781711459159851e-05, -1.2592412531375885e-05, -1.1403113603591919e-05, -1.0213814675807953e-05, -9.024515748023987e-06, -7.83521682024002e-06, -6.645917892456055e-06, -5.456618964672089e-06, -4.2673200368881226e-06, -3.0780211091041565e-06, -1.8887221813201904e-06, -6.994232535362244e-07, 4.898756742477417e-07, 1.6791746020317078e-06, 2.868473529815674e-06, 4.05777245759964e-06, 5.247071385383606e-06, 6.436370313167572e-06, 7.625669240951538e-06, 8.814968168735504e-06, 1.000426709651947e-05, 1.1193566024303436e-05, 1.2382864952087402e-05, 1.3572163879871368e-05, 1.4761462807655334e-05, 1.59507617354393e-05, 1.7140060663223267e-05, 1.8329359591007233e-05, 1.95186585187912e-05, 2.0707957446575165e-05, 2.189725637435913e-05, 2.3086555302143097e-05, 2.4275854229927063e-05, 2.546515315771103e-05, 2.6654452085494995e-05, 2.784375101327896e-05, 2.9033049941062927e-05, 3.0222348868846893e-05, 3.141164779663086e-05]}, "gradients/decoder.model.decoder.layers.8.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 1.0, 1.0, 3.0, 3.0, 3.0, 6.0, 7.0, 18.0, 13.0, 24.0, 34.0, 48.0, 53.0, 71.0, 100.0, 149.0, 228.0, 331.0, 450.0, 622.0, 991.0, 1567.0, 2468.0, 4327.0, 7621.0, 15136.0, 34058.0, 114644.0, 728503.0, 79616.0, 27621.0, 12919.0, 6648.0, 3726.0, 2192.0, 1445.0, 947.0, 584.0, 379.0, 291.0, 210.0, 148.0, 103.0, 78.0, 45.0, 44.0, 30.0, 20.0, 15.0, 8.0, 4.0, 8.0, 2.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-6.54458999633789e-05, -6.335973739624023e-05, -6.127357482910156e-05, -5.918741226196289e-05, -5.710124969482422e-05, -5.501508712768555e-05, -5.2928924560546875e-05, -5.08427619934082e-05, -4.875659942626953e-05, -4.667043685913086e-05, -4.458427429199219e-05, -4.2498111724853516e-05, -4.0411949157714844e-05, -3.832578659057617e-05, -3.62396240234375e-05, -3.415346145629883e-05, -3.2067298889160156e-05, -2.9981136322021484e-05, -2.7894973754882812e-05, -2.580881118774414e-05, -2.372264862060547e-05, -2.1636486053466797e-05, -1.9550323486328125e-05, -1.7464160919189453e-05, -1.537799835205078e-05, -1.329183578491211e-05, -1.1205673217773438e-05, -9.119510650634766e-06, -7.033348083496094e-06, -4.947185516357422e-06, -2.86102294921875e-06, -7.748603820800781e-07, 1.3113021850585938e-06, 3.3974647521972656e-06, 5.4836273193359375e-06, 7.569789886474609e-06, 9.655952453613281e-06, 1.1742115020751953e-05, 1.3828277587890625e-05, 1.5914440155029297e-05, 1.800060272216797e-05, 2.008676528930664e-05, 2.2172927856445312e-05, 2.4259090423583984e-05, 2.6345252990722656e-05, 2.8431415557861328e-05, 3.0517578125e-05, 3.260374069213867e-05, 3.4689903259277344e-05, 3.6776065826416016e-05, 3.886222839355469e-05, 4.094839096069336e-05, 4.303455352783203e-05, 4.51207160949707e-05, 4.7206878662109375e-05, 4.929304122924805e-05, 5.137920379638672e-05, 5.346536636352539e-05, 5.555152893066406e-05, 5.7637691497802734e-05, 5.9723854064941406e-05, 6.181001663208008e-05, 6.389617919921875e-05, 6.598234176635742e-05, 6.80685043334961e-05]}, "gradients/decoder.model.decoder.layers.8.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 2.0, 2.0, 3.0, 0.0, 3.0, 2.0, 2.0, 6.0, 7.0, 6.0, 7.0, 12.0, 18.0, 21.0, 22.0, 28.0, 27.0, 33.0, 52.0, 108.0, 287.0, 94.0, 63.0, 40.0, 30.0, 22.0, 26.0, 14.0, 13.0, 15.0, 9.0, 9.0, 6.0, 4.0, 5.0, 1.0, 1.0, 1.0, 2.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.817941665649414e-05, -1.7600134015083313e-05, -1.7020851373672485e-05, -1.6441568732261658e-05, -1.586228609085083e-05, -1.5283003449440002e-05, -1.4703720808029175e-05, -1.4124438166618347e-05, -1.354515552520752e-05, -1.2965872883796692e-05, -1.2386590242385864e-05, -1.1807307600975037e-05, -1.1228024959564209e-05, -1.0648742318153381e-05, -1.0069459676742554e-05, -9.490177035331726e-06, -8.910894393920898e-06, -8.33161175251007e-06, -7.752329111099243e-06, -7.1730464696884155e-06, -6.593763828277588e-06, -6.01448118686676e-06, -5.435198545455933e-06, -4.855915904045105e-06, -4.276633262634277e-06, -3.6973506212234497e-06, -3.118067979812622e-06, -2.5387853384017944e-06, -1.959502696990967e-06, -1.3802200555801392e-06, -8.009374141693115e-07, -2.2165477275848389e-07, 3.5762786865234375e-07, 9.369105100631714e-07, 1.516193151473999e-06, 2.0954757928848267e-06, 2.6747584342956543e-06, 3.254041075706482e-06, 3.8333237171173096e-06, 4.412606358528137e-06, 4.991888999938965e-06, 5.5711716413497925e-06, 6.15045428276062e-06, 6.729736924171448e-06, 7.309019565582275e-06, 7.888302206993103e-06, 8.46758484840393e-06, 9.046867489814758e-06, 9.626150131225586e-06, 1.0205432772636414e-05, 1.0784715414047241e-05, 1.1363998055458069e-05, 1.1943280696868896e-05, 1.2522563338279724e-05, 1.3101845979690552e-05, 1.368112862110138e-05, 1.4260411262512207e-05, 1.4839693903923035e-05, 1.5418976545333862e-05, 1.599825918674469e-05, 1.6577541828155518e-05, 1.7156824469566345e-05, 1.7736107110977173e-05, 1.8315389752388e-05, 1.8894672393798828e-05]}, "gradients/decoder.model.decoder.layers.8.self_attn_layer_norm.weight": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 3.0, 20.0, 439.0, 529.0, 18.0, 6.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.11511299014091492, -0.09596680104732513, -0.07682061940431595, -0.057674434036016464, -0.03852824866771698, -0.019382059574127197, -0.00023587793111801147, 0.018910303711891174, 0.03805649280548096, 0.05720267817378044, 0.07634886354207993, 0.09549504518508911, 0.1146412342786789, 0.13378742337226868, 0.15293359756469727, 0.17207978665828705, 0.19122597575187683, 0.2103721648454666, 0.2295183539390564, 0.24866452813148499, 0.2678107023239136, 0.28695690631866455, 0.30610308051109314, 0.32524925470352173, 0.3443954586982727, 0.3635416328907013, 0.38268783688545227, 0.40183401107788086, 0.42098021507263184, 0.4401263892650604, 0.459272563457489, 0.47841876745224, 0.4975649118423462, 0.5167111158370972, 0.5358572602272034, 0.5550034642219543, 0.5741496682167053, 0.5932958126068115, 0.6124420166015625, 0.6315882205963135, 0.6507344245910645, 0.6698806285858154, 0.6890267729759216, 0.7081729769706726, 0.7273191809654236, 0.7464653253555298, 0.7656115293502808, 0.7847577333450317, 0.8039038777351379, 0.8230500817298889, 0.8421962261199951, 0.8613424301147461, 0.8804886341094971, 0.899634838104248, 0.9187809824943542, 0.9379271864891052, 0.9570733308792114, 0.9762195348739624, 0.9953656792640686, 1.0145119428634644, 1.0336580276489258, 1.0528042316436768, 1.0719504356384277, 1.0910966396331787, 1.1102428436279297]}, "gradients/decoder.model.decoder.layers.8.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 5.0, 1.0, 6.0, 4.0, 7.0, 23.0, 16.0, 23.0, 31.0, 47.0, 44.0, 47.0, 53.0, 71.0, 82.0, 60.0, 81.0, 65.0, 61.0, 56.0, 66.0, 28.0, 29.0, 34.0, 36.0, 11.0, 11.0, 6.0, 1.0, 4.0, 2.0, 2.0, 2.0, 3.0], "bins": [-0.01915658451616764, -0.01873716153204441, -0.01831774041056633, -0.0178983174264431, -0.01747889630496502, -0.01705947332084179, -0.01664005033671856, -0.01622062921524048, -0.01580120623111725, -0.015381784178316593, -0.014962362125515938, -0.014542939141392708, -0.014123517088592052, -0.013704095035791397, -0.013284672982990742, -0.012865250930190086, -0.012445827946066856, -0.012026405893266201, -0.011606983840465546, -0.011187560856342316, -0.01076813880354166, -0.010348716750741005, -0.00992929469794035, -0.009509872645139694, -0.009090450592339039, -0.008671028539538383, -0.008251606486737728, -0.007832183502614498, -0.007412761449813843, -0.006993339397013187, -0.006573917344212532, -0.006154494825750589, -0.005735072307288647, -0.005315650254487991, -0.004896227736026049, -0.004476805683225393, -0.004057383164763451, -0.0036379611119627953, -0.0032185388263314962, -0.0027991165407001972, -0.002379694255068898, -0.001960271969437599, -0.0015408496838063002, -0.001121427514590323, -0.000702005228959024, -0.00028258305974304676, 0.00013683922588825226, 0.0005562615115195513, 0.0009756837971508503, 0.0013951060827821493, 0.0018145283684134483, 0.0022339504212141037, 0.0026533729396760464, 0.0030727949924767017, 0.0034922172781080008, 0.0039116395637393, 0.004331061616539955, 0.0047504836693406105, 0.005169906187802553, 0.0055893282406032085, 0.006008750759065151, 0.006428172811865807, 0.006847594864666462, 0.007267017383128405, 0.007686439901590347]}, "gradients/decoder.model.decoder.layers.8.self_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 5.0, 5.0, 5.0, 13.0, 9.0, 20.0, 28.0, 21.0, 24.0, 37.0, 62.0, 68.0, 174.0, 1263.0, 49214.0, 992148.0, 4764.0, 370.0, 104.0, 44.0, 30.0, 30.0, 29.0, 25.0, 24.0, 12.0, 8.0, 9.0, 5.0, 1.0, 3.0, 5.0, 3.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.2086181640625, -0.20252227783203125, -0.1964263916015625, -0.19033050537109375, -0.184234619140625, -0.17813873291015625, -0.1720428466796875, -0.16594696044921875, -0.15985107421875, -0.15375518798828125, -0.1476593017578125, -0.14156341552734375, -0.135467529296875, -0.12937164306640625, -0.1232757568359375, -0.11717987060546875, -0.111083984375, -0.10498809814453125, -0.0988922119140625, -0.09279632568359375, -0.086700439453125, -0.08060455322265625, -0.0745086669921875, -0.06841278076171875, -0.06231689453125, -0.05622100830078125, -0.0501251220703125, -0.04402923583984375, -0.037933349609375, -0.03183746337890625, -0.0257415771484375, -0.01964569091796875, -0.0135498046875, -0.00745391845703125, -0.0013580322265625, 0.00473785400390625, 0.010833740234375, 0.01692962646484375, 0.0230255126953125, 0.02912139892578125, 0.03521728515625, 0.04131317138671875, 0.0474090576171875, 0.05350494384765625, 0.059600830078125, 0.06569671630859375, 0.0717926025390625, 0.07788848876953125, 0.083984375, 0.09008026123046875, 0.0961761474609375, 0.10227203369140625, 0.108367919921875, 0.11446380615234375, 0.1205596923828125, 0.12665557861328125, 0.13275146484375, 0.13884735107421875, 0.1449432373046875, 0.15103912353515625, 0.157135009765625, 0.16323089599609375, 0.1693267822265625, 0.17542266845703125, 0.1815185546875]}, "gradients/decoder.model.decoder.layers.8.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 4.0, 11.0, 21.0, 93.0, 734.0, 117.0, 18.0, 9.0, 6.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0268707275390625, -0.02634960412979126, -0.02582848072052002, -0.02530735731124878, -0.02478623390197754, -0.0242651104927063, -0.02374398708343506, -0.02322286367416382, -0.022701740264892578, -0.022180616855621338, -0.021659493446350098, -0.021138370037078857, -0.020617246627807617, -0.020096123218536377, -0.019574999809265137, -0.019053876399993896, -0.018532752990722656, -0.018011629581451416, -0.017490506172180176, -0.016969382762908936, -0.016448259353637695, -0.015927135944366455, -0.015406012535095215, -0.014884889125823975, -0.014363765716552734, -0.013842642307281494, -0.013321518898010254, -0.012800395488739014, -0.012279272079467773, -0.011758148670196533, -0.011237025260925293, -0.010715901851654053, -0.010194778442382812, -0.009673655033111572, -0.009152531623840332, -0.008631408214569092, -0.008110284805297852, -0.007589161396026611, -0.007068037986755371, -0.006546914577484131, -0.006025791168212891, -0.00550466775894165, -0.00498354434967041, -0.00446242094039917, -0.00394129753112793, -0.0034201741218566895, -0.0028990507125854492, -0.002377927303314209, -0.0018568038940429688, -0.0013356804847717285, -0.0008145570755004883, -0.00029343366622924805, 0.0002276897430419922, 0.0007488131523132324, 0.0012699365615844727, 0.0017910599708557129, 0.002312183380126953, 0.0028333067893981934, 0.0033544301986694336, 0.003875553607940674, 0.004396677017211914, 0.004917800426483154, 0.0054389238357543945, 0.005960047245025635, 0.006481170654296875]}, "gradients/decoder.model.decoder.layers.8.self_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 4.0, 5.0, 0.0, 2.0, 6.0, 3.0, 3.0, 4.0, 3.0, 6.0, 6.0, 6.0, 4.0, 7.0, 12.0, 33.0, 61.0, 172.0, 436.0, 1605.0, 6099.0, 43619.0, 970890.0, 19989.0, 3994.0, 998.0, 294.0, 137.0, 64.0, 25.0, 12.0, 11.0, 9.0, 7.0, 6.0, 2.0, 4.0, 2.0, 6.0, 4.0, 2.0, 4.0, 2.0, 2.0, 1.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.049530029296875, -0.048128604888916016, -0.04672718048095703, -0.04532575607299805, -0.04392433166503906, -0.04252290725708008, -0.041121482849121094, -0.03972005844116211, -0.038318634033203125, -0.03691720962524414, -0.035515785217285156, -0.03411436080932617, -0.03271293640136719, -0.0313115119934082, -0.02991008758544922, -0.028508663177490234, -0.02710723876953125, -0.025705814361572266, -0.02430438995361328, -0.022902965545654297, -0.021501541137695312, -0.020100116729736328, -0.018698692321777344, -0.01729726791381836, -0.015895843505859375, -0.01449441909790039, -0.013092994689941406, -0.011691570281982422, -0.010290145874023438, -0.008888721466064453, -0.007487297058105469, -0.006085872650146484, -0.0046844482421875, -0.0032830238342285156, -0.0018815994262695312, -0.0004801750183105469, 0.0009212493896484375, 0.002322673797607422, 0.0037240982055664062, 0.005125522613525391, 0.006526947021484375, 0.00792837142944336, 0.009329795837402344, 0.010731220245361328, 0.012132644653320312, 0.013534069061279297, 0.014935493469238281, 0.016336917877197266, 0.01773834228515625, 0.019139766693115234, 0.02054119110107422, 0.021942615509033203, 0.023344039916992188, 0.024745464324951172, 0.026146888732910156, 0.02754831314086914, 0.028949737548828125, 0.03035116195678711, 0.031752586364746094, 0.03315401077270508, 0.03455543518066406, 0.03595685958862305, 0.03735828399658203, 0.038759708404541016, 0.0401611328125]}, "gradients/decoder.model.decoder.layers.8.self_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 3.0, 3.0, 0.0, 1.0, 4.0, 2.0, 1.0, 3.0, 3.0, 2.0, 6.0, 3.0, 10.0, 5.0, 7.0, 16.0, 25.0, 44.0, 52.0, 84.0, 86.0, 115.0, 120.0, 102.0, 83.0, 73.0, 37.0, 36.0, 21.0, 12.0, 13.0, 6.0, 9.0, 3.0, 5.0, 1.0, 2.0, 2.0, 3.0, 3.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.0117645263671875, -0.011430501937866211, -0.011096477508544922, -0.010762453079223633, -0.010428428649902344, -0.010094404220581055, -0.009760379791259766, -0.009426355361938477, -0.009092330932617188, -0.008758306503295898, -0.00842428207397461, -0.00809025764465332, -0.007756233215332031, -0.007422208786010742, -0.007088184356689453, -0.006754159927368164, -0.006420135498046875, -0.006086111068725586, -0.005752086639404297, -0.005418062210083008, -0.005084037780761719, -0.00475001335144043, -0.004415988922119141, -0.0040819644927978516, -0.0037479400634765625, -0.0034139156341552734, -0.0030798912048339844, -0.0027458667755126953, -0.0024118423461914062, -0.002077817916870117, -0.0017437934875488281, -0.001409769058227539, -0.00107574462890625, -0.0007417201995849609, -0.0004076957702636719, -7.367134094238281e-05, 0.00026035308837890625, 0.0005943775177001953, 0.0009284019470214844, 0.0012624263763427734, 0.0015964508056640625, 0.0019304752349853516, 0.0022644996643066406, 0.0025985240936279297, 0.0029325485229492188, 0.003266572952270508, 0.003600597381591797, 0.003934621810913086, 0.004268646240234375, 0.004602670669555664, 0.004936695098876953, 0.005270719528198242, 0.005604743957519531, 0.00593876838684082, 0.006272792816162109, 0.0066068172454833984, 0.0069408416748046875, 0.0072748661041259766, 0.007608890533447266, 0.007942914962768555, 0.008276939392089844, 0.008610963821411133, 0.008944988250732422, 0.009279012680053711, 0.009613037109375]}, "gradients/decoder.model.decoder.layers.8.self_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 3.0, 4.0, 3.0, 5.0, 10.0, 10.0, 19.0, 13.0, 22.0, 27.0, 46.0, 47.0, 77.0, 98.0, 150.0, 202.0, 276.0, 388.0, 575.0, 895.0, 1308.0, 2099.0, 3474.0, 7110.0, 28300.0, 939938.0, 44485.0, 8214.0, 3935.0, 2248.0, 1388.0, 950.0, 636.0, 431.0, 302.0, 218.0, 152.0, 133.0, 79.0, 61.0, 58.0, 37.0, 32.0, 27.0, 26.0, 8.0, 8.0, 8.0, 11.0, 3.0, 6.0, 3.0, 3.0, 1.0, 0.0, 1.0, 2.0, 3.0, 2.0, 1.0, 2.0], "bins": [-0.0022487640380859375, -0.0021701157093048096, -0.0020914673805236816, -0.0020128190517425537, -0.0019341707229614258, -0.0018555223941802979, -0.00177687406539917, -0.001698225736618042, -0.001619577407836914, -0.0015409290790557861, -0.0014622807502746582, -0.0013836324214935303, -0.0013049840927124023, -0.0012263357639312744, -0.0011476874351501465, -0.0010690391063690186, -0.0009903907775878906, -0.0009117424488067627, -0.0008330941200256348, -0.0007544457912445068, -0.0006757974624633789, -0.000597149133682251, -0.000518500804901123, -0.0004398524761199951, -0.0003612041473388672, -0.00028255581855773926, -0.00020390748977661133, -0.0001252591609954834, -4.661083221435547e-05, 3.203749656677246e-05, 0.00011068582534790039, 0.00018933415412902832, 0.00026798248291015625, 0.0003466308116912842, 0.0004252791404724121, 0.00050392746925354, 0.000582575798034668, 0.0006612241268157959, 0.0007398724555969238, 0.0008185207843780518, 0.0008971691131591797, 0.0009758174419403076, 0.0010544657707214355, 0.0011331140995025635, 0.0012117624282836914, 0.0012904107570648193, 0.0013690590858459473, 0.0014477074146270752, 0.0015263557434082031, 0.001605004072189331, 0.001683652400970459, 0.001762300729751587, 0.0018409490585327148, 0.0019195973873138428, 0.0019982457160949707, 0.0020768940448760986, 0.0021555423736572266, 0.0022341907024383545, 0.0023128390312194824, 0.0023914873600006104, 0.0024701356887817383, 0.002548784017562866, 0.002627432346343994, 0.002706080675125122, 0.00278472900390625]}, "gradients/decoder.model.decoder.layers.8.self_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 4.0, 1.0, 0.0, 4.0, 3.0, 0.0, 12.0, 11.0, 10.0, 15.0, 21.0, 8.0, 45.0, 182.0, 346.0, 203.0, 58.0, 12.0, 19.0, 10.0, 9.0, 3.0, 7.0, 4.0, 0.0, 3.0, 5.0, 0.0, 2.0, 4.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.86102294921875e-06, -2.7604401111602783e-06, -2.6598572731018066e-06, -2.559274435043335e-06, -2.4586915969848633e-06, -2.3581087589263916e-06, -2.25752592086792e-06, -2.1569430828094482e-06, -2.0563602447509766e-06, -1.955777406692505e-06, -1.8551945686340332e-06, -1.7546117305755615e-06, -1.6540288925170898e-06, -1.5534460544586182e-06, -1.4528632164001465e-06, -1.3522803783416748e-06, -1.2516975402832031e-06, -1.1511147022247314e-06, -1.0505318641662598e-06, -9.499490261077881e-07, -8.493661880493164e-07, -7.487833499908447e-07, -6.48200511932373e-07, -5.476176738739014e-07, -4.470348358154297e-07, -3.46451997756958e-07, -2.4586915969848633e-07, -1.4528632164001465e-07, -4.470348358154297e-08, 5.587935447692871e-08, 1.564621925354004e-07, 2.5704503059387207e-07, 3.5762786865234375e-07, 4.5821070671081543e-07, 5.587935447692871e-07, 6.593763828277588e-07, 7.599592208862305e-07, 8.605420589447021e-07, 9.611248970031738e-07, 1.0617077350616455e-06, 1.1622905731201172e-06, 1.2628734111785889e-06, 1.3634562492370605e-06, 1.4640390872955322e-06, 1.564621925354004e-06, 1.6652047634124756e-06, 1.7657876014709473e-06, 1.866370439529419e-06, 1.9669532775878906e-06, 2.0675361156463623e-06, 2.168118953704834e-06, 2.2687017917633057e-06, 2.3692846298217773e-06, 2.469867467880249e-06, 2.5704503059387207e-06, 2.6710331439971924e-06, 2.771615982055664e-06, 2.8721988201141357e-06, 2.9727816581726074e-06, 3.073364496231079e-06, 3.1739473342895508e-06, 3.2745301723480225e-06, 3.375113010406494e-06, 3.475695848464966e-06, 3.5762786865234375e-06]}, "gradients/decoder.model.decoder.layers.8.self_attn.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 0.0, 0.0, 5.0, 2.0, 4.0, 1.0, 4.0, 6.0, 5.0, 6.0, 7.0, 12.0, 16.0, 15.0, 34.0, 171.0, 1370.0, 49495.0, 991822.0, 5053.0, 375.0, 59.0, 30.0, 11.0, 7.0, 9.0, 5.0, 6.0, 7.0, 5.0, 3.0, 6.0, 2.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0], "bins": [-0.004589080810546875, -0.004465758800506592, -0.004342436790466309, -0.004219114780426025, -0.004095792770385742, -0.003972470760345459, -0.0038491487503051758, -0.0037258267402648926, -0.0036025047302246094, -0.003479182720184326, -0.003355860710144043, -0.0032325387001037598, -0.0031092166900634766, -0.0029858946800231934, -0.00286257266998291, -0.002739250659942627, -0.0026159286499023438, -0.0024926066398620605, -0.0023692846298217773, -0.002245962619781494, -0.002122640609741211, -0.0019993185997009277, -0.0018759965896606445, -0.0017526745796203613, -0.0016293525695800781, -0.001506030559539795, -0.0013827085494995117, -0.0012593865394592285, -0.0011360645294189453, -0.0010127425193786621, -0.0008894205093383789, -0.0007660984992980957, -0.0006427764892578125, -0.0005194544792175293, -0.0003961324691772461, -0.0002728104591369629, -0.0001494884490966797, -2.6166439056396484e-05, 9.715557098388672e-05, 0.00022047758102416992, 0.0003437995910644531, 0.00046712160110473633, 0.0005904436111450195, 0.0007137656211853027, 0.0008370876312255859, 0.0009604096412658691, 0.0010837316513061523, 0.0012070536613464355, 0.0013303756713867188, 0.001453697681427002, 0.0015770196914672852, 0.0017003417015075684, 0.0018236637115478516, 0.0019469857215881348, 0.002070307731628418, 0.002193629741668701, 0.0023169517517089844, 0.0024402737617492676, 0.0025635957717895508, 0.002686917781829834, 0.002810239791870117, 0.0029335618019104004, 0.0030568838119506836, 0.003180205821990967, 0.00330352783203125]}, "gradients/decoder.model.decoder.layers.8.self_attn.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 4.0, 1.0, 2.0, 0.0, 3.0, 6.0, 3.0, 7.0, 3.0, 6.0, 7.0, 10.0, 12.0, 32.0, 52.0, 183.0, 497.0, 71.0, 32.0, 27.0, 18.0, 7.0, 5.0, 4.0, 2.0, 3.0, 4.0, 1.0, 1.0, 3.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0], "bins": [-0.0011119842529296875, -0.001082099974155426, -0.0010522156953811646, -0.001022331416606903, -0.0009924471378326416, -0.0009625628590583801, -0.0009326785802841187, -0.0009027943015098572, -0.0008729100227355957, -0.0008430257439613342, -0.0008131414651870728, -0.0007832571864128113, -0.0007533729076385498, -0.0007234886288642883, -0.0006936043500900269, -0.0006637200713157654, -0.0006338357925415039, -0.0006039515137672424, -0.000574067234992981, -0.0005441829562187195, -0.000514298677444458, -0.00048441439867019653, -0.00045453011989593506, -0.0004246458411216736, -0.0003947615623474121, -0.00036487728357315063, -0.00033499300479888916, -0.0003051087260246277, -0.0002752244472503662, -0.00024534016847610474, -0.00021545588970184326, -0.0001855716109275818, -0.0001556873321533203, -0.00012580305337905884, -9.591877460479736e-05, -6.603449583053589e-05, -3.6150217056274414e-05, -6.2659382820129395e-06, 2.3618340492248535e-05, 5.350261926651001e-05, 8.338689804077148e-05, 0.00011327117681503296, 0.00014315545558929443, 0.0001730397343635559, 0.00020292401313781738, 0.00023280829191207886, 0.00026269257068634033, 0.0002925768494606018, 0.0003224611282348633, 0.00035234540700912476, 0.00038222968578338623, 0.0004121139645576477, 0.0004419982433319092, 0.00047188252210617065, 0.0005017668008804321, 0.0005316510796546936, 0.0005615353584289551, 0.0005914196372032166, 0.000621303915977478, 0.0006511881947517395, 0.000681072473526001, 0.0007109567523002625, 0.0007408410310745239, 0.0007707253098487854, 0.0008006095886230469]}, "gradients/decoder.model.decoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 16.0, 144.0, 780.0, 60.0, 19.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.017853524535894394, -0.012520458549261093, -0.007187393493950367, -0.0018543284386396408, 0.00347873754799366, 0.00881180353462696, 0.014144867658615112, 0.019477933645248413, 0.024810999631881714, 0.030144065618515015, 0.035477131605148315, 0.040810197591781616, 0.04614326357841492, 0.05147632956504822, 0.05680939182639122, 0.06214245781302452, 0.06747552752494812, 0.07280859351158142, 0.07814165949821472, 0.08347472548484802, 0.08880779147148132, 0.09414085745811462, 0.09947392344474792, 0.10480698943138123, 0.11014004796743393, 0.11547311395406723, 0.12080617994070053, 0.12613923847675323, 0.13147230446338654, 0.13680537045001984, 0.14213843643665314, 0.14747150242328644, 0.15280456840991974, 0.15813763439655304, 0.16347070038318634, 0.16880376636981964, 0.17413683235645294, 0.17946989834308624, 0.18480296432971954, 0.19013603031635284, 0.19546909630298615, 0.20080216228961945, 0.20613522827625275, 0.21146829426288605, 0.21680136024951935, 0.22213442623615265, 0.22746749222278595, 0.23280055820941925, 0.23813360929489136, 0.24346667528152466, 0.24879974126815796, 0.25413280725479126, 0.25946587324142456, 0.26479893922805786, 0.27013200521469116, 0.27546507120132446, 0.28079813718795776, 0.28613120317459106, 0.29146426916122437, 0.29679733514785767, 0.30213040113449097, 0.30746346712112427, 0.31279653310775757, 0.31812959909439087, 0.32346266508102417]}, "gradients/decoder.model.decoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [3.0, 1.0, 2.0, 7.0, 6.0, 6.0, 6.0, 7.0, 8.0, 11.0, 12.0, 15.0, 20.0, 25.0, 18.0, 27.0, 27.0, 22.0, 19.0, 21.0, 31.0, 19.0, 24.0, 28.0, 34.0, 34.0, 27.0, 19.0, 27.0, 24.0, 29.0, 27.0, 21.0, 32.0, 26.0, 28.0, 16.0, 31.0, 23.0, 25.0, 18.0, 24.0, 22.0, 20.0, 28.0, 23.0, 11.0, 18.0, 17.0, 13.0, 6.0, 6.0, 9.0, 7.0, 2.0, 2.0, 4.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.018241586163640022, -0.01757010444998741, -0.0168986227363348, -0.01622714102268219, -0.015555658377707005, -0.014884176664054394, -0.014212694019079208, -0.013541212305426598, -0.012869730591773987, -0.012198248878121376, -0.011526767164468765, -0.01085528451949358, -0.010183802805840969, -0.009512321092188358, -0.008840838447213173, -0.008169356733560562, -0.007497875019907951, -0.006826393306255341, -0.0061549111269414425, -0.005483428947627544, -0.004811947233974934, -0.004140465520322323, -0.0034689833410084248, -0.0027975011616945267, -0.002126019448041916, -0.0014545375015586615, -0.000783055555075407, -0.0001115736085921526, 0.0005599083378911018, 0.0012313902843743563, 0.0019028722308576107, 0.002574354410171509, 0.0032458342611789703, 0.003917315974831581, 0.004588798154145479, 0.005260280333459377, 0.005931762047111988, 0.006603243760764599, 0.007274725940078497, 0.007946208119392395, 0.008617689833045006, 0.009289171546697617, 0.009960653260350227, 0.010632135905325413, 0.011303617618978024, 0.011975099332630634, 0.01264658197760582, 0.01331806369125843, 0.013989545404911041, 0.014661027118563652, 0.015332508832216263, 0.016003990545868874, 0.016675472259521484, 0.017346955835819244, 0.018018437549471855, 0.018689919263124466, 0.019361400976777077, 0.020032882690429688, 0.0207043644040823, 0.02137584611773491, 0.02204732969403267, 0.02271881140768528, 0.02339029312133789, 0.0240617748349905, 0.024733256548643112]}, "gradients/decoder.model.decoder.layers.7.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 4.0, 3.0, 4.0, 8.0, 0.0, 15.0, 8.0, 11.0, 21.0, 17.0, 16.0, 19.0, 36.0, 70.0, 116.0, 222.0, 619.0, 1870.0, 6839.0, 32157.0, 4133495.0, 13276.0, 3600.0, 1065.0, 347.0, 175.0, 59.0, 51.0, 33.0, 24.0, 22.0, 24.0, 21.0, 6.0, 6.0, 9.0, 7.0, 8.0, 1.0, 5.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.027801513671875, -0.026964902877807617, -0.026128292083740234, -0.02529168128967285, -0.02445507049560547, -0.023618459701538086, -0.022781848907470703, -0.02194523811340332, -0.021108627319335938, -0.020272016525268555, -0.019435405731201172, -0.01859879493713379, -0.017762184143066406, -0.016925573348999023, -0.01608896255493164, -0.015252351760864258, -0.014415740966796875, -0.013579130172729492, -0.01274251937866211, -0.011905908584594727, -0.011069297790527344, -0.010232686996459961, -0.009396076202392578, -0.008559465408325195, -0.0077228546142578125, -0.00688624382019043, -0.006049633026123047, -0.005213022232055664, -0.004376411437988281, -0.0035398006439208984, -0.0027031898498535156, -0.0018665790557861328, -0.00102996826171875, -0.0001933574676513672, 0.0006432533264160156, 0.0014798641204833984, 0.0023164749145507812, 0.003153085708618164, 0.003989696502685547, 0.00482630729675293, 0.0056629180908203125, 0.006499528884887695, 0.007336139678955078, 0.008172750473022461, 0.009009361267089844, 0.009845972061157227, 0.01068258285522461, 0.011519193649291992, 0.012355804443359375, 0.013192415237426758, 0.01402902603149414, 0.014865636825561523, 0.015702247619628906, 0.01653885841369629, 0.017375469207763672, 0.018212080001831055, 0.019048690795898438, 0.01988530158996582, 0.020721912384033203, 0.021558523178100586, 0.02239513397216797, 0.02323174476623535, 0.024068355560302734, 0.024904966354370117, 0.0257415771484375]}, "gradients/decoder.model.decoder.layers.7.fc2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 3.0, 5.0, 7.0, 4.0, 8.0, 9.0, 13.0, 17.0, 15.0, 18.0, 25.0, 29.0, 31.0, 58.0, 57.0, 42.0, 46.0, 71.0, 62.0, 52.0, 57.0, 56.0, 40.0, 42.0, 29.0, 42.0, 24.0, 31.0, 21.0, 19.0, 30.0, 6.0, 6.0, 13.0, 5.0, 5.0, 4.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0005846023559570312, -0.0005668550729751587, -0.0005491077899932861, -0.0005313605070114136, -0.000513613224029541, -0.0004958659410476685, -0.0004781186580657959, -0.00046037137508392334, -0.0004426240921020508, -0.0004248768091201782, -0.00040712952613830566, -0.0003893822431564331, -0.00037163496017456055, -0.000353887677192688, -0.00033614039421081543, -0.00031839311122894287, -0.0003006458282470703, -0.00028289854526519775, -0.0002651512622833252, -0.00024740397930145264, -0.00022965669631958008, -0.00021190941333770752, -0.00019416213035583496, -0.0001764148473739624, -0.00015866756439208984, -0.00014092028141021729, -0.00012317299842834473, -0.00010542571544647217, -8.767843246459961e-05, -6.993114948272705e-05, -5.218386650085449e-05, -3.4436583518981934e-05, -1.6689300537109375e-05, 1.0579824447631836e-06, 1.8805265426635742e-05, 3.65525484085083e-05, 5.429983139038086e-05, 7.204711437225342e-05, 8.979439735412598e-05, 0.00010754168033599854, 0.0001252889633178711, 0.00014303624629974365, 0.0001607835292816162, 0.00017853081226348877, 0.00019627809524536133, 0.0002140253782272339, 0.00023177266120910645, 0.000249519944190979, 0.00026726722717285156, 0.0002850145101547241, 0.0003027617931365967, 0.00032050907611846924, 0.0003382563591003418, 0.00035600364208221436, 0.0003737509250640869, 0.00039149820804595947, 0.00040924549102783203, 0.0004269927740097046, 0.00044474005699157715, 0.0004624873399734497, 0.00048023462295532227, 0.0004979819059371948, 0.0005157291889190674, 0.0005334764719009399, 0.0005512237548828125]}, "gradients/decoder.model.decoder.layers.7.fc1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 9.0, 15.0, 38.0, 65.0, 149.0, 708.0, 4187681.0, 5263.0, 181.0, 76.0, 49.0, 28.0, 16.0, 9.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.1121826171875, -0.10961532592773438, -0.10704803466796875, -0.10448074340820312, -0.1019134521484375, -0.09934616088867188, -0.09677886962890625, -0.09421157836914062, -0.091644287109375, -0.08907699584960938, -0.08650970458984375, -0.08394241333007812, -0.0813751220703125, -0.07880783081054688, -0.07624053955078125, -0.07367324829101562, -0.07110595703125, -0.06853866577148438, -0.06597137451171875, -0.06340408325195312, -0.0608367919921875, -0.058269500732421875, -0.05570220947265625, -0.053134918212890625, -0.050567626953125, -0.048000335693359375, -0.04543304443359375, -0.042865753173828125, -0.0402984619140625, -0.037731170654296875, -0.03516387939453125, -0.032596588134765625, -0.030029296875, -0.027462005615234375, -0.02489471435546875, -0.022327423095703125, -0.0197601318359375, -0.017192840576171875, -0.01462554931640625, -0.012058258056640625, -0.009490966796875, -0.006923675537109375, -0.00435638427734375, -0.001789093017578125, 0.0007781982421875, 0.003345489501953125, 0.00591278076171875, 0.008480072021484375, 0.01104736328125, 0.013614654541015625, 0.01618194580078125, 0.018749237060546875, 0.0213165283203125, 0.023883819580078125, 0.02645111083984375, 0.029018402099609375, 0.031585693359375, 0.034152984619140625, 0.03672027587890625, 0.039287567138671875, 0.0418548583984375, 0.044422149658203125, 0.04698944091796875, 0.049556732177734375, 0.0521240234375]}, "gradients/decoder.model.decoder.layers.7.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 4.0, 1.0, 2.0, 7.0, 11.0, 14.0, 24.0, 14.0, 39.0, 3961.0, 15.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0028095245361328125, -0.0025642812252044678, -0.002319037914276123, -0.0020737946033477783, -0.0018285512924194336, -0.0015833079814910889, -0.0013380646705627441, -0.0010928213596343994, -0.0008475780487060547, -0.00060233473777771, -0.00035709142684936523, -0.00011184811592102051, 0.00013339519500732422, 0.00037863850593566895, 0.0006238818168640137, 0.0008691251277923584, 0.0011143684387207031, 0.0013596117496490479, 0.0016048550605773926, 0.0018500983715057373, 0.002095341682434082, 0.0023405849933624268, 0.0025858283042907715, 0.002831071615219116, 0.003076314926147461, 0.0033215582370758057, 0.0035668015480041504, 0.003812044858932495, 0.00405728816986084, 0.004302531480789185, 0.004547774791717529, 0.004793018102645874, 0.005038261413574219, 0.0052835047245025635, 0.005528748035430908, 0.005773991346359253, 0.006019234657287598, 0.006264477968215942, 0.006509721279144287, 0.006754964590072632, 0.0070002079010009766, 0.007245451211929321, 0.007490694522857666, 0.007735937833786011, 0.007981181144714355, 0.0082264244556427, 0.008471667766571045, 0.00871691107749939, 0.008962154388427734, 0.009207397699356079, 0.009452641010284424, 0.009697884321212769, 0.009943127632141113, 0.010188370943069458, 0.010433614253997803, 0.010678857564926147, 0.010924100875854492, 0.011169344186782837, 0.011414587497711182, 0.011659830808639526, 0.011905074119567871, 0.012150317430496216, 0.01239556074142456, 0.012640804052352905, 0.01288604736328125]}, "gradients/decoder.model.decoder.layers.7.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 13.0, 16.0, 28.0, 100.0, 582.0, 208.0, 38.0, 21.0, 5.0, 3.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.006092883180826902, -0.005204477813094854, -0.004316072445362806, -0.003427667310461402, -0.002539261942729354, -0.0016508568078279495, -0.0007624514400959015, 0.00012595392763614655, 0.0010143592953681946, 0.0019027646631002426, 0.0027911700308322906, 0.003679575165733695, 0.004567980766296387, 0.0054563856683671474, 0.0063447910360991955, 0.0072331964038312435, 0.008121602237224579, 0.009010007604956627, 0.009898412972688675, 0.010786818340420723, 0.011675223708152771, 0.012563629075884819, 0.013452034443616867, 0.014340439811348915, 0.015228844247758389, 0.016117248684167862, 0.01700565405189991, 0.017894059419631958, 0.018782464787364006, 0.019670870155096054, 0.020559275522828102, 0.02144768089056015, 0.022336086258292198, 0.023224491626024246, 0.024112896993756294, 0.025001302361488342, 0.02588970772922039, 0.02677811309695244, 0.027666518464684486, 0.028554923832416534, 0.029443329200148582, 0.03033173456788063, 0.03122013993561268, 0.03210854530334473, 0.032996948808431625, 0.03388535603880882, 0.03477375954389572, 0.03566216677427292, 0.03655057027935982, 0.037438973784446716, 0.038327381014823914, 0.03921578451991081, 0.04010419175028801, 0.04099259525537491, 0.041881002485752106, 0.042769405990839005, 0.0436578132212162, 0.0445462167263031, 0.0454346239566803, 0.0463230274617672, 0.047211434692144394, 0.04809983819723129, 0.04898824542760849, 0.04987664893269539, 0.050765056163072586]}, "gradients/decoder.model.decoder.layers.7.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 3.0, 12.0, 19.0, 42.0, 85.0, 128.0, 174.0, 200.0, 165.0, 96.0, 54.0, 22.0, 13.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.007619504351168871, -0.007182323839515448, -0.006745143327862024, -0.006307962816208601, -0.005870782304555178, -0.005433601327240467, -0.004996420815587044, -0.0045592403039336205, -0.004122059792280197, -0.003684879280626774, -0.0032476987689733505, -0.002810518257319927, -0.002373337745666504, -0.001936157001182437, -0.0014989764895290136, -0.0010617959778755903, -0.0006246156990528107, -0.0001874351582955569, 0.00024974538246169686, 0.0006869259523227811, 0.0011241064639762044, 0.0015612870920449495, 0.001998467603698373, 0.002435648115351796, 0.0028728286270052195, 0.0033100091386586428, 0.003747189650312066, 0.004184370394796133, 0.004621550906449556, 0.00505873141810298, 0.005495911929756403, 0.005933092441409826, 0.006370273418724537, 0.00680745393037796, 0.0072446344420313835, 0.007681814953684807, 0.00811899546533823, 0.008556175976991653, 0.008993356488645077, 0.0094305370002985, 0.009867717511951923, 0.010304898023605347, 0.01074207853525877, 0.011179259046912193, 0.011616439558565617, 0.01205362007021904, 0.012490800581872463, 0.012927981093525887, 0.013365162536501884, 0.013802343048155308, 0.014239523559808731, 0.014676704071462154, 0.015113884583115578, 0.015551065094769001, 0.015988245606422424, 0.016425427049398422, 0.01686260662972927, 0.01729978807270527, 0.017736967653036118, 0.018174149096012115, 0.018611328676342964, 0.019048510119318962, 0.01948568969964981, 0.01992287114262581, 0.020360050722956657]}, "gradients/decoder.model.decoder.layers.7.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 4.0, 3.0, 4.0, 7.0, 9.0, 8.0, 23.0, 37.0, 57.0, 90.0, 176.0, 360.0, 908.0, 5278.0, 842747.0, 193909.0, 3549.0, 696.0, 325.0, 137.0, 90.0, 38.0, 30.0, 20.0, 18.0, 6.0, 2.0, 5.0, 5.0, 4.0, 4.0, 2.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0023822784423828125, -0.0023052096366882324, -0.0022281408309936523, -0.0021510720252990723, -0.002074003219604492, -0.001996934413909912, -0.001919865608215332, -0.001842796802520752, -0.0017657279968261719, -0.0016886591911315918, -0.0016115903854370117, -0.0015345215797424316, -0.0014574527740478516, -0.0013803839683532715, -0.0013033151626586914, -0.0012262463569641113, -0.0011491775512695312, -0.0010721087455749512, -0.000995039939880371, -0.000917971134185791, -0.0008409023284912109, -0.0007638335227966309, -0.0006867647171020508, -0.0006096959114074707, -0.0005326271057128906, -0.00045555830001831055, -0.00037848949432373047, -0.0003014206886291504, -0.0002243518829345703, -0.00014728307723999023, -7.021427154541016e-05, 6.854534149169922e-06, 8.392333984375e-05, 0.00016099214553833008, 0.00023806095123291016, 0.00031512975692749023, 0.0003921985626220703, 0.0004692673683166504, 0.0005463361740112305, 0.0006234049797058105, 0.0007004737854003906, 0.0007775425910949707, 0.0008546113967895508, 0.0009316802024841309, 0.001008749008178711, 0.001085817813873291, 0.001162886619567871, 0.0012399554252624512, 0.0013170242309570312, 0.0013940930366516113, 0.0014711618423461914, 0.0015482306480407715, 0.0016252994537353516, 0.0017023682594299316, 0.0017794370651245117, 0.0018565058708190918, 0.0019335746765136719, 0.002010643482208252, 0.002087712287902832, 0.002164781093597412, 0.002241849899291992, 0.0023189187049865723, 0.0023959875106811523, 0.0024730563163757324, 0.0025501251220703125]}, "gradients/decoder.model.decoder.layers.7.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 6.0, 9.0, 32.0, 63.0, 161.0, 246.0, 249.0, 144.0, 71.0, 22.0, 6.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.0099945068359375, -0.009691596031188965, -0.00938868522644043, -0.009085774421691895, -0.00878286361694336, -0.008479952812194824, -0.008177042007446289, -0.007874131202697754, -0.007571220397949219, -0.007268309593200684, -0.0069653987884521484, -0.006662487983703613, -0.006359577178955078, -0.006056666374206543, -0.005753755569458008, -0.005450844764709473, -0.0051479339599609375, -0.004845023155212402, -0.004542112350463867, -0.004239201545715332, -0.003936290740966797, -0.0036333799362182617, -0.0033304691314697266, -0.0030275583267211914, -0.0027246475219726562, -0.002421736717224121, -0.002118825912475586, -0.0018159151077270508, -0.0015130043029785156, -0.0012100934982299805, -0.0009071826934814453, -0.0006042718887329102, -0.000301361083984375, 1.5497207641601562e-06, 0.0003044605255126953, 0.0006073713302612305, 0.0009102821350097656, 0.0012131929397583008, 0.001516103744506836, 0.001819014549255371, 0.0021219253540039062, 0.0024248361587524414, 0.0027277469635009766, 0.0030306577682495117, 0.003333568572998047, 0.003636479377746582, 0.003939390182495117, 0.004242300987243652, 0.0045452117919921875, 0.004848122596740723, 0.005151033401489258, 0.005453944206237793, 0.005756855010986328, 0.006059765815734863, 0.0063626766204833984, 0.006665587425231934, 0.006968498229980469, 0.007271409034729004, 0.007574319839477539, 0.007877230644226074, 0.00818014144897461, 0.008483052253723145, 0.00878596305847168, 0.009088873863220215, 0.00939178466796875]}, "gradients/decoder.model.decoder.layers.7.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 8.0, 7.0, 7.0, 18.0, 23.0, 36.0, 62.0, 77.0, 107.0, 135.0, 185.0, 275.0, 370.0, 603.0, 957.0, 1588.0, 2424.0, 4052.0, 6826.0, 12205.0, 22187.0, 43301.0, 88862.0, 253232.0, 389025.0, 112235.0, 50726.0, 25441.0, 13942.0, 7656.0, 4565.0, 2609.0, 1672.0, 1061.0, 696.0, 439.0, 299.0, 174.0, 124.0, 102.0, 73.0, 52.0, 38.0, 27.0, 20.0, 16.0, 7.0, 8.0, 5.0, 3.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.6624412536621094e-05, -5.480460822582245e-05, -5.2984803915023804e-05, -5.116499960422516e-05, -4.9345195293426514e-05, -4.752539098262787e-05, -4.5705586671829224e-05, -4.388578236103058e-05, -4.2065978050231934e-05, -4.024617373943329e-05, -3.8426369428634644e-05, -3.6606565117836e-05, -3.4786760807037354e-05, -3.296695649623871e-05, -3.1147152185440063e-05, -2.932734787464142e-05, -2.7507543563842773e-05, -2.568773925304413e-05, -2.3867934942245483e-05, -2.204813063144684e-05, -2.0228326320648193e-05, -1.840852200984955e-05, -1.6588717699050903e-05, -1.4768913388252258e-05, -1.2949109077453613e-05, -1.1129304766654968e-05, -9.309500455856323e-06, -7.489696145057678e-06, -5.669891834259033e-06, -3.850087523460388e-06, -2.030283212661743e-06, -2.1047890186309814e-07, 1.6093254089355469e-06, 3.429129719734192e-06, 5.248934030532837e-06, 7.068738341331482e-06, 8.888542652130127e-06, 1.0708346962928772e-05, 1.2528151273727417e-05, 1.4347955584526062e-05, 1.6167759895324707e-05, 1.7987564206123352e-05, 1.9807368516921997e-05, 2.1627172827720642e-05, 2.3446977138519287e-05, 2.5266781449317932e-05, 2.7086585760116577e-05, 2.8906390070915222e-05, 3.072619438171387e-05, 3.254599869251251e-05, 3.436580300331116e-05, 3.61856073141098e-05, 3.800541162490845e-05, 3.982521593570709e-05, 4.164502024650574e-05, 4.346482455730438e-05, 4.528462886810303e-05, 4.710443317890167e-05, 4.892423748970032e-05, 5.074404180049896e-05, 5.256384611129761e-05, 5.438365042209625e-05, 5.62034547328949e-05, 5.802325904369354e-05, 5.984306335449219e-05]}, "gradients/decoder.model.decoder.layers.7.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 6.0, 3.0, 4.0, 10.0, 6.0, 9.0, 6.0, 10.0, 8.0, 12.0, 14.0, 26.0, 20.0, 25.0, 19.0, 28.0, 28.0, 24.0, 44.0, 37.0, 45.0, 41.0, 38.0, 47.0, 50.0, 39.0, 41.0, 49.0, 38.0, 30.0, 42.0, 24.0, 25.0, 19.0, 18.0, 24.0, 24.0, 18.0, 10.0, 11.0, 7.0, 3.0, 6.0, 4.0, 5.0, 8.0, 2.0, 4.0, 2.0, 2.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.003936767578125, -0.003810286521911621, -0.003683805465698242, -0.0035573244094848633, -0.0034308433532714844, -0.0033043622970581055, -0.0031778812408447266, -0.0030514001846313477, -0.0029249191284179688, -0.00279843807220459, -0.002671957015991211, -0.002545475959777832, -0.002418994903564453, -0.0022925138473510742, -0.0021660327911376953, -0.0020395517349243164, -0.0019130706787109375, -0.0017865896224975586, -0.0016601085662841797, -0.0015336275100708008, -0.0014071464538574219, -0.001280665397644043, -0.001154184341430664, -0.0010277032852172852, -0.0009012222290039062, -0.0007747411727905273, -0.0006482601165771484, -0.0005217790603637695, -0.0003952980041503906, -0.0002688169479370117, -0.0001423358917236328, -1.5854835510253906e-05, 0.000110626220703125, 0.0002371072769165039, 0.0003635883331298828, 0.0004900693893432617, 0.0006165504455566406, 0.0007430315017700195, 0.0008695125579833984, 0.0009959936141967773, 0.0011224746704101562, 0.0012489557266235352, 0.001375436782836914, 0.001501917839050293, 0.0016283988952636719, 0.0017548799514770508, 0.0018813610076904297, 0.0020078420639038086, 0.0021343231201171875, 0.0022608041763305664, 0.0023872852325439453, 0.0025137662887573242, 0.002640247344970703, 0.002766728401184082, 0.002893209457397461, 0.00301969051361084, 0.0031461715698242188, 0.0032726526260375977, 0.0033991336822509766, 0.0035256147384643555, 0.0036520957946777344, 0.0037785768508911133, 0.003905057907104492, 0.004031538963317871, 0.00415802001953125]}, "gradients/decoder.model.decoder.layers.7.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 68.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1012.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 12000.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1022944.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 11440.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1039.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 67.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0], "bins": [-2.384185791015625e-07, -2.3096799850463867e-07, -2.2351741790771484e-07, -2.1606683731079102e-07, -2.086162567138672e-07, -2.0116567611694336e-07, -1.9371509552001953e-07, -1.862645149230957e-07, -1.7881393432617188e-07, -1.7136335372924805e-07, -1.6391277313232422e-07, -1.564621925354004e-07, -1.4901161193847656e-07, -1.4156103134155273e-07, -1.341104507446289e-07, -1.2665987014770508e-07, -1.1920928955078125e-07, -1.1175870895385742e-07, -1.043081283569336e-07, -9.685754776000977e-08, -8.940696716308594e-08, -8.195638656616211e-08, -7.450580596923828e-08, -6.705522537231445e-08, -5.960464477539063e-08, -5.21540641784668e-08, -4.470348358154297e-08, -3.725290298461914e-08, -2.9802322387695312e-08, -2.2351741790771484e-08, -1.4901161193847656e-08, -7.450580596923828e-09, 0.0, 7.450580596923828e-09, 1.4901161193847656e-08, 2.2351741790771484e-08, 2.9802322387695312e-08, 3.725290298461914e-08, 4.470348358154297e-08, 5.21540641784668e-08, 5.960464477539063e-08, 6.705522537231445e-08, 7.450580596923828e-08, 8.195638656616211e-08, 8.940696716308594e-08, 9.685754776000977e-08, 1.043081283569336e-07, 1.1175870895385742e-07, 1.1920928955078125e-07, 1.2665987014770508e-07, 1.341104507446289e-07, 1.4156103134155273e-07, 1.4901161193847656e-07, 1.564621925354004e-07, 1.6391277313232422e-07, 1.7136335372924805e-07, 1.7881393432617188e-07, 1.862645149230957e-07, 1.9371509552001953e-07, 2.0116567611694336e-07, 2.086162567138672e-07, 2.1606683731079102e-07, 2.2351741790771484e-07, 2.3096799850463867e-07, 2.384185791015625e-07]}, "gradients/decoder.model.decoder.layers.7.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 3.0, 0.0, 0.0, 5.0, 0.0, 0.0, 10.0, 0.0, 0.0, 23.0, 0.0, 0.0, 19.0, 0.0, 0.0, 54.0, 0.0, 0.0, 88.0, 0.0, 0.0, 93.0, 0.0, 0.0, 156.0, 0.0, 0.0, 144.0, 0.0, 0.0, 153.0, 0.0, 0.0, 113.0, 0.0, 0.0, 66.0, 0.0, 0.0, 40.0, 0.0, 0.0, 25.0, 0.0, 0.0, 11.0, 0.0, 0.0, 9.0, 0.0, 0.0, 5.0, 0.0, 0.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.960464477539062e-07, -5.764886736869812e-07, -5.569308996200562e-07, -5.373731255531311e-07, -5.178153514862061e-07, -4.98257577419281e-07, -4.78699803352356e-07, -4.591420292854309e-07, -4.3958425521850586e-07, -4.200264811515808e-07, -4.0046870708465576e-07, -3.809109330177307e-07, -3.6135315895080566e-07, -3.417953848838806e-07, -3.2223761081695557e-07, -3.026798367500305e-07, -2.8312206268310547e-07, -2.635642886161804e-07, -2.4400651454925537e-07, -2.2444874048233032e-07, -2.0489096641540527e-07, -1.8533319234848022e-07, -1.6577541828155518e-07, -1.4621764421463013e-07, -1.2665987014770508e-07, -1.0710209608078003e-07, -8.754432201385498e-08, -6.798654794692993e-08, -4.842877388000488e-08, -2.8870999813079834e-08, -9.313225746154785e-09, 1.0244548320770264e-08, 2.9802322387695312e-08, 4.936009645462036e-08, 6.891787052154541e-08, 8.847564458847046e-08, 1.0803341865539551e-07, 1.2759119272232056e-07, 1.471489667892456e-07, 1.6670674085617065e-07, 1.862645149230957e-07, 2.0582228899002075e-07, 2.253800630569458e-07, 2.4493783712387085e-07, 2.644956111907959e-07, 2.8405338525772095e-07, 3.03611159324646e-07, 3.2316893339157104e-07, 3.427267074584961e-07, 3.6228448152542114e-07, 3.818422555923462e-07, 4.0140002965927124e-07, 4.209578037261963e-07, 4.4051557779312134e-07, 4.600733518600464e-07, 4.796311259269714e-07, 4.991888999938965e-07, 5.187466740608215e-07, 5.383044481277466e-07, 5.578622221946716e-07, 5.774199962615967e-07, 5.969777703285217e-07, 6.165355443954468e-07, 6.360933184623718e-07, 6.556510925292969e-07]}, "gradients/decoder.model.decoder.layers.7.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [5.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 35.0, 0.0, 0.0, 83.0, 0.0, 0.0, 0.0, 251.0, 0.0, 0.0, 908.0, 0.0, 0.0, 0.0, 3611.0, 0.0, 0.0, 0.0, 1038686.0, 0.0, 0.0, 3648.0, 0.0, 0.0, 0.0, 951.0, 0.0, 0.0, 247.0, 0.0, 0.0, 0.0, 87.0, 0.0, 0.0, 32.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 3.0], "bins": [-5.364418029785156e-07, -5.19677996635437e-07, -5.029141902923584e-07, -4.861503839492798e-07, -4.6938657760620117e-07, -4.5262277126312256e-07, -4.3585896492004395e-07, -4.1909515857696533e-07, -4.023313522338867e-07, -3.855675458908081e-07, -3.688037395477295e-07, -3.520399332046509e-07, -3.3527612686157227e-07, -3.1851232051849365e-07, -3.0174851417541504e-07, -2.849847078323364e-07, -2.682209014892578e-07, -2.514570951461792e-07, -2.3469328880310059e-07, -2.1792948246002197e-07, -2.0116567611694336e-07, -1.8440186977386475e-07, -1.6763806343078613e-07, -1.5087425708770752e-07, -1.341104507446289e-07, -1.1734664440155029e-07, -1.0058283805847168e-07, -8.381903171539307e-08, -6.705522537231445e-08, -5.029141902923584e-08, -3.3527612686157227e-08, -1.6763806343078613e-08, 0.0, 1.6763806343078613e-08, 3.3527612686157227e-08, 5.029141902923584e-08, 6.705522537231445e-08, 8.381903171539307e-08, 1.0058283805847168e-07, 1.1734664440155029e-07, 1.341104507446289e-07, 1.5087425708770752e-07, 1.6763806343078613e-07, 1.8440186977386475e-07, 2.0116567611694336e-07, 2.1792948246002197e-07, 2.3469328880310059e-07, 2.514570951461792e-07, 2.682209014892578e-07, 2.849847078323364e-07, 3.0174851417541504e-07, 3.1851232051849365e-07, 3.3527612686157227e-07, 3.520399332046509e-07, 3.688037395477295e-07, 3.855675458908081e-07, 4.023313522338867e-07, 4.1909515857696533e-07, 4.3585896492004395e-07, 4.5262277126312256e-07, 4.6938657760620117e-07, 4.861503839492798e-07, 5.029141902923584e-07, 5.19677996635437e-07, 5.364418029785156e-07]}, "gradients/decoder.model.decoder.layers.7.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1007.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-1.1920928955078125e-07, -1.1548399925231934e-07, -1.1175870895385742e-07, -1.0803341865539551e-07, -1.043081283569336e-07, -1.0058283805847168e-07, -9.685754776000977e-08, -9.313225746154785e-08, -8.940696716308594e-08, -8.568167686462402e-08, -8.195638656616211e-08, -7.82310962677002e-08, -7.450580596923828e-08, -7.078051567077637e-08, -6.705522537231445e-08, -6.332993507385254e-08, -5.960464477539063e-08, -5.587935447692871e-08, -5.21540641784668e-08, -4.842877388000488e-08, -4.470348358154297e-08, -4.0978193283081055e-08, -3.725290298461914e-08, -3.3527612686157227e-08, -2.9802322387695312e-08, -2.60770320892334e-08, -2.2351741790771484e-08, -1.862645149230957e-08, -1.4901161193847656e-08, -1.1175870895385742e-08, -7.450580596923828e-09, -3.725290298461914e-09, 0.0, 3.725290298461914e-09, 7.450580596923828e-09, 1.1175870895385742e-08, 1.4901161193847656e-08, 1.862645149230957e-08, 2.2351741790771484e-08, 2.60770320892334e-08, 2.9802322387695312e-08, 3.3527612686157227e-08, 3.725290298461914e-08, 4.0978193283081055e-08, 4.470348358154297e-08, 4.842877388000488e-08, 5.21540641784668e-08, 5.587935447692871e-08, 5.960464477539063e-08, 6.332993507385254e-08, 6.705522537231445e-08, 7.078051567077637e-08, 7.450580596923828e-08, 7.82310962677002e-08, 8.195638656616211e-08, 8.568167686462402e-08, 8.940696716308594e-08, 9.313225746154785e-08, 9.685754776000977e-08, 1.0058283805847168e-07, 1.043081283569336e-07, 1.0803341865539551e-07, 1.1175870895385742e-07, 1.1548399925231934e-07, 1.1920928955078125e-07]}, "gradients/decoder.model.decoder.layers.7.self_attn_layer_norm.weight": {"_type": "histogram", "values": [2.0, 5.0, 25.0, 53.0, 342.0, 547.0, 31.0, 10.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0036221107002347708, -0.002912751631811261, -0.002203392330557108, -0.0014940332621335983, -0.0007846741937100887, -7.531512528657913e-05, 0.0006340441759675741, 0.0013434032443910837, 0.0020527623128145933, 0.002762121381238103, 0.003471480682492256, 0.004180839750915766, 0.004890198819339275, 0.005599557887762785, 0.0063089169561862946, 0.0070182764902710915, 0.007727635093033314, 0.00843699462711811, 0.009146353229880333, 0.00985571276396513, 0.010565071366727352, 0.011274430900812149, 0.011983789503574371, 0.012693149037659168, 0.013402508571743965, 0.014111868105828762, 0.014821226708590984, 0.015530586242675781, 0.016239944845438004, 0.016949303448200226, 0.017658663913607597, 0.01836802251636982, 0.019077381119132042, 0.019786739721894264, 0.020496100187301636, 0.021205458790063858, 0.02191481739282608, 0.022624175995588303, 0.023333536460995674, 0.024042895063757896, 0.02475225366652012, 0.02546161226928234, 0.026170972734689713, 0.026880331337451935, 0.027589689940214157, 0.02829904854297638, 0.02900840900838375, 0.029717767611145973, 0.030427128076553345, 0.031136486679315567, 0.03184584528207779, 0.03255520388484001, 0.03326456621289253, 0.033973924815654755, 0.03468328341841698, 0.0353926420211792, 0.03610200062394142, 0.036811359226703644, 0.037520717829465866, 0.03823007643222809, 0.03893943876028061, 0.03964879736304283, 0.040358155965805054, 0.041067514568567276, 0.0417768731713295]}, "gradients/decoder.model.decoder.layers.7.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 5.0, 13.0, 42.0, 130.0, 239.0, 295.0, 181.0, 78.0, 25.0, 5.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.009050168097019196, -0.008705740794539452, -0.008361312560737133, -0.008016884326934814, -0.0076724570244550705, -0.007328029256314039, -0.006983601488173008, -0.006639173720031977, -0.0062947459518909454, -0.005950318183749914, -0.005605890415608883, -0.005261462647467852, -0.00491703487932682, -0.004572607111185789, -0.004228179343044758, -0.0038837515749037266, -0.0035393238067626953, -0.003194896038621664, -0.0028504682704806328, -0.0025060405023396015, -0.0021616127341985703, -0.001817184966057539, -0.0014727571979165077, -0.0011283294297754765, -0.0007839016616344452, -0.0004394738934934139, -9.504612535238266e-05, 0.0002493816427886486, 0.0005938094109296799, 0.0009382371790707111, 0.0012826649472117424, 0.0016270927153527737, 0.001971520483493805, 0.002315948251634836, 0.0026603760197758675, 0.0030048037879168987, 0.00334923155605793, 0.0036936593241989613, 0.0040380870923399925, 0.004382514860481024, 0.004726942628622055, 0.005071370396763086, 0.005415798164904118, 0.005760225933045149, 0.00610465370118618, 0.006449081469327211, 0.006793509237468243, 0.007137937005609274, 0.007482364773750305, 0.00782679207623005, 0.008171220310032368, 0.008515648543834686, 0.00886007584631443, 0.009204503148794174, 0.009548931382596493, 0.009893359616398811, 0.010237786918878555, 0.0105822142213583, 0.010926642455160618, 0.011271070688962936, 0.01161549799144268, 0.011959925293922424, 0.012304353527724743, 0.012648781761527061, 0.012993209064006805]}, "gradients/decoder.model.decoder.layers.7.self_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 4.0, 4.0, 2.0, 7.0, 5.0, 4.0, 9.0, 8.0, 13.0, 19.0, 32.0, 48.0, 59.0, 57.0, 84.0, 127.0, 168.0, 246.0, 435.0, 3956.0, 913286.0, 127082.0, 1700.0, 374.0, 216.0, 164.0, 128.0, 75.0, 61.0, 44.0, 41.0, 29.0, 22.0, 18.0, 8.0, 4.0, 8.0, 4.0, 4.0, 5.0, 4.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0096588134765625, -0.009324193000793457, -0.008989572525024414, -0.008654952049255371, -0.008320331573486328, -0.007985711097717285, -0.007651090621948242, -0.007316470146179199, -0.006981849670410156, -0.006647229194641113, -0.00631260871887207, -0.005977988243103027, -0.005643367767333984, -0.005308747291564941, -0.0049741268157958984, -0.0046395063400268555, -0.0043048858642578125, -0.0039702653884887695, -0.0036356449127197266, -0.0033010244369506836, -0.0029664039611816406, -0.0026317834854125977, -0.0022971630096435547, -0.0019625425338745117, -0.0016279220581054688, -0.0012933015823364258, -0.0009586811065673828, -0.0006240606307983398, -0.0002894401550292969, 4.5180320739746094e-05, 0.00037980079650878906, 0.000714421272277832, 0.001049041748046875, 0.001383662223815918, 0.001718282699584961, 0.002052903175354004, 0.002387523651123047, 0.00272214412689209, 0.003056764602661133, 0.0033913850784301758, 0.0037260055541992188, 0.004060626029968262, 0.004395246505737305, 0.004729866981506348, 0.005064487457275391, 0.005399107933044434, 0.0057337284088134766, 0.0060683488845825195, 0.0064029693603515625, 0.0067375898361206055, 0.0070722103118896484, 0.007406830787658691, 0.007741451263427734, 0.008076071739196777, 0.00841069221496582, 0.008745312690734863, 0.009079933166503906, 0.00941455364227295, 0.009749174118041992, 0.010083794593811035, 0.010418415069580078, 0.010753035545349121, 0.011087656021118164, 0.011422276496887207, 0.01175689697265625]}, "gradients/decoder.model.decoder.layers.7.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 5.0, 23.0, 112.0, 320.0, 394.0, 125.0, 33.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0008482933044433594, -0.0008099451661109924, -0.0007715970277786255, -0.0007332488894462585, -0.0006949007511138916, -0.0006565526127815247, -0.0006182044744491577, -0.0005798563361167908, -0.0005415081977844238, -0.0005031600594520569, -0.00046481192111968994, -0.000426463782787323, -0.00038811564445495605, -0.0003497675061225891, -0.00031141936779022217, -0.0002730712294578552, -0.00023472309112548828, -0.00019637495279312134, -0.0001580268144607544, -0.00011967867612838745, -8.133053779602051e-05, -4.2982399463653564e-05, -4.634261131286621e-06, 3.371387720108032e-05, 7.206201553344727e-05, 0.00011041015386581421, 0.00014875829219818115, 0.0001871064305305481, 0.00022545456886291504, 0.000263802707195282, 0.0003021508455276489, 0.00034049898386001587, 0.0003788471221923828, 0.00041719526052474976, 0.0004555433988571167, 0.0004938915371894836, 0.0005322396755218506, 0.0005705878138542175, 0.0006089359521865845, 0.0006472840905189514, 0.0006856322288513184, 0.0007239803671836853, 0.0007623285055160522, 0.0008006766438484192, 0.0008390247821807861, 0.0008773729205131531, 0.00091572105884552, 0.000954069197177887, 0.000992417335510254, 0.0010307654738426208, 0.0010691136121749878, 0.0011074617505073547, 0.0011458098888397217, 0.0011841580271720886, 0.0012225061655044556, 0.0012608543038368225, 0.0012992024421691895, 0.0013375505805015564, 0.0013758987188339233, 0.0014142468571662903, 0.0014525949954986572, 0.0014909431338310242, 0.0015292912721633911, 0.001567639410495758, 0.001605987548828125]}, "gradients/decoder.model.decoder.layers.7.self_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 2.0, 4.0, 2.0, 0.0, 5.0, 9.0, 5.0, 17.0, 25.0, 24.0, 34.0, 45.0, 85.0, 121.0, 226.0, 278.0, 509.0, 835.0, 1631.0, 3078.0, 6677.0, 15909.0, 46741.0, 237030.0, 616842.0, 77142.0, 23187.0, 9094.0, 4139.0, 2118.0, 1080.0, 609.0, 389.0, 217.0, 142.0, 100.0, 65.0, 28.0, 36.0, 26.0, 21.0, 12.0, 8.0, 4.0, 4.0, 4.0, 3.0, 1.0, 4.0, 2.0], "bins": [-0.0009655952453613281, -0.0009403079748153687, -0.0009150207042694092, -0.0008897334337234497, -0.0008644461631774902, -0.0008391588926315308, -0.0008138716220855713, -0.0007885843515396118, -0.0007632970809936523, -0.0007380098104476929, -0.0007127225399017334, -0.0006874352693557739, -0.0006621479988098145, -0.000636860728263855, -0.0006115734577178955, -0.000586286187171936, -0.0005609989166259766, -0.0005357116460800171, -0.0005104243755340576, -0.00048513710498809814, -0.00045984983444213867, -0.0004345625638961792, -0.0004092752933502197, -0.00038398802280426025, -0.0003587007522583008, -0.0003334134817123413, -0.00030812621116638184, -0.00028283894062042236, -0.0002575516700744629, -0.00023226439952850342, -0.00020697712898254395, -0.00018168985843658447, -0.000156402587890625, -0.00013111531734466553, -0.00010582804679870605, -8.054077625274658e-05, -5.525350570678711e-05, -2.9966235160827637e-05, -4.678964614868164e-06, 2.060830593109131e-05, 4.589557647705078e-05, 7.118284702301025e-05, 9.647011756896973e-05, 0.0001217573881149292, 0.00014704465866088867, 0.00017233192920684814, 0.00019761919975280762, 0.0002229064702987671, 0.00024819374084472656, 0.00027348101139068604, 0.0002987682819366455, 0.000324055552482605, 0.00034934282302856445, 0.0003746300935745239, 0.0003999173641204834, 0.00042520463466644287, 0.00045049190521240234, 0.0004757791757583618, 0.0005010664463043213, 0.0005263537168502808, 0.0005516409873962402, 0.0005769282579421997, 0.0006022155284881592, 0.0006275027990341187, 0.0006527900695800781]}, "gradients/decoder.model.decoder.layers.7.self_attn.v_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 5.0, 3.0, 9.0, 8.0, 7.0, 7.0, 20.0, 29.0, 26.0, 34.0, 39.0, 50.0, 57.0, 65.0, 83.0, 93.0, 91.0, 69.0, 60.0, 46.0, 43.0, 34.0, 29.0, 20.0, 24.0, 13.0, 10.0, 8.0, 9.0, 3.0, 4.0, 2.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002875328063964844, -0.0002761036157608032, -0.00026467442512512207, -0.0002532452344894409, -0.00024181604385375977, -0.0002303868532180786, -0.00021895766258239746, -0.0002075284719467163, -0.00019609928131103516, -0.000184670090675354, -0.00017324090003967285, -0.0001618117094039917, -0.00015038251876831055, -0.0001389533281326294, -0.00012752413749694824, -0.00011609494686126709, -0.00010466575622558594, -9.323656558990479e-05, -8.180737495422363e-05, -7.037818431854248e-05, -5.894899368286133e-05, -4.7519803047180176e-05, -3.6090612411499023e-05, -2.466142177581787e-05, -1.3232231140136719e-05, -1.8030405044555664e-06, 9.626150131225586e-06, 2.1055340766906738e-05, 3.248453140258789e-05, 4.391372203826904e-05, 5.5342912673950195e-05, 6.677210330963135e-05, 7.82012939453125e-05, 8.963048458099365e-05, 0.0001010596752166748, 0.00011248886585235596, 0.0001239180564880371, 0.00013534724712371826, 0.00014677643775939941, 0.00015820562839508057, 0.00016963481903076172, 0.00018106400966644287, 0.00019249320030212402, 0.00020392239093780518, 0.00021535158157348633, 0.00022678077220916748, 0.00023820996284484863, 0.0002496391534805298, 0.00026106834411621094, 0.0002724975347518921, 0.00028392672538757324, 0.0002953559160232544, 0.00030678510665893555, 0.0003182142972946167, 0.00032964348793029785, 0.000341072678565979, 0.00035250186920166016, 0.0003639310598373413, 0.00037536025047302246, 0.0003867894411087036, 0.00039821863174438477, 0.0004096478223800659, 0.00042107701301574707, 0.0004325062036514282, 0.0004439353942871094]}, "gradients/decoder.model.decoder.layers.7.self_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 3.0, 3.0, 1.0, 2.0, 4.0, 3.0, 3.0, 2.0, 4.0, 8.0, 8.0, 13.0, 22.0, 24.0, 42.0, 55.0, 61.0, 99.0, 160.0, 232.0, 420.0, 750.0, 2107.0, 12447.0, 1020796.0, 7940.0, 1566.0, 713.0, 347.0, 226.0, 153.0, 100.0, 85.0, 49.0, 28.0, 17.0, 19.0, 10.0, 7.0, 8.0, 5.0, 8.0, 4.0, 1.0, 4.0, 4.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-0.004413604736328125, -0.004277408123016357, -0.00414121150970459, -0.004005014896392822, -0.0038688182830810547, -0.003732621669769287, -0.0035964250564575195, -0.003460228443145752, -0.0033240318298339844, -0.003187835216522217, -0.0030516386032104492, -0.0029154419898986816, -0.002779245376586914, -0.0026430487632751465, -0.002506852149963379, -0.0023706555366516113, -0.0022344589233398438, -0.002098262310028076, -0.0019620656967163086, -0.001825869083404541, -0.0016896724700927734, -0.0015534758567810059, -0.0014172792434692383, -0.0012810826301574707, -0.0011448860168457031, -0.0010086894035339355, -0.000872492790222168, -0.0007362961769104004, -0.0006000995635986328, -0.00046390295028686523, -0.00032770633697509766, -0.00019150972366333008, -5.53131103515625e-05, 8.088350296020508e-05, 0.00021708011627197266, 0.00035327672958374023, 0.0004894733428955078, 0.0006256699562072754, 0.000761866569519043, 0.0008980631828308105, 0.0010342597961425781, 0.0011704564094543457, 0.0013066530227661133, 0.0014428496360778809, 0.0015790462493896484, 0.001715242862701416, 0.0018514394760131836, 0.001987636089324951, 0.0021238327026367188, 0.0022600293159484863, 0.002396225929260254, 0.0025324225425720215, 0.002668619155883789, 0.0028048157691955566, 0.0029410123825073242, 0.003077208995819092, 0.0032134056091308594, 0.003349602222442627, 0.0034857988357543945, 0.003621995449066162, 0.0037581920623779297, 0.0038943886756896973, 0.004030585289001465, 0.004166781902313232, 0.004302978515625]}, "gradients/decoder.model.decoder.layers.7.self_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 6.0, 22.0, 77.0, 0.0, 241.0, 369.0, 195.0, 74.0, 0.0, 16.0, 6.0, 2.0, 0.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1324882507324219e-06, -1.085922122001648e-06, -1.039355993270874e-06, -9.927898645401e-07, -9.462237358093262e-07, -8.996576070785522e-07, -8.530914783477783e-07, -8.065253496170044e-07, -7.599592208862305e-07, -7.133930921554565e-07, -6.668269634246826e-07, -6.202608346939087e-07, -5.736947059631348e-07, -5.271285772323608e-07, -4.805624485015869e-07, -4.33996319770813e-07, -3.8743019104003906e-07, -3.4086406230926514e-07, -2.942979335784912e-07, -2.477318048477173e-07, -2.0116567611694336e-07, -1.5459954738616943e-07, -1.0803341865539551e-07, -6.146728992462158e-08, -1.4901161193847656e-08, 3.166496753692627e-08, 7.82310962677002e-08, 1.2479722499847412e-07, 1.7136335372924805e-07, 2.1792948246002197e-07, 2.644956111907959e-07, 3.110617399215698e-07, 3.5762786865234375e-07, 4.041939973831177e-07, 4.507601261138916e-07, 4.973262548446655e-07, 5.438923835754395e-07, 5.904585123062134e-07, 6.370246410369873e-07, 6.835907697677612e-07, 7.301568984985352e-07, 7.767230272293091e-07, 8.23289155960083e-07, 8.698552846908569e-07, 9.164214134216309e-07, 9.629875421524048e-07, 1.0095536708831787e-06, 1.0561197996139526e-06, 1.1026859283447266e-06, 1.1492520570755005e-06, 1.1958181858062744e-06, 1.2423843145370483e-06, 1.2889504432678223e-06, 1.3355165719985962e-06, 1.3820827007293701e-06, 1.428648829460144e-06, 1.475214958190918e-06, 1.521781086921692e-06, 1.5683472156524658e-06, 1.6149133443832397e-06, 1.6614794731140137e-06, 1.7080456018447876e-06, 1.7546117305755615e-06, 1.8011778593063354e-06, 1.8477439880371094e-06]}, "gradients/decoder.model.decoder.layers.7.self_attn.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0, 3.0, 4.0, 2.0, 4.0, 3.0, 9.0, 4.0, 12.0, 21.0, 29.0, 35.0, 51.0, 78.0, 100.0, 159.0, 216.0, 379.0, 574.0, 901.0, 1630.0, 2979.0, 6038.0, 15280.0, 867953.0, 127061.0, 13055.0, 5391.0, 2695.0, 1476.0, 864.0, 535.0, 316.0, 205.0, 146.0, 101.0, 61.0, 56.0, 38.0, 28.0, 18.0, 16.0, 13.0, 8.0, 5.0, 3.0, 2.0, 6.0, 1.0, 0.0, 3.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0006861686706542969, -0.0006659477949142456, -0.0006457269191741943, -0.0006255060434341431, -0.0006052851676940918, -0.0005850642919540405, -0.0005648434162139893, -0.000544622540473938, -0.0005244016647338867, -0.0005041807889938354, -0.0004839599132537842, -0.0004637390375137329, -0.00044351816177368164, -0.00042329728603363037, -0.0004030764102935791, -0.00038285553455352783, -0.00036263465881347656, -0.0003424137830734253, -0.000322192907333374, -0.00030197203159332275, -0.0002817511558532715, -0.0002615302801132202, -0.00024130940437316895, -0.00022108852863311768, -0.0002008676528930664, -0.00018064677715301514, -0.00016042590141296387, -0.0001402050256729126, -0.00011998414993286133, -9.976327419281006e-05, -7.954239845275879e-05, -5.932152271270752e-05, -3.910064697265625e-05, -1.887977123260498e-05, 1.341104507446289e-06, 2.156198024749756e-05, 4.178285598754883e-05, 6.20037317276001e-05, 8.222460746765137e-05, 0.00010244548320770264, 0.0001226663589477539, 0.00014288723468780518, 0.00016310811042785645, 0.00018332898616790771, 0.00020354986190795898, 0.00022377073764801025, 0.00024399161338806152, 0.0002642124891281128, 0.00028443336486816406, 0.00030465424060821533, 0.0003248751163482666, 0.00034509599208831787, 0.00036531686782836914, 0.0003855377435684204, 0.0004057586193084717, 0.00042597949504852295, 0.0004462003707885742, 0.0004664212465286255, 0.00048664212226867676, 0.000506862998008728, 0.0005270838737487793, 0.0005473047494888306, 0.0005675256252288818, 0.0005877465009689331, 0.0006079673767089844]}, "gradients/decoder.model.decoder.layers.7.self_attn.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 2.0, 2.0, 1.0, 3.0, 5.0, 6.0, 7.0, 5.0, 6.0, 8.0, 7.0, 7.0, 7.0, 26.0, 231.0, 582.0, 40.0, 17.0, 10.0, 10.0, 3.0, 4.0, 3.0, 5.0, 1.0, 2.0, 1.0, 1.0, 3.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00030112266540527344, -0.00029111653566360474, -0.00028111040592193604, -0.00027110427618026733, -0.00026109814643859863, -0.00025109201669692993, -0.00024108588695526123, -0.00023107975721359253, -0.00022107362747192383, -0.00021106749773025513, -0.00020106136798858643, -0.00019105523824691772, -0.00018104910850524902, -0.00017104297876358032, -0.00016103684902191162, -0.00015103071928024292, -0.00014102458953857422, -0.00013101845979690552, -0.00012101233005523682, -0.00011100620031356812, -0.00010100007057189941, -9.099394083023071e-05, -8.098781108856201e-05, -7.098168134689331e-05, -6.097555160522461e-05, -5.096942186355591e-05, -4.096329212188721e-05, -3.0957162380218506e-05, -2.0951032638549805e-05, -1.0944902896881104e-05, -9.387731552124023e-07, 9.067356586456299e-06, 1.9073486328125e-05, 2.90796160697937e-05, 3.90857458114624e-05, 4.9091875553131104e-05, 5.9098005294799805e-05, 6.91041350364685e-05, 7.911026477813721e-05, 8.911639451980591e-05, 9.912252426147461e-05, 0.00010912865400314331, 0.00011913478374481201, 0.0001291409134864807, 0.00013914704322814941, 0.00014915317296981812, 0.00015915930271148682, 0.00016916543245315552, 0.00017917156219482422, 0.00018917769193649292, 0.00019918382167816162, 0.00020918995141983032, 0.00021919608116149902, 0.00022920221090316772, 0.00023920834064483643, 0.0002492144703865051, 0.00025922060012817383, 0.00026922672986984253, 0.00027923285961151123, 0.00028923898935317993, 0.00029924511909484863, 0.00030925124883651733, 0.00031925737857818604, 0.00032926350831985474, 0.00033926963806152344]}, "gradients/decoder.model.decoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 9.0, 8.0, 24.0, 70.0, 341.0, 414.0, 91.0, 22.0, 8.0, 8.0, 1.0, 3.0, 4.0, 4.0, 4.0], "bins": [-0.012017316184937954, -0.011794820427894592, -0.01157232467085123, -0.011349829845130444, -0.011127334088087082, -0.01090483833104372, -0.010682342574000359, -0.010459846816956997, -0.010237351059913635, -0.010014855302870274, -0.009792359545826912, -0.009569864720106125, -0.009347368963062763, -0.009124873206019402, -0.00890237744897604, -0.008679881691932678, -0.008457386866211891, -0.00823489110916853, -0.008012395352125168, -0.0077899000607430935, -0.007567404769361019, -0.0073449090123176575, -0.007122413255274296, -0.006899917498230934, -0.00667742220684886, -0.006454926449805498, -0.006232431158423424, -0.006009935401380062, -0.0057874396443367004, -0.005564944352954626, -0.005342448595911264, -0.00511995330452919, -0.004897457547485828, -0.004674961790442467, -0.004452466499060392, -0.004229970742017031, -0.004007475450634956, -0.0037849796935915947, -0.003562483936548233, -0.003339988412335515, -0.0031174926552921534, -0.0028949971310794353, -0.0026725013740360737, -0.0024500058498233557, -0.0022275103256106377, -0.0020050148013979197, -0.0017825191607698798, -0.00156002352014184, -0.001337527995929122, -0.001115032471716404, -0.0008925368310883641, -0.0006700412486679852, -0.0004475456662476063, -0.00022505014203488827, -2.5545014068484306e-06, 0.0002199411392211914, 0.0004424366634339094, 0.0006649322458542883, 0.0008874278282746673, 0.001109923468902707, 0.0013324189931154251, 0.0015549145173281431, 0.001777410157956183, 0.001999905798584223, 0.002222401322796941]}, "gradients/decoder.model.decoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 10.0, 11.0, 19.0, 32.0, 53.0, 82.0, 108.0, 135.0, 105.0, 129.0, 112.0, 73.0, 58.0, 39.0, 25.0, 16.0, 8.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0007782034808769822, -0.0007382957264780998, -0.0006983879720792174, -0.000658480217680335, -0.0006185724632814527, -0.0005786647088825703, -0.0005387570126913488, -0.0004988492582924664, -0.000458941503893584, -0.0004190337494947016, -0.00037912599509581923, -0.0003392182698007673, -0.0002993105154018849, -0.0002594027610030025, -0.00021949502115603536, -0.0001795872813090682, -0.00013967952691018581, -9.977177978726104e-05, -5.9864032664336264e-05, -1.995628554141149e-05, 1.9951461581513286e-05, 5.9859215980395675e-05, 9.976695582736284e-05, 0.00013967469567433, 0.00017958245007321239, 0.00021949020447209477, 0.00025939795887097716, 0.0002993056841660291, 0.0003392134385649115, 0.0003791211929637939, 0.0004190289182588458, 0.0004589366726577282, 0.0004988443106412888, 0.0005387520650401711, 0.0005786598194390535, 0.0006185675738379359, 0.0006584753282368183, 0.0006983830826357007, 0.0007382907788269222, 0.0007781985332258046, 0.000818106287624687, 0.0008580140420235693, 0.0008979217964224517, 0.0009378295508213341, 0.0009777372470125556, 0.001017645001411438, 0.0010575527558103204, 0.0010974605102092028, 0.0011373682646080852, 0.0011772760190069675, 0.00121718377340585, 0.0012570915278047323, 0.0012969992822036147, 0.001336907036602497, 0.0013768147910013795, 0.0014167225454002619, 0.0014566301833838224, 0.0014965379377827048, 0.0015364456921815872, 0.0015763534465804696, 0.001616261200979352, 0.0016561689553782344, 0.0016960767097771168, 0.0017359843477606773, 0.0017758922185748816]}, "gradients/decoder.model.decoder.layers.6.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 3.0, 2.0, 2.0, 1.0, 14.0, 7.0, 17.0, 14.0, 28.0, 51.0, 57.0, 68.0, 106.0, 185.0, 304.0, 461.0, 762.0, 1411.0, 2832.0, 6140.0, 14050.0, 41552.0, 423666.0, 3583654.0, 81126.0, 20762.0, 8345.0, 3870.0, 2093.0, 1170.0, 554.0, 366.0, 202.0, 170.0, 98.0, 53.0, 35.0, 20.0, 12.0, 13.0, 8.0, 4.0, 0.0, 4.0, 2.0, 1.0, 0.0, 2.0], "bins": [-0.002071380615234375, -0.002018555998802185, -0.001965731382369995, -0.0019129067659378052, -0.0018600821495056152, -0.0018072575330734253, -0.0017544329166412354, -0.0017016083002090454, -0.0016487836837768555, -0.0015959590673446655, -0.0015431344509124756, -0.0014903098344802856, -0.0014374852180480957, -0.0013846606016159058, -0.0013318359851837158, -0.0012790113687515259, -0.001226186752319336, -0.001173362135887146, -0.001120537519454956, -0.0010677129030227661, -0.0010148882865905762, -0.0009620636701583862, -0.0009092390537261963, -0.0008564144372940063, -0.0008035898208618164, -0.0007507652044296265, -0.0006979405879974365, -0.0006451159715652466, -0.0005922913551330566, -0.0005394667387008667, -0.00048664212226867676, -0.0004338175058364868, -0.0003809928894042969, -0.00032816827297210693, -0.000275343656539917, -0.00022251904010772705, -0.0001696944236755371, -0.00011686980724334717, -6.404519081115723e-05, -1.1220574378967285e-05, 4.1604042053222656e-05, 9.44286584854126e-05, 0.00014725327491760254, 0.00020007789134979248, 0.0002529025077819824, 0.00030572712421417236, 0.0003585517406463623, 0.00041137635707855225, 0.0004642009735107422, 0.0005170255899429321, 0.0005698502063751221, 0.000622674822807312, 0.000675499439239502, 0.0007283240556716919, 0.0007811486721038818, 0.0008339732885360718, 0.0008867979049682617, 0.0009396225214004517, 0.0009924471378326416, 0.0010452717542648315, 0.0010980963706970215, 0.0011509209871292114, 0.0012037456035614014, 0.0012565702199935913, 0.0013093948364257812]}, "gradients/decoder.model.decoder.layers.6.fc2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 4.0, 5.0, 3.0, 4.0, 6.0, 11.0, 3.0, 12.0, 4.0, 22.0, 55.0, 141.0, 255.0, 223.0, 134.0, 59.0, 10.0, 14.0, 10.0, 7.0, 3.0, 9.0, 6.0, 3.0, 0.0, 4.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0001537799835205078, -0.00014983490109443665, -0.00014588981866836548, -0.0001419447362422943, -0.00013799965381622314, -0.00013405457139015198, -0.0001301094889640808, -0.00012616440653800964, -0.00012221932411193848, -0.00011827424168586731, -0.00011432915925979614, -0.00011038407683372498, -0.00010643899440765381, -0.00010249391198158264, -9.854882955551147e-05, -9.460374712944031e-05, -9.065866470336914e-05, -8.671358227729797e-05, -8.27684998512268e-05, -7.882341742515564e-05, -7.487833499908447e-05, -7.09332525730133e-05, -6.698817014694214e-05, -6.304308772087097e-05, -5.9098005294799805e-05, -5.515292286872864e-05, -5.120784044265747e-05, -4.7262758016586304e-05, -4.331767559051514e-05, -3.937259316444397e-05, -3.54275107383728e-05, -3.1482428312301636e-05, -2.753734588623047e-05, -2.3592263460159302e-05, -1.9647181034088135e-05, -1.5702098608016968e-05, -1.17570161819458e-05, -7.811933755874634e-06, -3.866851329803467e-06, 7.82310962677002e-08, 4.023313522338867e-06, 7.968395948410034e-06, 1.1913478374481201e-05, 1.5858560800552368e-05, 1.9803643226623535e-05, 2.3748725652694702e-05, 2.769380807876587e-05, 3.1638890504837036e-05, 3.55839729309082e-05, 3.952905535697937e-05, 4.347413778305054e-05, 4.7419220209121704e-05, 5.136430263519287e-05, 5.530938506126404e-05, 5.9254467487335205e-05, 6.319954991340637e-05, 6.714463233947754e-05, 7.10897147655487e-05, 7.503479719161987e-05, 7.897987961769104e-05, 8.292496204376221e-05, 8.687004446983337e-05, 9.081512689590454e-05, 9.476020932197571e-05, 9.870529174804688e-05]}, "gradients/decoder.model.decoder.layers.6.fc1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 9.0, 26.0, 54.0, 141.0, 286.0, 4507.0, 4187673.0, 1193.0, 241.0, 110.0, 40.0, 11.0, 3.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0087127685546875, -0.00846642255783081, -0.008220076560974121, -0.007973730564117432, -0.007727384567260742, -0.007481038570404053, -0.007234692573547363, -0.006988346576690674, -0.006742000579833984, -0.006495654582977295, -0.0062493085861206055, -0.006002962589263916, -0.0057566165924072266, -0.005510270595550537, -0.005263924598693848, -0.005017578601837158, -0.004771232604980469, -0.004524886608123779, -0.00427854061126709, -0.0040321946144104, -0.003785848617553711, -0.0035395026206970215, -0.003293156623840332, -0.0030468106269836426, -0.002800464630126953, -0.0025541186332702637, -0.0023077726364135742, -0.0020614266395568848, -0.0018150806427001953, -0.0015687346458435059, -0.0013223886489868164, -0.001076042652130127, -0.0008296966552734375, -0.000583350658416748, -0.0003370046615600586, -9.065866470336914e-05, 0.0001556873321533203, 0.00040203332901000977, 0.0006483793258666992, 0.0008947253227233887, 0.0011410713195800781, 0.0013874173164367676, 0.001633763313293457, 0.0018801093101501465, 0.002126455307006836, 0.0023728013038635254, 0.002619147300720215, 0.0028654932975769043, 0.0031118392944335938, 0.003358185291290283, 0.0036045312881469727, 0.003850877285003662, 0.0040972232818603516, 0.004343569278717041, 0.0045899152755737305, 0.00483626127243042, 0.005082607269287109, 0.005328953266143799, 0.005575299263000488, 0.005821645259857178, 0.006067991256713867, 0.006314337253570557, 0.006560683250427246, 0.0068070292472839355, 0.007053375244140625]}, "gradients/decoder.model.decoder.layers.6.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 6.0, 28.0, 192.0, 2699.0, 1040.0, 96.0, 15.0, 3.0, 5.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0008406639099121094, -0.000810481607913971, -0.0007802993059158325, -0.0007501170039176941, -0.0007199347019195557, -0.0006897523999214172, -0.0006595700979232788, -0.0006293877959251404, -0.000599205493927002, -0.0005690231919288635, -0.0005388408899307251, -0.0005086585879325867, -0.00047847628593444824, -0.0004482939839363098, -0.0004181116819381714, -0.00038792937994003296, -0.00035774707794189453, -0.0003275647759437561, -0.0002973824739456177, -0.00026720017194747925, -0.00023701786994934082, -0.0002068355679512024, -0.00017665326595306396, -0.00014647096395492554, -0.00011628866195678711, -8.610635995864868e-05, -5.5924057960510254e-05, -2.5741755962371826e-05, 4.4405460357666016e-06, 3.462284803390503e-05, 6.480515003204346e-05, 9.498745203018188e-05, 0.0001251697540283203, 0.00015535205602645874, 0.00018553435802459717, 0.0002157166600227356, 0.000245898962020874, 0.00027608126401901245, 0.0003062635660171509, 0.0003364458680152893, 0.00036662817001342773, 0.00039681047201156616, 0.0004269927740097046, 0.000457175076007843, 0.00048735737800598145, 0.0005175396800041199, 0.0005477219820022583, 0.0005779042840003967, 0.0006080865859985352, 0.0006382688879966736, 0.000668451189994812, 0.0006986334919929504, 0.0007288157939910889, 0.0007589980959892273, 0.0007891803979873657, 0.0008193626999855042, 0.0008495450019836426, 0.000879727303981781, 0.0009099096059799194, 0.0009400919079780579, 0.0009702742099761963, 0.0010004565119743347, 0.0010306388139724731, 0.0010608211159706116, 0.00109100341796875]}, "gradients/decoder.model.decoder.layers.6.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 4.0, 5.0, 7.0, 9.0, 9.0, 14.0, 10.0, 29.0, 46.0, 86.0, 152.0, 294.0, 139.0, 87.0, 42.0, 26.0, 14.0, 15.0, 6.0, 6.0, 2.0, 1.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0011262857588008046, -0.001097767148166895, -0.001069248653948307, -0.0010407300433143973, -0.0010122114326804876, -0.0009836929384618998, -0.0009551743278279901, -0.0009266557171940804, -0.0008981371647678316, -0.0008696186123415828, -0.0008411000017076731, -0.0008125814492814243, -0.0007840628968551755, -0.0007555442862212658, -0.000727025733795017, -0.0006985071813687682, -0.0006699885707348585, -0.0006414700183086097, -0.0006129514076747, -0.0005844328552484512, -0.0005559143028222024, -0.0005273956921882927, -0.000498877139762044, -0.0004703585582319647, -0.0004418400349095464, -0.00041332145337946713, -0.00038480290095321834, -0.0003562843194231391, -0.00032776573789305985, -0.0002992471563629806, -0.0002707286039367318, -0.00024221002240665257, -0.00021369144087657332, -0.0001851728738984093, -0.00015665429236833006, -0.00012813572539016604, -9.961715113604441e-05, -7.109857688192278e-05, -4.2580009903758764e-05, -1.4061428373679519e-05, 1.4457138604484499e-05, 4.297571285860613e-05, 7.149428711272776e-05, 0.00010001285409089178, 0.0001285314210690558, 0.00015705000259913504, 0.00018556856957729906, 0.0002140871511073783, 0.00024260571808554232, 0.00027112429961562157, 0.00029964285204187036, 0.0003281614335719496, 0.00035668001510202885, 0.00038519856752827764, 0.0004137171490583569, 0.0004422357305884361, 0.0004707542830146849, 0.0004992728354409337, 0.0005277914460748434, 0.0005563099985010922, 0.000584828550927341, 0.0006133471615612507, 0.0006418657139874995, 0.0006703842664137483, 0.000698902877047658]}, "gradients/decoder.model.decoder.layers.6.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 5.0, 1.0, 6.0, 3.0, 9.0, 10.0, 15.0, 15.0, 16.0, 22.0, 22.0, 33.0, 31.0, 32.0, 43.0, 46.0, 47.0, 53.0, 50.0, 43.0, 44.0, 68.0, 49.0, 41.0, 44.0, 29.0, 33.0, 26.0, 29.0, 29.0, 21.0, 23.0, 13.0, 13.0, 11.0, 9.0, 8.0, 4.0, 3.0, 1.0, 2.0, 6.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00023064321430865675, -0.0002225406642537564, -0.00021443812875077128, -0.00020633557869587094, -0.0001982330286409706, -0.00019013049313798547, -0.00018202794308308512, -0.00017392539302818477, -0.00016582285752519965, -0.0001577203074702993, -0.00014961777196731418, -0.00014151522191241384, -0.0001334126718575135, -0.00012531012180261314, -0.00011720758629962802, -0.00010910503624472767, -0.00010100248618982732, -9.289994341088459e-05, -8.479739335598424e-05, -7.66948505770415e-05, -6.859230052214116e-05, -6.0489757743198425e-05, -5.238721496425569e-05, -4.428466854733415e-05, -3.618212213041261e-05, -2.8079575713491067e-05, -1.997703111555893e-05, -1.1874486517626792e-05, -3.771940100705251e-06, 4.33060631621629e-06, 1.2433149095159024e-05, 2.0535695512080565e-05, 2.8638256480917335e-05, 3.6740802897838876e-05, 4.484334931476042e-05, 5.294589209370315e-05, 6.10484421486035e-05, 6.915098492754623e-05, 7.725352770648897e-05, 8.535607776138932e-05, 9.345862054033205e-05, 0.00010156116331927478, 0.00010966371337417513, 0.00011776625615311787, 0.0001258687989320606, 0.00013397134898696095, 0.0001420738990418613, 0.00015017643454484642, 0.00015827898459974676, 0.0001663815346546471, 0.00017448407015763223, 0.00018258662021253258, 0.00019068917026743293, 0.00019879170577041805, 0.0002068942558253184, 0.00021499680588021874, 0.00022309934138320386, 0.0002312018914381042, 0.00023930442694108933, 0.0002474069769959897, 0.0002555095124989748, 0.0002636120771057904, 0.0002717146126087755, 0.0002798171481117606, 0.0002879197127185762]}, "gradients/decoder.model.decoder.layers.6.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 3.0, 4.0, 1.0, 7.0, 15.0, 17.0, 20.0, 49.0, 79.0, 160.0, 247.0, 550.0, 1284.0, 3673.0, 15450.0, 231490.0, 761443.0, 26199.0, 5011.0, 1572.0, 632.0, 294.0, 148.0, 86.0, 46.0, 31.0, 13.0, 8.0, 11.0, 6.0, 4.0, 4.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.681680679321289e-05, -6.425939500331879e-05, -6.170198321342468e-05, -5.914457142353058e-05, -5.6587159633636475e-05, -5.402974784374237e-05, -5.1472336053848267e-05, -4.891492426395416e-05, -4.635751247406006e-05, -4.3800100684165955e-05, -4.124268889427185e-05, -3.8685277104377747e-05, -3.612786531448364e-05, -3.357045352458954e-05, -3.1013041734695435e-05, -2.845562994480133e-05, -2.5898218154907227e-05, -2.3340806365013123e-05, -2.078339457511902e-05, -1.8225982785224915e-05, -1.566857099533081e-05, -1.3111159205436707e-05, -1.0553747415542603e-05, -7.996335625648499e-06, -5.4389238357543945e-06, -2.8815120458602905e-06, -3.241002559661865e-07, 2.2333115339279175e-06, 4.7907233238220215e-06, 7.3481351137161255e-06, 9.90554690361023e-06, 1.2462958693504333e-05, 1.5020370483398438e-05, 1.757778227329254e-05, 2.0135194063186646e-05, 2.269260585308075e-05, 2.5250017642974854e-05, 2.7807429432868958e-05, 3.036484122276306e-05, 3.2922253012657166e-05, 3.547966480255127e-05, 3.8037076592445374e-05, 4.059448838233948e-05, 4.315190017223358e-05, 4.5709311962127686e-05, 4.826672375202179e-05, 5.0824135541915894e-05, 5.338154733181e-05, 5.59389591217041e-05, 5.8496370911598206e-05, 6.105378270149231e-05, 6.361119449138641e-05, 6.616860628128052e-05, 6.872601807117462e-05, 7.128342986106873e-05, 7.384084165096283e-05, 7.639825344085693e-05, 7.895566523075104e-05, 8.151307702064514e-05, 8.407048881053925e-05, 8.662790060043335e-05, 8.918531239032745e-05, 9.174272418022156e-05, 9.430013597011566e-05, 9.685754776000977e-05]}, "gradients/decoder.model.decoder.layers.6.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 4.0, 1.0, 1.0, 7.0, 9.0, 8.0, 10.0, 21.0, 29.0, 50.0, 71.0, 87.0, 108.0, 93.0, 116.0, 95.0, 67.0, 68.0, 48.0, 35.0, 29.0, 23.0, 5.0, 12.0, 7.0, 3.0, 4.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-0.0005345344543457031, -0.0005215182900428772, -0.0005085021257400513, -0.0004954859614372253, -0.0004824697971343994, -0.0004694536328315735, -0.00045643746852874756, -0.00044342130422592163, -0.0004304051399230957, -0.0004173889756202698, -0.00040437281131744385, -0.0003913566470146179, -0.000378340482711792, -0.00036532431840896606, -0.00035230815410614014, -0.0003392919898033142, -0.0003262758255004883, -0.00031325966119766235, -0.0003002434968948364, -0.0002872273325920105, -0.00027421116828918457, -0.00026119500398635864, -0.0002481788396835327, -0.0002351626753807068, -0.00022214651107788086, -0.00020913034677505493, -0.000196114182472229, -0.00018309801816940308, -0.00017008185386657715, -0.00015706568956375122, -0.0001440495252609253, -0.00013103336095809937, -0.00011801719665527344, -0.00010500103235244751, -9.198486804962158e-05, -7.896870374679565e-05, -6.595253944396973e-05, -5.29363751411438e-05, -3.992021083831787e-05, -2.6904046535491943e-05, -1.3887882232666016e-05, -8.717179298400879e-07, 1.214444637298584e-05, 2.5160610675811768e-05, 3.8176774978637695e-05, 5.119293928146362e-05, 6.420910358428955e-05, 7.722526788711548e-05, 9.02414321899414e-05, 0.00010325759649276733, 0.00011627376079559326, 0.0001292899250984192, 0.00014230608940124512, 0.00015532225370407104, 0.00016833841800689697, 0.0001813545823097229, 0.00019437074661254883, 0.00020738691091537476, 0.00022040307521820068, 0.0002334192395210266, 0.00024643540382385254, 0.00025945156812667847, 0.0002724677324295044, 0.0002854838967323303, 0.00029850006103515625]}, "gradients/decoder.model.decoder.layers.6.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 5.0, 3.0, 3.0, 8.0, 19.0, 27.0, 45.0, 73.0, 116.0, 190.0, 187.0, 355.0, 634.0, 1058.0, 2161.0, 4010.0, 5682.0, 14865.0, 34049.0, 84822.0, 268486.0, 444211.0, 108761.0, 35352.0, 22542.0, 10275.0, 4859.0, 2465.0, 1288.0, 629.0, 550.0, 316.0, 185.0, 117.0, 69.0, 42.0, 26.0, 21.0, 16.0, 11.0, 9.0, 11.0, 2.0, 5.0, 3.0, 1.0, 0.0, 0.0, 3.0], "bins": [-8.285045623779297e-06, -8.05594027042389e-06, -7.826834917068481e-06, -7.597729563713074e-06, -7.368624210357666e-06, -7.139518857002258e-06, -6.910413503646851e-06, -6.681308150291443e-06, -6.452202796936035e-06, -6.2230974435806274e-06, -5.99399209022522e-06, -5.764886736869812e-06, -5.535781383514404e-06, -5.306676030158997e-06, -5.077570676803589e-06, -4.848465323448181e-06, -4.6193599700927734e-06, -4.390254616737366e-06, -4.161149263381958e-06, -3.93204391002655e-06, -3.7029385566711426e-06, -3.473833203315735e-06, -3.244727849960327e-06, -3.0156224966049194e-06, -2.7865171432495117e-06, -2.557411789894104e-06, -2.3283064365386963e-06, -2.0992010831832886e-06, -1.8700957298278809e-06, -1.6409903764724731e-06, -1.4118850231170654e-06, -1.1827796697616577e-06, -9.5367431640625e-07, -7.245689630508423e-07, -4.954636096954346e-07, -2.6635825634002686e-07, -3.725290298461914e-08, 1.9185245037078857e-07, 4.209578037261963e-07, 6.50063157081604e-07, 8.791685104370117e-07, 1.1082738637924194e-06, 1.3373792171478271e-06, 1.5664845705032349e-06, 1.7955899238586426e-06, 2.0246952772140503e-06, 2.253800630569458e-06, 2.4829059839248657e-06, 2.7120113372802734e-06, 2.941116690635681e-06, 3.170222043991089e-06, 3.3993273973464966e-06, 3.6284327507019043e-06, 3.857538104057312e-06, 4.08664345741272e-06, 4.3157488107681274e-06, 4.544854164123535e-06, 4.773959517478943e-06, 5.003064870834351e-06, 5.232170224189758e-06, 5.461275577545166e-06, 5.690380930900574e-06, 5.9194862842559814e-06, 6.148591637611389e-06, 6.377696990966797e-06]}, "gradients/decoder.model.decoder.layers.6.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 14.0, 8.0, 9.0, 8.0, 16.0, 17.0, 21.0, 23.0, 25.0, 31.0, 23.0, 45.0, 51.0, 37.0, 56.0, 55.0, 50.0, 55.0, 53.0, 47.0, 47.0, 45.0, 50.0, 28.0, 37.0, 34.0, 33.0, 22.0, 19.0, 17.0, 12.0, 7.0, 5.0, 5.0, 4.0, 2.0, 1.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.0005769729614257812, -0.0005609951913356781, -0.000545017421245575, -0.0005290396511554718, -0.0005130618810653687, -0.0004970841109752655, -0.00048110634088516235, -0.0004651285707950592, -0.00044915080070495605, -0.0004331730306148529, -0.00041719526052474976, -0.0004012174904346466, -0.00038523972034454346, -0.0003692619502544403, -0.00035328418016433716, -0.000337306410074234, -0.00032132863998413086, -0.0003053508698940277, -0.00028937309980392456, -0.0002733953297138214, -0.00025741755962371826, -0.0002414397895336151, -0.00022546201944351196, -0.0002094842493534088, -0.00019350647926330566, -0.00017752870917320251, -0.00016155093908309937, -0.00014557316899299622, -0.00012959539890289307, -0.00011361762881278992, -9.763985872268677e-05, -8.166208863258362e-05, -6.568431854248047e-05, -4.970654845237732e-05, -3.372877836227417e-05, -1.775100827217102e-05, -1.773238182067871e-06, 1.4204531908035278e-05, 3.0182301998138428e-05, 4.616007208824158e-05, 6.213784217834473e-05, 7.811561226844788e-05, 9.409338235855103e-05, 0.00011007115244865417, 0.00012604892253875732, 0.00014202669262886047, 0.00015800446271896362, 0.00017398223280906677, 0.00018996000289916992, 0.00020593777298927307, 0.00022191554307937622, 0.00023789331316947937, 0.0002538710832595825, 0.00026984885334968567, 0.0002858266234397888, 0.00030180439352989197, 0.0003177821636199951, 0.00033375993371009827, 0.0003497377038002014, 0.00036571547389030457, 0.0003816932439804077, 0.00039767101407051086, 0.000413648784160614, 0.00042962655425071716, 0.0004456043243408203]}, "gradients/decoder.model.decoder.layers.6.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, -0.0]}, "gradients/decoder.model.decoder.layers.6.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 26.0, 0.0, 0.0, 0.0, 46.0, 0.0, 0.0, 0.0, 119.0, 0.0, 0.0, 0.0, 0.0, 215.0, 0.0, 0.0, 0.0, 252.0, 0.0, 0.0, 0.0, 173.0, 0.0, 0.0, 0.0, 110.0, 0.0, 0.0, 0.0, 0.0, 42.0, 0.0, 0.0, 0.0, 20.0, 0.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 4.0], "bins": [-5.364418029785156e-07, -5.224719643592834e-07, -5.085021257400513e-07, -4.945322871208191e-07, -4.805624485015869e-07, -4.6659260988235474e-07, -4.5262277126312256e-07, -4.386529326438904e-07, -4.246830940246582e-07, -4.10713255405426e-07, -3.9674341678619385e-07, -3.8277357816696167e-07, -3.688037395477295e-07, -3.548339009284973e-07, -3.4086406230926514e-07, -3.2689422369003296e-07, -3.129243850708008e-07, -2.989545464515686e-07, -2.849847078323364e-07, -2.7101486921310425e-07, -2.5704503059387207e-07, -2.430751919746399e-07, -2.2910535335540771e-07, -2.1513551473617554e-07, -2.0116567611694336e-07, -1.8719583749771118e-07, -1.73225998878479e-07, -1.5925616025924683e-07, -1.4528632164001465e-07, -1.3131648302078247e-07, -1.1734664440155029e-07, -1.0337680578231812e-07, -8.940696716308594e-08, -7.543712854385376e-08, -6.146728992462158e-08, -4.7497451305389404e-08, -3.3527612686157227e-08, -1.955777406692505e-08, -5.587935447692871e-09, 8.381903171539307e-09, 2.2351741790771484e-08, 3.632158041000366e-08, 5.029141902923584e-08, 6.426125764846802e-08, 7.82310962677002e-08, 9.220093488693237e-08, 1.0617077350616455e-07, 1.2014061212539673e-07, 1.341104507446289e-07, 1.4808028936386108e-07, 1.6205012798309326e-07, 1.7601996660232544e-07, 1.8998980522155762e-07, 2.039596438407898e-07, 2.1792948246002197e-07, 2.3189932107925415e-07, 2.4586915969848633e-07, 2.598389983177185e-07, 2.738088369369507e-07, 2.8777867555618286e-07, 3.0174851417541504e-07, 3.157183527946472e-07, 3.296881914138794e-07, 3.4365803003311157e-07, 3.5762786865234375e-07]}, "gradients/decoder.model.decoder.layers.6.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.6.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.6.self_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 3.0, 2.0, 6.0, 3.0, 10.0, 12.0, 11.0, 29.0, 55.0, 86.0, 197.0, 280.0, 130.0, 63.0, 44.0, 28.0, 18.0, 7.0, 7.0, 5.0, 2.0, 4.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0005387147539295256, -0.0005220344173721969, -0.0005053540226072073, -0.0004886736860498786, -0.0004719933494925499, -0.00045531298383139074, -0.0004386326181702316, -0.0004219522816129029, -0.0004052719159517437, -0.00038859155029058456, -0.00037191121373325586, -0.0003552308480720967, -0.00033855048241093755, -0.00032187014585360885, -0.0003051897801924497, -0.00028850941453129053, -0.00027182907797396183, -0.00025514871231280267, -0.00023846837575547397, -0.00022178801009431481, -0.00020510765898507088, -0.00018842730787582695, -0.0001717469422146678, -0.00015506659110542387, -0.00013838623999617994, -0.00012170588888693601, -0.00010502553050173447, -8.834517211653292e-05, -7.166482100728899e-05, -5.498446989804506e-05, -3.830411151284352e-05, -2.1623753127641976e-05, -4.943343810737133e-06, 1.1737010936485603e-05, 2.841736568370834e-05, 4.5097720430931076e-05, 6.177807517815381e-05, 7.845842628739774e-05, 9.513878467259929e-05, 0.00011181914305780083, 0.00012849949416704476, 0.0001451798452762887, 0.00016186019638553262, 0.00017854056204669178, 0.0001952209131559357, 0.00021190126426517963, 0.0002285816299263388, 0.00024526199558749795, 0.00026194233214482665, 0.0002786226978059858, 0.0002953030343633145, 0.00031198340002447367, 0.00032866373658180237, 0.0003453441022429615, 0.0003620244679041207, 0.0003787048044614494, 0.00039538517012260854, 0.0004120655357837677, 0.0004287458723410964, 0.00044542623800225556, 0.0004621066036634147, 0.0004787869402207434, 0.0004954672767780721, 0.0005121476715430617, 0.0005288280081003904]}, "gradients/decoder.model.decoder.layers.6.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 10.0, 5.0, 7.0, 17.0, 23.0, 44.0, 61.0, 73.0, 89.0, 116.0, 99.0, 115.0, 93.0, 72.0, 56.0, 51.0, 31.0, 17.0, 19.0, 9.0, 4.0, 5.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.000480994232930243, -0.0004704640887212008, -0.00045993394451215863, -0.000449403771199286, -0.0004388736269902438, -0.0004283434827812016, -0.0004178133385721594, -0.0004072831943631172, -0.00039675302105024457, -0.0003862228768412024, -0.0003756927326321602, -0.00036516255931928754, -0.00035463241511024535, -0.00034410227090120316, -0.00033357212669216096, -0.00032304198248311877, -0.0003125118382740766, -0.0003019816940650344, -0.0002914515498559922, -0.00028092140564695, -0.00027039123233407736, -0.00025986108812503517, -0.000249330943915993, -0.00023880079970695078, -0.00022827064094599336, -0.00021774049673695117, -0.00020721033797599375, -0.00019668019376695156, -0.00018615004955790937, -0.00017561989079695195, -0.00016508974658790976, -0.00015455958782695234, -0.0001440294145140797, -0.0001334992703050375, -0.00012296911154408008, -0.00011243896733503789, -0.00010190881585003808, -9.137866436503828e-05, -8.084852015599608e-05, -7.031836867099628e-05, -5.978821718599647e-05, -4.925806570099667e-05, -3.872791785397567e-05, -2.819777000695467e-05, -1.7667618521954864e-05, -7.1374670369550586e-06, 3.392677172087133e-06, 1.3922828657086939e-05, 2.4452980142086744e-05, 3.498313162708655e-05, 4.551327947410755e-05, 5.604342732112855e-05, 6.657357880612835e-05, 7.710373029112816e-05, 8.763387450017035e-05, 9.816402598517016e-05, 0.00010869417747016996, 0.00011922432895516977, 0.00012975448044016957, 0.00014028462464921176, 0.00015081476885825396, 0.00016134492761921138, 0.00017187507182825357, 0.000182405230589211, 0.00019293537479825318]}, "gradients/decoder.model.decoder.layers.6.self_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 4.0, 1.0, 2.0, 0.0, 1.0, 4.0, 3.0, 9.0, 5.0, 6.0, 9.0, 4.0, 9.0, 12.0, 14.0, 19.0, 20.0, 21.0, 23.0, 34.0, 27.0, 61.0, 171.0, 853.0, 6272.0, 75225.0, 895584.0, 63375.0, 5600.0, 770.0, 120.0, 51.0, 47.0, 31.0, 19.0, 30.0, 24.0, 21.0, 14.0, 8.0, 16.0, 13.0, 15.0, 7.0, 5.0, 3.0, 3.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0010499954223632812, -0.0010143667459487915, -0.0009787380695343018, -0.000943109393119812, -0.0009074807167053223, -0.0008718520402908325, -0.0008362233638763428, -0.000800594687461853, -0.0007649660110473633, -0.0007293373346328735, -0.0006937086582183838, -0.000658079981803894, -0.0006224513053894043, -0.0005868226289749146, -0.0005511939525604248, -0.0005155652761459351, -0.0004799365997314453, -0.00044430792331695557, -0.0004086792469024658, -0.0003730505704879761, -0.00033742189407348633, -0.0003017932176589966, -0.00026616454124450684, -0.0002305358648300171, -0.00019490718841552734, -0.0001592785120010376, -0.00012364983558654785, -8.80211591720581e-05, -5.239248275756836e-05, -1.6763806343078613e-05, 1.8864870071411133e-05, 5.449354648590088e-05, 9.012222290039062e-05, 0.00012575089931488037, 0.00016137957572937012, 0.00019700825214385986, 0.0002326369285583496, 0.00026826560497283936, 0.0003038942813873291, 0.00033952295780181885, 0.0003751516342163086, 0.00041078031063079834, 0.0004464089870452881, 0.00048203766345977783, 0.0005176663398742676, 0.0005532950162887573, 0.0005889236927032471, 0.0006245523691177368, 0.0006601810455322266, 0.0006958097219467163, 0.0007314383983612061, 0.0007670670747756958, 0.0008026957511901855, 0.0008383244276046753, 0.000873953104019165, 0.0009095817804336548, 0.0009452104568481445, 0.0009808391332626343, 0.001016467809677124, 0.0010520964860916138, 0.0010877251625061035, 0.0011233538389205933, 0.001158982515335083, 0.0011946111917495728, 0.0012302398681640625]}, "gradients/decoder.model.decoder.layers.6.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 2.0, 6.0, 19.0, 32.0, 71.0, 127.0, 193.0, 232.0, 133.0, 107.0, 45.0, 24.0, 14.0, 7.0, 3.0, 1.0], "bins": [-0.0002846717834472656, -0.00027952156960964203, -0.00027437135577201843, -0.00026922114193439484, -0.00026407092809677124, -0.00025892071425914764, -0.00025377050042152405, -0.00024862028658390045, -0.00024347007274627686, -0.00023831985890865326, -0.00023316964507102966, -0.00022801943123340607, -0.00022286921739578247, -0.00021771900355815887, -0.00021256878972053528, -0.00020741857588291168, -0.00020226836204528809, -0.0001971181482076645, -0.0001919679343700409, -0.0001868177205324173, -0.0001816675066947937, -0.0001765172928571701, -0.0001713670790195465, -0.0001662168651819229, -0.00016106665134429932, -0.00015591643750667572, -0.00015076622366905212, -0.00014561600983142853, -0.00014046579599380493, -0.00013531558215618134, -0.00013016536831855774, -0.00012501515448093414, -0.00011986494064331055, -0.00011471472680568695, -0.00010956451296806335, -0.00010441429913043976, -9.926408529281616e-05, -9.411387145519257e-05, -8.896365761756897e-05, -8.381344377994537e-05, -7.866322994232178e-05, -7.351301610469818e-05, -6.836280226707458e-05, -6.321258842945099e-05, -5.806237459182739e-05, -5.2912160754203796e-05, -4.77619469165802e-05, -4.2611733078956604e-05, -3.746151924133301e-05, -3.231130540370941e-05, -2.7161091566085815e-05, -2.201087772846222e-05, -1.6860663890838623e-05, -1.1710450053215027e-05, -6.560236215591431e-06, -1.4100223779678345e-06, 3.7401914596557617e-06, 8.890405297279358e-06, 1.4040619134902954e-05, 1.919083297252655e-05, 2.4341046810150146e-05, 2.9491260647773743e-05, 3.464147448539734e-05, 3.9791688323020935e-05, 4.494190216064453e-05]}, "gradients/decoder.model.decoder.layers.6.self_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 3.0, 3.0, 4.0, 6.0, 10.0, 12.0, 18.0, 23.0, 30.0, 41.0, 61.0, 102.0, 177.0, 233.0, 337.0, 566.0, 777.0, 1294.0, 1939.0, 3038.0, 4951.0, 8362.0, 13968.0, 25299.0, 45591.0, 90089.0, 202829.0, 348305.0, 145718.0, 68293.0, 36644.0, 19949.0, 11732.0, 6588.0, 4242.0, 2589.0, 1703.0, 1031.0, 680.0, 423.0, 267.0, 225.0, 150.0, 85.0, 51.0, 39.0, 36.0, 25.0, 12.0, 9.0, 5.0, 4.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00010293722152709961, -9.975116699934006e-05, -9.65651124715805e-05, -9.337905794382095e-05, -9.01930034160614e-05, -8.700694888830185e-05, -8.38208943605423e-05, -8.063483983278275e-05, -7.74487853050232e-05, -7.426273077726364e-05, -7.107667624950409e-05, -6.789062172174454e-05, -6.470456719398499e-05, -6.151851266622543e-05, -5.833245813846588e-05, -5.514640361070633e-05, -5.196034908294678e-05, -4.8774294555187225e-05, -4.558824002742767e-05, -4.240218549966812e-05, -3.921613097190857e-05, -3.603007644414902e-05, -3.2844021916389465e-05, -2.9657967388629913e-05, -2.647191286087036e-05, -2.328585833311081e-05, -2.0099803805351257e-05, -1.6913749277591705e-05, -1.3727694749832153e-05, -1.0541640222072601e-05, -7.355585694313049e-06, -4.169531166553497e-06, -9.834766387939453e-07, 2.2025778889656067e-06, 5.388632416725159e-06, 8.57468694448471e-06, 1.1760741472244263e-05, 1.4946796000003815e-05, 1.8132850527763367e-05, 2.131890505552292e-05, 2.450495958328247e-05, 2.7691014111042023e-05, 3.0877068638801575e-05, 3.406312316656113e-05, 3.724917769432068e-05, 4.043523222208023e-05, 4.362128674983978e-05, 4.6807341277599335e-05, 4.999339580535889e-05, 5.317945033311844e-05, 5.636550486087799e-05, 5.955155938863754e-05, 6.27376139163971e-05, 6.592366844415665e-05, 6.91097229719162e-05, 7.229577749967575e-05, 7.54818320274353e-05, 7.866788655519485e-05, 8.18539410829544e-05, 8.503999561071396e-05, 8.822605013847351e-05, 9.141210466623306e-05, 9.459815919399261e-05, 9.778421372175217e-05, 0.00010097026824951172]}, "gradients/decoder.model.decoder.layers.6.self_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 2.0, 9.0, 5.0, 4.0, 11.0, 9.0, 10.0, 14.0, 17.0, 18.0, 18.0, 27.0, 35.0, 40.0, 30.0, 40.0, 40.0, 33.0, 61.0, 41.0, 52.0, 50.0, 46.0, 45.0, 36.0, 40.0, 42.0, 49.0, 32.0, 30.0, 22.0, 23.0, 13.0, 19.0, 8.0, 12.0, 3.0, 6.0, 3.0, 2.0, 4.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-7.355213165283203e-05, -7.14082270860672e-05, -6.926432251930237e-05, -6.712041795253754e-05, -6.49765133857727e-05, -6.283260881900787e-05, -6.068870425224304e-05, -5.854479968547821e-05, -5.640089511871338e-05, -5.425699055194855e-05, -5.2113085985183716e-05, -4.9969181418418884e-05, -4.782527685165405e-05, -4.568137228488922e-05, -4.353746771812439e-05, -4.139356315135956e-05, -3.9249658584594727e-05, -3.7105754017829895e-05, -3.4961849451065063e-05, -3.281794488430023e-05, -3.06740403175354e-05, -2.853013575077057e-05, -2.6386231184005737e-05, -2.4242326617240906e-05, -2.2098422050476074e-05, -1.9954517483711243e-05, -1.781061291694641e-05, -1.566670835018158e-05, -1.3522803783416748e-05, -1.1378899216651917e-05, -9.234994649887085e-06, -7.091090083122253e-06, -4.947185516357422e-06, -2.8032809495925903e-06, -6.593763828277588e-07, 1.4845281839370728e-06, 3.6284327507019043e-06, 5.772337317466736e-06, 7.916241884231567e-06, 1.0060146450996399e-05, 1.220405101776123e-05, 1.4347955584526062e-05, 1.6491860151290894e-05, 1.8635764718055725e-05, 2.0779669284820557e-05, 2.2923573851585388e-05, 2.506747841835022e-05, 2.721138298511505e-05, 2.9355287551879883e-05, 3.1499192118644714e-05, 3.3643096685409546e-05, 3.578700125217438e-05, 3.793090581893921e-05, 4.007481038570404e-05, 4.221871495246887e-05, 4.4362619519233704e-05, 4.6506524085998535e-05, 4.865042865276337e-05, 5.07943332195282e-05, 5.293823778629303e-05, 5.508214235305786e-05, 5.722604691982269e-05, 5.9369951486587524e-05, 6.151385605335236e-05, 6.365776062011719e-05]}, "gradients/decoder.model.decoder.layers.6.self_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 5.0, 6.0, 9.0, 11.0, 23.0, 27.0, 31.0, 40.0, 56.0, 89.0, 128.0, 232.0, 363.0, 623.0, 1017.0, 2030.0, 4850.0, 13069.0, 66301.0, 909056.0, 34468.0, 8755.0, 3411.0, 1680.0, 875.0, 505.0, 284.0, 187.0, 146.0, 96.0, 64.0, 37.0, 34.0, 14.0, 11.0, 6.0, 7.0, 6.0, 3.0, 4.0, 0.0, 1.0, 2.0, 2.0, 2.0, 0.0, 1.0, 1.0], "bins": [-5.9485435485839844e-05, -5.780160427093506e-05, -5.6117773056030273e-05, -5.443394184112549e-05, -5.27501106262207e-05, -5.106627941131592e-05, -4.938244819641113e-05, -4.769861698150635e-05, -4.601478576660156e-05, -4.433095455169678e-05, -4.264712333679199e-05, -4.096329212188721e-05, -3.927946090698242e-05, -3.759562969207764e-05, -3.591179847717285e-05, -3.4227967262268066e-05, -3.254413604736328e-05, -3.0860304832458496e-05, -2.917647361755371e-05, -2.7492642402648926e-05, -2.580881118774414e-05, -2.4124979972839355e-05, -2.244114875793457e-05, -2.0757317543029785e-05, -1.9073486328125e-05, -1.7389655113220215e-05, -1.570582389831543e-05, -1.4021992683410645e-05, -1.233816146850586e-05, -1.0654330253601074e-05, -8.970499038696289e-06, -7.286667823791504e-06, -5.602836608886719e-06, -3.919005393981934e-06, -2.2351741790771484e-06, -5.513429641723633e-07, 1.1324882507324219e-06, 2.816319465637207e-06, 4.500150680541992e-06, 6.183981895446777e-06, 7.867813110351562e-06, 9.551644325256348e-06, 1.1235475540161133e-05, 1.2919306755065918e-05, 1.4603137969970703e-05, 1.6286969184875488e-05, 1.7970800399780273e-05, 1.965463161468506e-05, 2.1338462829589844e-05, 2.302229404449463e-05, 2.4706125259399414e-05, 2.63899564743042e-05, 2.8073787689208984e-05, 2.975761890411377e-05, 3.1441450119018555e-05, 3.312528133392334e-05, 3.4809112548828125e-05, 3.649294376373291e-05, 3.8176774978637695e-05, 3.986060619354248e-05, 4.1544437408447266e-05, 4.322826862335205e-05, 4.4912099838256836e-05, 4.659593105316162e-05, 4.8279762268066406e-05]}, "gradients/decoder.model.decoder.layers.6.self_attn.k_proj.bias": {"_type": "histogram", "values": [10.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 204.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 608.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 184.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 18.0], "bins": [-1.1920928955078125e-07, -1.1548399925231934e-07, -1.1175870895385742e-07, -1.0803341865539551e-07, -1.043081283569336e-07, -1.0058283805847168e-07, -9.685754776000977e-08, -9.313225746154785e-08, -8.940696716308594e-08, -8.568167686462402e-08, -8.195638656616211e-08, -7.82310962677002e-08, -7.450580596923828e-08, -7.078051567077637e-08, -6.705522537231445e-08, -6.332993507385254e-08, -5.960464477539063e-08, -5.587935447692871e-08, -5.21540641784668e-08, -4.842877388000488e-08, -4.470348358154297e-08, -4.0978193283081055e-08, -3.725290298461914e-08, -3.3527612686157227e-08, -2.9802322387695312e-08, -2.60770320892334e-08, -2.2351741790771484e-08, -1.862645149230957e-08, -1.4901161193847656e-08, -1.1175870895385742e-08, -7.450580596923828e-09, -3.725290298461914e-09, 0.0, 3.725290298461914e-09, 7.450580596923828e-09, 1.1175870895385742e-08, 1.4901161193847656e-08, 1.862645149230957e-08, 2.2351741790771484e-08, 2.60770320892334e-08, 2.9802322387695312e-08, 3.3527612686157227e-08, 3.725290298461914e-08, 4.0978193283081055e-08, 4.470348358154297e-08, 4.842877388000488e-08, 5.21540641784668e-08, 5.587935447692871e-08, 5.960464477539063e-08, 6.332993507385254e-08, 6.705522537231445e-08, 7.078051567077637e-08, 7.450580596923828e-08, 7.82310962677002e-08, 8.195638656616211e-08, 8.568167686462402e-08, 8.940696716308594e-08, 9.313225746154785e-08, 9.685754776000977e-08, 1.0058283805847168e-07, 1.043081283569336e-07, 1.0803341865539551e-07, 1.1175870895385742e-07, 1.1548399925231934e-07, 1.1920928955078125e-07]}, "gradients/decoder.model.decoder.layers.6.self_attn.q_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 0.0, 6.0, 1.0, 3.0, 8.0, 7.0, 15.0, 11.0, 20.0, 22.0, 34.0, 42.0, 70.0, 78.0, 112.0, 150.0, 176.0, 300.0, 378.0, 513.0, 811.0, 1139.0, 1460.0, 2304.0, 3540.0, 5037.0, 9188.0, 17091.0, 58601.0, 822556.0, 75373.0, 22254.0, 10091.0, 5404.0, 3740.0, 2461.0, 1562.0, 1148.0, 822.0, 547.0, 395.0, 326.0, 207.0, 157.0, 117.0, 73.0, 58.0, 45.0, 27.0, 29.0, 18.0, 15.0, 9.0, 8.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0], "bins": [-2.5331974029541016e-05, -2.4577602744102478e-05, -2.382323145866394e-05, -2.3068860173225403e-05, -2.2314488887786865e-05, -2.1560117602348328e-05, -2.080574631690979e-05, -2.0051375031471252e-05, -1.9297003746032715e-05, -1.8542632460594177e-05, -1.778826117515564e-05, -1.7033889889717102e-05, -1.6279518604278564e-05, -1.5525147318840027e-05, -1.477077603340149e-05, -1.4016404747962952e-05, -1.3262033462524414e-05, -1.2507662177085876e-05, -1.1753290891647339e-05, -1.0998919606208801e-05, -1.0244548320770264e-05, -9.490177035331726e-06, -8.735805749893188e-06, -7.981434464454651e-06, -7.227063179016113e-06, -6.472691893577576e-06, -5.718320608139038e-06, -4.9639493227005005e-06, -4.209578037261963e-06, -3.4552067518234253e-06, -2.7008354663848877e-06, -1.94646418094635e-06, -1.1920928955078125e-06, -4.377216100692749e-07, 3.166496753692627e-07, 1.0710209608078003e-06, 1.8253922462463379e-06, 2.5797635316848755e-06, 3.334134817123413e-06, 4.088506102561951e-06, 4.842877388000488e-06, 5.597248673439026e-06, 6.3516199588775635e-06, 7.105991244316101e-06, 7.860362529754639e-06, 8.614733815193176e-06, 9.369105100631714e-06, 1.0123476386070251e-05, 1.0877847671508789e-05, 1.1632218956947327e-05, 1.2386590242385864e-05, 1.3140961527824402e-05, 1.389533281326294e-05, 1.4649704098701477e-05, 1.5404075384140015e-05, 1.6158446669578552e-05, 1.691281795501709e-05, 1.7667189240455627e-05, 1.8421560525894165e-05, 1.9175931811332703e-05, 1.993030309677124e-05, 2.0684674382209778e-05, 2.1439045667648315e-05, 2.2193416953086853e-05, 2.294778823852539e-05]}, "gradients/decoder.model.decoder.layers.6.self_attn.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 2.0, 0.0, 2.0, 1.0, 3.0, 2.0, 3.0, 3.0, 7.0, 5.0, 6.0, 4.0, 9.0, 12.0, 8.0, 26.0, 20.0, 42.0, 109.0, 378.0, 183.0, 60.0, 38.0, 14.0, 11.0, 13.0, 6.0, 8.0, 3.0, 0.0, 3.0, 4.0, 4.0, 5.0, 2.0, 4.0, 2.0, 1.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.9252300262451172e-05, -1.871306449174881e-05, -1.8173828721046448e-05, -1.7634592950344086e-05, -1.7095357179641724e-05, -1.655612140893936e-05, -1.6016885638237e-05, -1.5477649867534637e-05, -1.4938414096832275e-05, -1.4399178326129913e-05, -1.3859942555427551e-05, -1.332070678472519e-05, -1.2781471014022827e-05, -1.2242235243320465e-05, -1.1702999472618103e-05, -1.1163763701915741e-05, -1.0624527931213379e-05, -1.0085292160511017e-05, -9.546056389808655e-06, -9.006820619106293e-06, -8.46758484840393e-06, -7.928349077701569e-06, -7.3891133069992065e-06, -6.8498775362968445e-06, -6.310641765594482e-06, -5.77140599489212e-06, -5.232170224189758e-06, -4.692934453487396e-06, -4.153698682785034e-06, -3.614462912082672e-06, -3.07522714138031e-06, -2.535991370677948e-06, -1.996755599975586e-06, -1.4575198292732239e-06, -9.182840585708618e-07, -3.7904828786849976e-07, 1.601874828338623e-07, 6.994232535362244e-07, 1.2386590242385864e-06, 1.7778947949409485e-06, 2.3171305656433105e-06, 2.8563663363456726e-06, 3.3956021070480347e-06, 3.934837877750397e-06, 4.474073648452759e-06, 5.013309419155121e-06, 5.552545189857483e-06, 6.091780960559845e-06, 6.631016731262207e-06, 7.170252501964569e-06, 7.709488272666931e-06, 8.248724043369293e-06, 8.787959814071655e-06, 9.327195584774017e-06, 9.86643135547638e-06, 1.0405667126178741e-05, 1.0944902896881104e-05, 1.1484138667583466e-05, 1.2023374438285828e-05, 1.256261020898819e-05, 1.3101845979690552e-05, 1.3641081750392914e-05, 1.4180317521095276e-05, 1.4719553291797638e-05, 1.52587890625e-05]}, "gradients/decoder.model.decoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 5.0, 4.0, 9.0, 20.0, 32.0, 53.0, 133.0, 266.0, 263.0, 106.0, 63.0, 27.0, 13.0, 7.0, 7.0, 1.0, 5.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00028098971233703196, -0.00026614542002789676, -0.0002513010986149311, -0.0002364568063057959, -0.00022161248489283025, -0.00020676819258369505, -0.00019192388572264463, -0.0001770795788615942, -0.00016223527200054377, -0.00014739096513949335, -0.00013254665827844292, -0.0001177023586933501, -0.00010285805183229968, -8.801374497124925e-05, -7.316944538615644e-05, -5.832513852510601e-05, -4.3480831664055586e-05, -2.8636526621994562e-05, -1.3792221579933539e-05, 1.0520816431380808e-06, 1.5896388504188508e-05, 3.0740695365238935e-05, 4.558499495033175e-05, 6.0429301811382174e-05, 7.52736086724326e-05, 9.011791553348303e-05, 0.00010496222239453346, 0.00011980652197962627, 0.00013465082156471908, 0.00014949514297768474, 0.00016433943528681993, 0.00017918374214787036, 0.00019402801990509033, 0.00020887232676614076, 0.00022371663362719119, 0.00023856092593632638, 0.00025340524734929204, 0.00026824953965842724, 0.00028309383196756244, 0.0002979381533805281, 0.00031278247479349375, 0.00032762676710262895, 0.0003424710885155946, 0.0003573153808247298, 0.00037215970223769546, 0.00038700399454683065, 0.00040184828685596585, 0.0004166926082689315, 0.0004315369005780667, 0.0004463811928872019, 0.00046122551430016756, 0.00047606980660930276, 0.000490914098918438, 0.0005057584494352341, 0.0005206027417443693, 0.0005354470340535045, 0.0005502913263626397, 0.0005651356186717749, 0.0005799799109809101, 0.0005948242614977062, 0.0006096685538068414, 0.0006245128461159766, 0.0006393571384251118, 0.0006542014889419079, 0.0006690457812510431]}, "gradients/decoder.model.decoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 4.0, 4.0, 5.0, 8.0, 17.0, 15.0, 29.0, 38.0, 49.0, 46.0, 68.0, 73.0, 84.0, 99.0, 69.0, 63.0, 64.0, 56.0, 59.0, 50.0, 45.0, 29.0, 16.0, 14.0, 5.0, 8.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00027453250368125737, -0.00026853365125134587, -0.0002625347697176039, -0.00025653591728769243, -0.0002505370357539505, -0.000244538183324039, -0.00023853930179029703, -0.00023254044936038554, -0.00022654156782664359, -0.00022054270084481686, -0.00021454383386299014, -0.00020854496688116342, -0.0002025460998993367, -0.00019654723291750997, -0.00019054836593568325, -0.00018454951350577176, -0.00017855064652394503, -0.0001725517795421183, -0.0001665529125602916, -0.00016055404557846487, -0.00015455517859663814, -0.00014855631161481142, -0.00014255745918489993, -0.00013655857765115798, -0.00013055972522124648, -0.00012456085823941976, -0.00011856199125759304, -0.00011256312427576631, -0.00010656425729393959, -0.00010056539031211287, -9.456653060624376e-05, -8.856766362441704e-05, -8.256880391854793e-05, -7.65699369367212e-05, -7.057106995489448e-05, -6.457220297306776e-05, -5.8573339629219845e-05, -5.257447264739312e-05, -4.657560930354521e-05, -4.0576742321718484e-05, -3.457787533989176e-05, -2.857900835806504e-05, -2.258014319522772e-05, -1.65812780323904e-05, -1.0582411050563678e-05, -4.5835440687369555e-06, 1.41531927511096e-06, 7.414186256937683e-06, 1.3413053238764405e-05, 1.9411920220591128e-05, 2.5410785383428447e-05, 3.1409650546265766e-05, 3.740851752809249e-05, 4.340738450991921e-05, 4.940624785376713e-05, 5.540511483559385e-05, 6.140398181742057e-05, 6.74028487992473e-05, 7.340171578107402e-05, 7.940057548694313e-05, 8.539944246876985e-05, 9.139830945059657e-05, 9.73971764324233e-05, 0.00010339604341425002, 0.00010939491039607674]}, "gradients/decoder.model.decoder.layers.5.fc2.weight": {"_type": "histogram", "values": [2.0, 0.0, 8.0, 4.0, 9.0, 7.0, 12.0, 18.0, 23.0, 37.0, 49.0, 57.0, 63.0, 108.0, 170.0, 204.0, 266.0, 370.0, 548.0, 748.0, 1209.0, 2066.0, 3633.0, 7335.0, 19283.0, 508370.0, 3573620.0, 51489.0, 11101.0, 5352.0, 2907.0, 1722.0, 1076.0, 649.0, 505.0, 371.0, 262.0, 172.0, 115.0, 102.0, 74.0, 51.0, 35.0, 26.0, 23.0, 11.0, 13.0, 6.0, 3.0, 7.0, 3.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.0001442432403564453, -0.000138748437166214, -0.00013325363397598267, -0.00012775883078575134, -0.00012226402759552002, -0.0001167692244052887, -0.00011127442121505737, -0.00010577961802482605, -0.00010028481483459473, -9.47900116443634e-05, -8.929520845413208e-05, -8.380040526390076e-05, -7.830560207366943e-05, -7.281079888343811e-05, -6.731599569320679e-05, -6.182119250297546e-05, -5.632638931274414e-05, -5.083158612251282e-05, -4.5336782932281494e-05, -3.984197974205017e-05, -3.434717655181885e-05, -2.8852373361587524e-05, -2.33575701713562e-05, -1.7862766981124878e-05, -1.2367963790893555e-05, -6.8731606006622314e-06, -1.3783574104309082e-06, 4.116445779800415e-06, 9.611248970031738e-06, 1.5106052160263062e-05, 2.0600855350494385e-05, 2.6095658540725708e-05, 3.159046173095703e-05, 3.7085264921188354e-05, 4.258006811141968e-05, 4.8074871301651e-05, 5.3569674491882324e-05, 5.906447768211365e-05, 6.455928087234497e-05, 7.00540840625763e-05, 7.554888725280762e-05, 8.104369044303894e-05, 8.653849363327026e-05, 9.203329682350159e-05, 9.752810001373291e-05, 0.00010302290320396423, 0.00010851770639419556, 0.00011401250958442688, 0.0001195073127746582, 0.00012500211596488953, 0.00013049691915512085, 0.00013599172234535217, 0.0001414865255355835, 0.00014698132872581482, 0.00015247613191604614, 0.00015797093510627747, 0.0001634657382965088, 0.0001689605414867401, 0.00017445534467697144, 0.00017995014786720276, 0.00018544495105743408, 0.0001909397542476654, 0.00019643455743789673, 0.00020192936062812805, 0.00020742416381835938]}, "gradients/decoder.model.decoder.layers.5.fc2.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 1.0, 3.0, 1.0, 2.0, 5.0, 6.0, 11.0, 7.0, 6.0, 11.0, 19.0, 21.0, 25.0, 19.0, 35.0, 38.0, 29.0, 35.0, 44.0, 39.0, 51.0, 45.0, 43.0, 44.0, 47.0, 42.0, 35.0, 41.0, 34.0, 38.0, 34.0, 29.0, 35.0, 31.0, 22.0, 14.0, 16.0, 17.0, 11.0, 13.0, 7.0, 2.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.1828880310058594e-05, -3.061629831790924e-05, -2.9403716325759888e-05, -2.8191134333610535e-05, -2.697855234146118e-05, -2.576597034931183e-05, -2.4553388357162476e-05, -2.3340806365013123e-05, -2.212822437286377e-05, -2.0915642380714417e-05, -1.9703060388565063e-05, -1.849047839641571e-05, -1.7277896404266357e-05, -1.6065314412117004e-05, -1.4852732419967651e-05, -1.3640150427818298e-05, -1.2427568435668945e-05, -1.1214986443519592e-05, -1.000240445137024e-05, -8.789822459220886e-06, -7.577240467071533e-06, -6.36465847492218e-06, -5.152076482772827e-06, -3.939494490623474e-06, -2.726912498474121e-06, -1.514330506324768e-06, -3.0174851417541504e-07, 9.10833477973938e-07, 2.123415470123291e-06, 3.335997462272644e-06, 4.548579454421997e-06, 5.76116144657135e-06, 6.973743438720703e-06, 8.186325430870056e-06, 9.39890742301941e-06, 1.0611489415168762e-05, 1.1824071407318115e-05, 1.3036653399467468e-05, 1.4249235391616821e-05, 1.5461817383766174e-05, 1.6674399375915527e-05, 1.788698136806488e-05, 1.9099563360214233e-05, 2.0312145352363586e-05, 2.152472734451294e-05, 2.2737309336662292e-05, 2.3949891328811646e-05, 2.5162473320961e-05, 2.637505531311035e-05, 2.7587637305259705e-05, 2.8800219297409058e-05, 3.001280128955841e-05, 3.1225383281707764e-05, 3.243796527385712e-05, 3.365054726600647e-05, 3.486312925815582e-05, 3.6075711250305176e-05, 3.728829324245453e-05, 3.850087523460388e-05, 3.9713457226753235e-05, 4.092603921890259e-05, 4.213862121105194e-05, 4.3351203203201294e-05, 4.456378519535065e-05, 4.57763671875e-05]}, "gradients/decoder.model.decoder.layers.5.fc1.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 5.0, 2.0, 5.0, 1.0, 6.0, 3.0, 11.0, 9.0, 12.0, 20.0, 13.0, 10.0, 17.0, 14.0, 19.0, 40.0, 78.0, 66.0, 120.0, 219.0, 411.0, 825.0, 2043.0, 5662.0, 21461.0, 585972.0, 3536114.0, 29922.0, 6999.0, 2297.0, 925.0, 414.0, 195.0, 101.0, 82.0, 48.0, 34.0, 24.0, 14.0, 14.0, 13.0, 11.0, 13.0, 6.0, 4.0, 5.0, 3.0, 6.0, 3.0, 0.0, 0.0, 5.0, 1.0, 1.0, 1.0], "bins": [-0.0002067089080810547, -0.0002008192241191864, -0.00019492954015731812, -0.00018903985619544983, -0.00018315017223358154, -0.00017726048827171326, -0.00017137080430984497, -0.00016548112034797668, -0.0001595914363861084, -0.0001537017524242401, -0.00014781206846237183, -0.00014192238450050354, -0.00013603270053863525, -0.00013014301657676697, -0.00012425333261489868, -0.0001183636486530304, -0.00011247396469116211, -0.00010658428072929382, -0.00010069459676742554, -9.480491280555725e-05, -8.891522884368896e-05, -8.302554488182068e-05, -7.713586091995239e-05, -7.12461769580841e-05, -6.535649299621582e-05, -5.9466809034347534e-05, -5.357712507247925e-05, -4.768744111061096e-05, -4.1797757148742676e-05, -3.590807318687439e-05, -3.0018389225006104e-05, -2.4128705263137817e-05, -1.823902130126953e-05, -1.2349337339401245e-05, -6.459653377532959e-06, -5.699694156646729e-07, 5.319714546203613e-06, 1.12093985080719e-05, 1.7099082469940186e-05, 2.298876643180847e-05, 2.8878450393676758e-05, 3.4768134355545044e-05, 4.065781831741333e-05, 4.6547502279281616e-05, 5.24371862411499e-05, 5.832687020301819e-05, 6.421655416488647e-05, 7.010623812675476e-05, 7.599592208862305e-05, 8.188560605049133e-05, 8.777529001235962e-05, 9.36649739742279e-05, 9.955465793609619e-05, 0.00010544434189796448, 0.00011133402585983276, 0.00011722370982170105, 0.00012311339378356934, 0.00012900307774543762, 0.0001348927617073059, 0.0001407824456691742, 0.00014667212963104248, 0.00015256181359291077, 0.00015845149755477905, 0.00016434118151664734, 0.00017023086547851562]}, "gradients/decoder.model.decoder.layers.5.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 4.0, 10.0, 8.0, 13.0, 23.0, 50.0, 112.0, 914.0, 2480.0, 323.0, 58.0, 28.0, 24.0, 5.0, 11.0, 7.0, 5.0, 2.0, 7.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.2557716369628906e-05, -3.993697464466095e-05, -3.731623291969299e-05, -3.469549119472504e-05, -3.207474946975708e-05, -2.9454007744789124e-05, -2.6833266019821167e-05, -2.421252429485321e-05, -2.1591782569885254e-05, -1.8971040844917297e-05, -1.635029911994934e-05, -1.3729557394981384e-05, -1.1108815670013428e-05, -8.488073945045471e-06, -5.867332220077515e-06, -3.246590495109558e-06, -6.258487701416016e-07, 1.994892954826355e-06, 4.6156346797943115e-06, 7.236376404762268e-06, 9.857118129730225e-06, 1.2477859854698181e-05, 1.5098601579666138e-05, 1.7719343304634094e-05, 2.034008502960205e-05, 2.2960826754570007e-05, 2.5581568479537964e-05, 2.820231020450592e-05, 3.082305192947388e-05, 3.3443793654441833e-05, 3.606453537940979e-05, 3.8685277104377747e-05, 4.13060188293457e-05, 4.392676055431366e-05, 4.6547502279281616e-05, 4.916824400424957e-05, 5.178898572921753e-05, 5.4409727454185486e-05, 5.703046917915344e-05, 5.96512109041214e-05, 6.227195262908936e-05, 6.489269435405731e-05, 6.751343607902527e-05, 7.013417780399323e-05, 7.275491952896118e-05, 7.537566125392914e-05, 7.79964029788971e-05, 8.061714470386505e-05, 8.323788642883301e-05, 8.585862815380096e-05, 8.847936987876892e-05, 9.110011160373688e-05, 9.372085332870483e-05, 9.634159505367279e-05, 9.896233677864075e-05, 0.0001015830785036087, 0.00010420382022857666, 0.00010682456195354462, 0.00010944530367851257, 0.00011206604540348053, 0.00011468678712844849, 0.00011730752885341644, 0.0001199282705783844, 0.00012254901230335236, 0.0001251697540283203]}, "gradients/decoder.model.decoder.layers.5.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 1.0, 3.0, 3.0, 3.0, 5.0, 4.0, 9.0, 7.0, 11.0, 12.0, 26.0, 33.0, 48.0, 76.0, 77.0, 148.0, 149.0, 121.0, 73.0, 50.0, 30.0, 35.0, 22.0, 17.0, 16.0, 7.0, 4.0, 4.0, 4.0, 3.0, 5.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 2.0], "bins": [-0.00012683741806540638, -0.0001238439726876095, -0.00012085053458577022, -0.00011785708920797333, -0.00011486364383017644, -0.00011187020572833717, -0.00010887676035054028, -0.00010588331497274339, -0.0001028898695949465, -9.989642421714962e-05, -9.690298611531034e-05, -9.390954073751345e-05, -9.091609535971656e-05, -8.792265725787729e-05, -8.49292118800804e-05, -8.193576650228351e-05, -7.894232840044424e-05, -7.594888302264735e-05, -7.295544492080808e-05, -6.996199954301119e-05, -6.69685541652143e-05, -6.397510878741741e-05, -6.098167068557814e-05, -5.798822530778125e-05, -5.499478356796317e-05, -5.200134182814509e-05, -4.90078964503482e-05, -4.601445471053012e-05, -4.3021012970712036e-05, -4.002756759291515e-05, -3.7034125853097066e-05, -3.4040684113278985e-05, -3.104724601143971e-05, -2.8053802452632226e-05, -2.506035889382474e-05, -2.206691715400666e-05, -1.9073473595199175e-05, -1.608003003639169e-05, -1.3086588296573609e-05, -1.0093144737766124e-05, -7.0997011789586395e-06, -4.106258074898506e-06, -1.1128149708383717e-06, 1.8806276784744114e-06, 4.874071237281896e-06, 7.867514796089381e-06, 1.0860956535907462e-05, 1.3854400094714947e-05, 1.6847843653522432e-05, 1.9841287212329917e-05, 2.28347307711374e-05, 2.5828172510955483e-05, 2.8821616069762968e-05, 3.181505962857045e-05, 3.4808501368388534e-05, 3.780194674618542e-05, 4.07953884860035e-05, 4.3788830225821584e-05, 4.678227560361847e-05, 4.9775717343436554e-05, 5.2769159083254635e-05, 5.5762604461051524e-05, 5.8756046200869605e-05, 6.174948794068769e-05, 6.474293331848457e-05]}, "gradients/decoder.model.decoder.layers.5.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 1.0, 1.0, 0.0, 3.0, 2.0, 7.0, 2.0, 6.0, 10.0, 16.0, 14.0, 23.0, 18.0, 26.0, 28.0, 19.0, 31.0, 28.0, 28.0, 39.0, 47.0, 53.0, 55.0, 38.0, 51.0, 35.0, 51.0, 46.0, 44.0, 41.0, 25.0, 34.0, 36.0, 32.0, 21.0, 16.0, 16.0, 14.0, 13.0, 10.0, 8.0, 8.0, 6.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.562356091104448e-05, -5.394825348048471e-05, -5.227294604992494e-05, -5.0597634981386364e-05, -4.8922327550826594e-05, -4.7247020120266825e-05, -4.557170905172825e-05, -4.389640162116848e-05, -4.222109419060871e-05, -4.054578676004894e-05, -3.887047932948917e-05, -3.7195168260950595e-05, -3.5519860830390826e-05, -3.3844553399831057e-05, -3.216924233129248e-05, -3.049393490073271e-05, -2.881862747017294e-05, -2.7143320039613172e-05, -2.5468010790064e-05, -2.3792701540514827e-05, -2.2117394109955058e-05, -2.0442086679395288e-05, -1.8766777429846115e-05, -1.7091468180296943e-05, -1.5416160749737173e-05, -1.3740852409682702e-05, -1.2065544069628231e-05, -1.039023572957376e-05, -8.714927389519289e-06, -7.039619049464818e-06, -5.364310709410347e-06, -3.689002369355876e-06, -2.013690391322598e-06, -3.383820512681268e-07, 1.3369262887863442e-06, 3.0122346288408153e-06, 4.687542968895286e-06, 6.362851308949757e-06, 8.038159649004228e-06, 9.7134679890587e-06, 1.138877632911317e-05, 1.3064084669167642e-05, 1.4739393009222113e-05, 1.6414702258771285e-05, 1.8090009689331055e-05, 1.9765317119890824e-05, 2.1440626369439997e-05, 2.311593561898917e-05, 2.479124304954894e-05, 2.6466550480108708e-05, 2.814185972965788e-05, 2.9817168979207054e-05, 3.149247640976682e-05, 3.316778384032659e-05, 3.484309127088636e-05, 3.651840233942494e-05, 3.819370976998471e-05, 3.9869017200544477e-05, 4.154432826908305e-05, 4.321963569964282e-05, 4.489494313020259e-05, 4.657025056076236e-05, 4.824555799132213e-05, 4.9920869059860706e-05, 5.1596176490420476e-05]}, "gradients/decoder.model.decoder.layers.5.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 3.0, 10.0, 5.0, 9.0, 16.0, 17.0, 11.0, 30.0, 53.0, 70.0, 82.0, 164.0, 267.0, 428.0, 545.0, 1403.0, 2933.0, 8379.0, 19670.0, 143558.0, 762771.0, 73999.0, 22808.0, 6237.0, 2409.0, 940.0, 707.0, 388.0, 233.0, 116.0, 95.0, 62.0, 44.0, 23.0, 28.0, 14.0, 11.0, 6.0, 3.0, 4.0, 1.0, 5.0, 0.0, 2.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-7.212162017822266e-06, -6.989575922489166e-06, -6.766989827156067e-06, -6.5444037318229675e-06, -6.321817636489868e-06, -6.099231541156769e-06, -5.8766454458236694e-06, -5.65405935049057e-06, -5.431473255157471e-06, -5.208887159824371e-06, -4.986301064491272e-06, -4.763714969158173e-06, -4.541128873825073e-06, -4.318542778491974e-06, -4.0959566831588745e-06, -3.873370587825775e-06, -3.6507844924926758e-06, -3.4281983971595764e-06, -3.205612301826477e-06, -2.9830262064933777e-06, -2.7604401111602783e-06, -2.537854015827179e-06, -2.3152679204940796e-06, -2.0926818251609802e-06, -1.8700957298278809e-06, -1.6475096344947815e-06, -1.4249235391616821e-06, -1.2023374438285828e-06, -9.797513484954834e-07, -7.57165253162384e-07, -5.345791578292847e-07, -3.119930624961853e-07, -8.940696716308594e-08, 1.3317912817001343e-07, 3.557652235031128e-07, 5.783513188362122e-07, 8.009374141693115e-07, 1.0235235095024109e-06, 1.2461096048355103e-06, 1.4686957001686096e-06, 1.691281795501709e-06, 1.9138678908348083e-06, 2.1364539861679077e-06, 2.359040081501007e-06, 2.5816261768341064e-06, 2.804212272167206e-06, 3.026798367500305e-06, 3.2493844628334045e-06, 3.471970558166504e-06, 3.6945566534996033e-06, 3.917142748832703e-06, 4.139728844165802e-06, 4.362314939498901e-06, 4.584901034832001e-06, 4.8074871301651e-06, 5.0300732254981995e-06, 5.252659320831299e-06, 5.475245416164398e-06, 5.6978315114974976e-06, 5.920417606830597e-06, 6.143003702163696e-06, 6.365589797496796e-06, 6.588175892829895e-06, 6.810761988162994e-06, 7.033348083496094e-06]}, "gradients/decoder.model.decoder.layers.5.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 3.0, 1.0, 0.0, 1.0, 3.0, 2.0, 3.0, 6.0, 2.0, 7.0, 10.0, 11.0, 23.0, 25.0, 18.0, 30.0, 30.0, 42.0, 27.0, 41.0, 54.0, 57.0, 47.0, 65.0, 51.0, 56.0, 60.0, 52.0, 42.0, 35.0, 33.0, 41.0, 33.0, 22.0, 20.0, 17.0, 13.0, 7.0, 9.0, 6.0, 4.0, 3.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-4.124641418457031e-05, -3.995094448328018e-05, -3.865547478199005e-05, -3.736000508069992e-05, -3.606453537940979e-05, -3.476906567811966e-05, -3.347359597682953e-05, -3.21781262755394e-05, -3.088265657424927e-05, -2.9587186872959137e-05, -2.8291717171669006e-05, -2.6996247470378876e-05, -2.5700777769088745e-05, -2.4405308067798615e-05, -2.3109838366508484e-05, -2.1814368665218353e-05, -2.0518898963928223e-05, -1.9223429262638092e-05, -1.792795956134796e-05, -1.663248986005783e-05, -1.53370201587677e-05, -1.404155045747757e-05, -1.2746080756187439e-05, -1.1450611054897308e-05, -1.0155141353607178e-05, -8.859671652317047e-06, -7.5642019510269165e-06, -6.268732249736786e-06, -4.973262548446655e-06, -3.6777928471565247e-06, -2.382323145866394e-06, -1.0868534445762634e-06, 2.086162567138672e-07, 1.5040859580039978e-06, 2.7995556592941284e-06, 4.095025360584259e-06, 5.39049506187439e-06, 6.68596476316452e-06, 7.981434464454651e-06, 9.276904165744781e-06, 1.0572373867034912e-05, 1.1867843568325043e-05, 1.3163313269615173e-05, 1.4458782970905304e-05, 1.5754252672195435e-05, 1.7049722373485565e-05, 1.8345192074775696e-05, 1.9640661776065826e-05, 2.0936131477355957e-05, 2.2231601178646088e-05, 2.3527070879936218e-05, 2.482254058122635e-05, 2.611801028251648e-05, 2.741347998380661e-05, 2.870894968509674e-05, 3.000441938638687e-05, 3.1299889087677e-05, 3.259535878896713e-05, 3.389082849025726e-05, 3.5186298191547394e-05, 3.6481767892837524e-05, 3.7777237594127655e-05, 3.9072707295417786e-05, 4.0368176996707916e-05, 4.166364669799805e-05]}, "gradients/decoder.model.decoder.layers.5.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 3.0, 4.0, 7.0, 7.0, 5.0, 12.0, 12.0, 23.0, 26.0, 32.0, 53.0, 78.0, 135.0, 251.0, 336.0, 1724.0, 2342.0, 5036.0, 12845.0, 38102.0, 147200.0, 632012.0, 147014.0, 38224.0, 12925.0, 5063.0, 2375.0, 1130.0, 612.0, 337.0, 219.0, 135.0, 94.0, 56.0, 38.0, 26.0, 39.0, 9.0, 4.0, 3.0, 1.0, 7.0, 2.0, 1.0, 1.0, 2.0, 0.0, 2.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7285346984863281e-06, -1.666136085987091e-06, -1.603737473487854e-06, -1.541338860988617e-06, -1.4789402484893799e-06, -1.4165416359901428e-06, -1.3541430234909058e-06, -1.2917444109916687e-06, -1.2293457984924316e-06, -1.1669471859931946e-06, -1.1045485734939575e-06, -1.0421499609947205e-06, -9.797513484954834e-07, -9.173527359962463e-07, -8.549541234970093e-07, -7.925555109977722e-07, -7.301568984985352e-07, -6.677582859992981e-07, -6.05359673500061e-07, -5.42961061000824e-07, -4.805624485015869e-07, -4.1816383600234985e-07, -3.557652235031128e-07, -2.9336661100387573e-07, -2.3096799850463867e-07, -1.685693860054016e-07, -1.0617077350616455e-07, -4.377216100692749e-08, 1.862645149230957e-08, 8.102506399154663e-08, 1.434236764907837e-07, 2.0582228899002075e-07, 2.682209014892578e-07, 3.3061951398849487e-07, 3.9301812648773193e-07, 4.55416738986969e-07, 5.178153514862061e-07, 5.802139639854431e-07, 6.426125764846802e-07, 7.050111889839172e-07, 7.674098014831543e-07, 8.298084139823914e-07, 8.922070264816284e-07, 9.546056389808655e-07, 1.0170042514801025e-06, 1.0794028639793396e-06, 1.1418014764785767e-06, 1.2042000889778137e-06, 1.2665987014770508e-06, 1.3289973139762878e-06, 1.391395926475525e-06, 1.453794538974762e-06, 1.516193151473999e-06, 1.578591763973236e-06, 1.6409903764724731e-06, 1.7033889889717102e-06, 1.7657876014709473e-06, 1.8281862139701843e-06, 1.8905848264694214e-06, 1.9529834389686584e-06, 2.0153820514678955e-06, 2.0777806639671326e-06, 2.1401792764663696e-06, 2.2025778889656067e-06, 2.2649765014648438e-06]}, "gradients/decoder.model.decoder.layers.5.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 9.0, 9.0, 6.0, 12.0, 17.0, 24.0, 32.0, 35.0, 53.0, 72.0, 69.0, 95.0, 79.0, 91.0, 65.0, 71.0, 65.0, 51.0, 38.0, 36.0, 21.0, 17.0, 13.0, 7.0, 10.0, 3.0, 4.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010710954666137695, -0.00010297354310750961, -9.883753955364227e-05, -9.470153599977493e-05, -9.056553244590759e-05, -8.642952889204025e-05, -8.229352533817291e-05, -7.815752178430557e-05, -7.402151823043823e-05, -6.988551467657089e-05, -6.574951112270355e-05, -6.161350756883621e-05, -5.747750401496887e-05, -5.334150046110153e-05, -4.920549690723419e-05, -4.506949335336685e-05, -4.093348979949951e-05, -3.679748624563217e-05, -3.266148269176483e-05, -2.852547913789749e-05, -2.438947558403015e-05, -2.025347203016281e-05, -1.611746847629547e-05, -1.1981464922428131e-05, -7.845461368560791e-06, -3.709457814693451e-06, 4.2654573917388916e-07, 4.562549293041229e-06, 8.69855284690857e-06, 1.283455640077591e-05, 1.697055995464325e-05, 2.110656350851059e-05, 2.524256706237793e-05, 2.937857061624527e-05, 3.351457417011261e-05, 3.765057772397995e-05, 4.178658127784729e-05, 4.592258483171463e-05, 5.005858838558197e-05, 5.419459193944931e-05, 5.833059549331665e-05, 6.246659904718399e-05, 6.660260260105133e-05, 7.073860615491867e-05, 7.487460970878601e-05, 7.901061326265335e-05, 8.314661681652069e-05, 8.728262037038803e-05, 9.141862392425537e-05, 9.555462747812271e-05, 9.969063103199005e-05, 0.00010382663458585739, 0.00010796263813972473, 0.00011209864169359207, 0.00011623464524745941, 0.00012037064880132675, 0.0001245066523551941, 0.00012864265590906143, 0.00013277865946292877, 0.0001369146630167961, 0.00014105066657066345, 0.0001451866701245308, 0.00014932267367839813, 0.00015345867723226547, 0.0001575946807861328]}, "gradients/decoder.model.decoder.layers.5.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.5.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [7.0, 0.0, 0.0, 0.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 0.0, 0.0, 47.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 91.0, 0.0, 0.0, 0.0, 0.0, 0.0, 149.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 425.0, 0.0, 0.0, 0.0, 0.0, 0.0, 150.0, 0.0, 0.0, 0.0, 0.0, 0.0, 85.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 42.0, 0.0, 0.0, 0.0, 0.0, 0.0, 15.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-2.980232238769531e-07, -2.8870999813079834e-07, -2.7939677238464355e-07, -2.7008354663848877e-07, -2.60770320892334e-07, -2.514570951461792e-07, -2.421438694000244e-07, -2.3283064365386963e-07, -2.2351741790771484e-07, -2.1420419216156006e-07, -2.0489096641540527e-07, -1.955777406692505e-07, -1.862645149230957e-07, -1.7695128917694092e-07, -1.6763806343078613e-07, -1.5832483768463135e-07, -1.4901161193847656e-07, -1.3969838619232178e-07, -1.30385160446167e-07, -1.210719347000122e-07, -1.1175870895385742e-07, -1.0244548320770264e-07, -9.313225746154785e-08, -8.381903171539307e-08, -7.450580596923828e-08, -6.51925802230835e-08, -5.587935447692871e-08, -4.6566128730773926e-08, -3.725290298461914e-08, -2.7939677238464355e-08, -1.862645149230957e-08, -9.313225746154785e-09, 0.0, 9.313225746154785e-09, 1.862645149230957e-08, 2.7939677238464355e-08, 3.725290298461914e-08, 4.6566128730773926e-08, 5.587935447692871e-08, 6.51925802230835e-08, 7.450580596923828e-08, 8.381903171539307e-08, 9.313225746154785e-08, 1.0244548320770264e-07, 1.1175870895385742e-07, 1.210719347000122e-07, 1.30385160446167e-07, 1.3969838619232178e-07, 1.4901161193847656e-07, 1.5832483768463135e-07, 1.6763806343078613e-07, 1.7695128917694092e-07, 1.862645149230957e-07, 1.955777406692505e-07, 2.0489096641540527e-07, 2.1420419216156006e-07, 2.2351741790771484e-07, 2.3283064365386963e-07, 2.421438694000244e-07, 2.514570951461792e-07, 2.60770320892334e-07, 2.7008354663848877e-07, 2.7939677238464355e-07, 2.8870999813079834e-07, 2.980232238769531e-07]}, "gradients/decoder.model.decoder.layers.5.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.5.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.5.self_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 4.0, 0.0, 2.0, 1.0, 1.0, 5.0, 1.0, 6.0, 5.0, 7.0, 7.0, 10.0, 20.0, 24.0, 36.0, 47.0, 70.0, 101.0, 153.0, 141.0, 115.0, 55.0, 52.0, 35.0, 34.0, 19.0, 19.0, 11.0, 6.0, 7.0, 4.0, 3.0, 5.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-6.710123125230893e-05, -6.533887062687427e-05, -6.35765100014396e-05, -6.181414937600493e-05, -6.005178875057027e-05, -5.82894281251356e-05, -5.6527067499700934e-05, -5.476470687426627e-05, -5.30023462488316e-05, -5.123998562339693e-05, -4.9477624997962266e-05, -4.77152643725276e-05, -4.595290374709293e-05, -4.4190543121658266e-05, -4.24281824962236e-05, -4.066582187078893e-05, -3.890345760737546e-05, -3.714109698194079e-05, -3.5378736356506124e-05, -3.361637573107146e-05, -3.185401510563679e-05, -3.0091654480202124e-05, -2.8329292035778053e-05, -2.6566931410343386e-05, -2.480457078490872e-05, -2.3042210159474052e-05, -2.1279849534039386e-05, -1.9517487089615315e-05, -1.775512646418065e-05, -1.599276583874598e-05, -1.4230405213311315e-05, -1.2468044587876648e-05, -1.0705680324463174e-05, -8.943319699028507e-06, -7.180958618846489e-06, -5.418597538664471e-06, -3.6562369132298045e-06, -1.8938762877951376e-06, -1.3151475286576897e-07, 1.630845872568898e-06, 3.3932064980035648e-06, 5.155567123438232e-06, 6.917928203620249e-06, 8.680289283802267e-06, 1.0442649909236934e-05, 1.2205010534671601e-05, 1.396737206960097e-05, 1.5729732695035636e-05, 1.7492093320470303e-05, 1.925445394590497e-05, 2.1016814571339637e-05, 2.2779175196774304e-05, 2.454153582220897e-05, 2.6303896447643638e-05, 2.8066258892067708e-05, 2.9828619517502375e-05, 3.159097832394764e-05, 3.3353338949382305e-05, 3.511569957481697e-05, 3.687806020025164e-05, 3.8640420825686306e-05, 4.040278145112097e-05, 4.216514207655564e-05, 4.3927502701990306e-05, 4.568986696540378e-05]}, "gradients/decoder.model.decoder.layers.5.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 4.0, 1.0, 0.0, 1.0, 3.0, 1.0, 5.0, 7.0, 1.0, 9.0, 8.0, 11.0, 25.0, 27.0, 26.0, 26.0, 30.0, 33.0, 37.0, 36.0, 48.0, 65.0, 50.0, 54.0, 55.0, 49.0, 57.0, 46.0, 48.0, 38.0, 39.0, 38.0, 29.0, 22.0, 21.0, 16.0, 12.0, 7.0, 11.0, 9.0, 4.0, 3.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-3.713664409588091e-05, -3.5971926990896463e-05, -3.4807209885912016e-05, -3.364248914294876e-05, -3.2477772037964314e-05, -3.131305493297987e-05, -3.014833782799542e-05, -2.8983620723010972e-05, -2.781890179903712e-05, -2.6654184694052674e-05, -2.5489465770078823e-05, -2.4324748665094376e-05, -2.3160031560109928e-05, -2.1995312636136077e-05, -2.083059553115163e-05, -1.966587660717778e-05, -1.8501159502193332e-05, -1.7336442397208884e-05, -1.6171723473235033e-05, -1.5007006368250586e-05, -1.3842288353771437e-05, -1.2677570339292288e-05, -1.151285323430784e-05, -1.0348135219828691e-05, -9.183417205349542e-06, -8.018699190870393e-06, -6.853981631138595e-06, -5.6892640714067966e-06, -4.5245460569276474e-06, -3.3598280424484983e-06, -2.1951104827167e-06, -1.0303929229849018e-06, 1.3432509149424732e-07, 1.299042878599721e-06, 2.4637606657051947e-06, 3.6284784528106684e-06, 4.793196239916142e-06, 5.957914254395291e-06, 7.1226318141270895e-06, 8.287349373858888e-06, 9.452067388338037e-06, 1.0616785402817186e-05, 1.1781503417296335e-05, 1.2946220522280782e-05, 1.4110938536759932e-05, 1.527565655123908e-05, 1.6440373656223528e-05, 1.760509258019738e-05, 1.8769809685181826e-05, 1.9934526790166274e-05, 2.1099245714140125e-05, 2.2263962819124572e-05, 2.3428681743098423e-05, 2.459339884808287e-05, 2.5758115953067318e-05, 2.6922833058051765e-05, 2.8087551982025616e-05, 2.9252269087010063e-05, 3.0416988010983914e-05, 3.158170511596836e-05, 3.274642222095281e-05, 3.391114296391606e-05, 3.507586006890051e-05, 3.624057717388496e-05, 3.7405294278869405e-05]}, "gradients/decoder.model.decoder.layers.5.self_attn.out_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 4.0, 2.0, 0.0, 4.0, 7.0, 7.0, 18.0, 18.0, 33.0, 49.0, 49.0, 87.0, 117.0, 184.0, 300.0, 413.0, 655.0, 1081.0, 1784.0, 3082.0, 5401.0, 9674.0, 18685.0, 38074.0, 92132.0, 298016.0, 396956.0, 95998.0, 41782.0, 19691.0, 10438.0, 5613.0, 3251.0, 1767.0, 1155.0, 703.0, 460.0, 273.0, 188.0, 127.0, 115.0, 55.0, 41.0, 21.0, 16.0, 15.0, 8.0, 5.0, 9.0, 6.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.762411117553711e-05, -4.5925378799438477e-05, -4.4226646423339844e-05, -4.252791404724121e-05, -4.082918167114258e-05, -3.9130449295043945e-05, -3.743171691894531e-05, -3.573298454284668e-05, -3.403425216674805e-05, -3.2335519790649414e-05, -3.063678741455078e-05, -2.893805503845215e-05, -2.7239322662353516e-05, -2.5540590286254883e-05, -2.384185791015625e-05, -2.2143125534057617e-05, -2.0444393157958984e-05, -1.874566078186035e-05, -1.704692840576172e-05, -1.5348196029663086e-05, -1.3649463653564453e-05, -1.195073127746582e-05, -1.0251998901367188e-05, -8.553266525268555e-06, -6.854534149169922e-06, -5.155801773071289e-06, -3.4570693969726562e-06, -1.7583370208740234e-06, -5.960464477539063e-08, 1.6391277313232422e-06, 3.337860107421875e-06, 5.036592483520508e-06, 6.735324859619141e-06, 8.434057235717773e-06, 1.0132789611816406e-05, 1.1831521987915039e-05, 1.3530254364013672e-05, 1.5228986740112305e-05, 1.6927719116210938e-05, 1.862645149230957e-05, 2.0325183868408203e-05, 2.2023916244506836e-05, 2.372264862060547e-05, 2.54213809967041e-05, 2.7120113372802734e-05, 2.8818845748901367e-05, 3.0517578125e-05, 3.221631050109863e-05, 3.3915042877197266e-05, 3.56137752532959e-05, 3.731250762939453e-05, 3.9011240005493164e-05, 4.07099723815918e-05, 4.240870475769043e-05, 4.410743713378906e-05, 4.5806169509887695e-05, 4.750490188598633e-05, 4.920363426208496e-05, 5.0902366638183594e-05, 5.2601099014282227e-05, 5.429983139038086e-05, 5.599856376647949e-05, 5.7697296142578125e-05, 5.939602851867676e-05, 6.109476089477539e-05]}, "gradients/decoder.model.decoder.layers.5.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 2.0, 4.0, 4.0, 5.0, 10.0, 12.0, 14.0, 16.0, 23.0, 23.0, 28.0, 28.0, 31.0, 32.0, 46.0, 35.0, 47.0, 58.0, 58.0, 58.0, 56.0, 47.0, 55.0, 40.0, 41.0, 50.0, 33.0, 33.0, 16.0, 18.0, 14.0, 16.0, 13.0, 9.0, 10.0, 4.0, 2.0, 5.0, 0.0, 4.0, 2.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.2755393981933594e-05, -1.2346543371677399e-05, -1.1937692761421204e-05, -1.1528842151165009e-05, -1.1119991540908813e-05, -1.0711140930652618e-05, -1.0302290320396423e-05, -9.893439710140228e-06, -9.484589099884033e-06, -9.075738489627838e-06, -8.666887879371643e-06, -8.258037269115448e-06, -7.849186658859253e-06, -7.440336048603058e-06, -7.031485438346863e-06, -6.622634828090668e-06, -6.213784217834473e-06, -5.804933607578278e-06, -5.3960829973220825e-06, -4.9872323870658875e-06, -4.578381776809692e-06, -4.169531166553497e-06, -3.7606805562973022e-06, -3.351829946041107e-06, -2.942979335784912e-06, -2.534128725528717e-06, -2.125278115272522e-06, -1.716427505016327e-06, -1.3075768947601318e-06, -8.987262845039368e-07, -4.898756742477417e-07, -8.102506399154663e-08, 3.2782554626464844e-07, 7.366761565208435e-07, 1.1455267667770386e-06, 1.5543773770332336e-06, 1.9632279872894287e-06, 2.3720785975456238e-06, 2.780929207801819e-06, 3.189779818058014e-06, 3.598630428314209e-06, 4.007481038570404e-06, 4.416331648826599e-06, 4.825182259082794e-06, 5.234032869338989e-06, 5.642883479595184e-06, 6.051734089851379e-06, 6.4605847001075745e-06, 6.8694353103637695e-06, 7.278285920619965e-06, 7.68713653087616e-06, 8.095987141132355e-06, 8.50483775138855e-06, 8.913688361644745e-06, 9.32253897190094e-06, 9.731389582157135e-06, 1.014024019241333e-05, 1.0549090802669525e-05, 1.095794141292572e-05, 1.1366792023181915e-05, 1.177564263343811e-05, 1.2184493243694305e-05, 1.25933438539505e-05, 1.3002194464206696e-05, 1.341104507446289e-05]}, "gradients/decoder.model.decoder.layers.5.self_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 3.0, 5.0, 7.0, 8.0, 4.0, 5.0, 6.0, 17.0, 23.0, 45.0, 51.0, 91.0, 161.0, 252.0, 606.0, 1503.0, 3477.0, 9333.0, 25824.0, 73420.0, 307606.0, 476058.0, 99051.0, 31924.0, 11633.0, 4173.0, 1788.0, 698.0, 333.0, 194.0, 101.0, 48.0, 31.0, 21.0, 17.0, 13.0, 14.0, 5.0, 5.0, 4.0, 2.0, 3.0, 1.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.8279762268066406e-05, -4.682131111621857e-05, -4.536285996437073e-05, -4.390440881252289e-05, -4.244595766067505e-05, -4.098750650882721e-05, -3.952905535697937e-05, -3.807060420513153e-05, -3.661215305328369e-05, -3.515370190143585e-05, -3.369525074958801e-05, -3.223679959774017e-05, -3.0778348445892334e-05, -2.9319897294044495e-05, -2.7861446142196655e-05, -2.6402994990348816e-05, -2.4944543838500977e-05, -2.3486092686653137e-05, -2.2027641534805298e-05, -2.056919038295746e-05, -1.911073923110962e-05, -1.765228807926178e-05, -1.619383692741394e-05, -1.4735385775566101e-05, -1.3276934623718262e-05, -1.1818483471870422e-05, -1.0360032320022583e-05, -8.901581168174744e-06, -7.443130016326904e-06, -5.984678864479065e-06, -4.526227712631226e-06, -3.0677765607833862e-06, -1.6093254089355469e-06, -1.5087425708770752e-07, 1.3075768947601318e-06, 2.766028046607971e-06, 4.2244791984558105e-06, 5.68293035030365e-06, 7.141381502151489e-06, 8.599832653999329e-06, 1.0058283805847168e-05, 1.1516734957695007e-05, 1.2975186109542847e-05, 1.4433637261390686e-05, 1.5892088413238525e-05, 1.7350539565086365e-05, 1.8808990716934204e-05, 2.0267441868782043e-05, 2.1725893020629883e-05, 2.3184344172477722e-05, 2.464279532432556e-05, 2.61012464761734e-05, 2.755969762802124e-05, 2.901814877986908e-05, 3.047659993171692e-05, 3.193505108356476e-05, 3.33935022354126e-05, 3.485195338726044e-05, 3.6310404539108276e-05, 3.7768855690956116e-05, 3.9227306842803955e-05, 4.0685757994651794e-05, 4.2144209146499634e-05, 4.360266029834747e-05, 4.506111145019531e-05]}, "gradients/decoder.model.decoder.layers.5.self_attn.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 0.0, 3.0, 2.0, 3.0, 3.0, 5.0, 9.0, 9.0, 16.0, 20.0, 16.0, 23.0, 23.0, 25.0, 35.0, 31.0, 42.0, 28.0, 41.0, 42.0, 40.0, 56.0, 41.0, 64.0, 43.0, 48.0, 48.0, 27.0, 36.0, 24.0, 25.0, 29.0, 23.0, 24.0, 17.0, 19.0, 23.0, 10.0, 9.0, 8.0, 2.0, 4.0, 2.0, 8.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.519918441772461e-05, -1.4686957001686096e-05, -1.4174729585647583e-05, -1.366250216960907e-05, -1.3150274753570557e-05, -1.2638047337532043e-05, -1.212581992149353e-05, -1.1613592505455017e-05, -1.1101365089416504e-05, -1.058913767337799e-05, -1.0076910257339478e-05, -9.564682841300964e-06, -9.052455425262451e-06, -8.540228009223938e-06, -8.028000593185425e-06, -7.515773177146912e-06, -7.0035457611083984e-06, -6.491318345069885e-06, -5.979090929031372e-06, -5.466863512992859e-06, -4.954636096954346e-06, -4.4424086809158325e-06, -3.930181264877319e-06, -3.417953848838806e-06, -2.905726432800293e-06, -2.3934990167617798e-06, -1.8812716007232666e-06, -1.3690441846847534e-06, -8.568167686462402e-07, -3.4458935260772705e-07, 1.6763806343078613e-07, 6.798654794692993e-07, 1.1920928955078125e-06, 1.7043203115463257e-06, 2.216547727584839e-06, 2.728775143623352e-06, 3.2410025596618652e-06, 3.7532299757003784e-06, 4.265457391738892e-06, 4.777684807777405e-06, 5.289912223815918e-06, 5.802139639854431e-06, 6.314367055892944e-06, 6.8265944719314575e-06, 7.338821887969971e-06, 7.851049304008484e-06, 8.363276720046997e-06, 8.87550413608551e-06, 9.387731552124023e-06, 9.899958968162537e-06, 1.041218638420105e-05, 1.0924413800239563e-05, 1.1436641216278076e-05, 1.194886863231659e-05, 1.2461096048355103e-05, 1.2973323464393616e-05, 1.3485550880432129e-05, 1.3997778296470642e-05, 1.4510005712509155e-05, 1.5022233128547668e-05, 1.553446054458618e-05, 1.6046687960624695e-05, 1.6558915376663208e-05, 1.707114279270172e-05, 1.7583370208740234e-05]}, "gradients/decoder.model.decoder.layers.5.self_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 6.0, 1.0, 6.0, 1.0, 9.0, 7.0, 25.0, 34.0, 51.0, 123.0, 222.0, 1037.0, 2716.0, 82537.0, 941469.0, 17811.0, 1826.0, 304.0, 224.0, 48.0, 41.0, 25.0, 18.0, 11.0, 5.0, 2.0, 0.0, 3.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.76837158203125e-06, -4.6156346797943115e-06, -4.462897777557373e-06, -4.3101608753204346e-06, -4.157423973083496e-06, -4.004687070846558e-06, -3.851950168609619e-06, -3.6992132663726807e-06, -3.546476364135742e-06, -3.3937394618988037e-06, -3.2410025596618652e-06, -3.0882656574249268e-06, -2.9355287551879883e-06, -2.78279185295105e-06, -2.6300549507141113e-06, -2.477318048477173e-06, -2.3245811462402344e-06, -2.171844244003296e-06, -2.0191073417663574e-06, -1.866370439529419e-06, -1.7136335372924805e-06, -1.560896635055542e-06, -1.4081597328186035e-06, -1.255422830581665e-06, -1.1026859283447266e-06, -9.499490261077881e-07, -7.972121238708496e-07, -6.444752216339111e-07, -4.917383193969727e-07, -3.390014171600342e-07, -1.862645149230957e-07, -3.3527612686157227e-08, 1.1920928955078125e-07, 2.7194619178771973e-07, 4.246830940246582e-07, 5.774199962615967e-07, 7.301568984985352e-07, 8.828938007354736e-07, 1.0356307029724121e-06, 1.1883676052093506e-06, 1.341104507446289e-06, 1.4938414096832275e-06, 1.646578311920166e-06, 1.7993152141571045e-06, 1.952052116394043e-06, 2.1047890186309814e-06, 2.25752592086792e-06, 2.4102628231048584e-06, 2.562999725341797e-06, 2.7157366275787354e-06, 2.868473529815674e-06, 3.0212104320526123e-06, 3.1739473342895508e-06, 3.3266842365264893e-06, 3.4794211387634277e-06, 3.632158041000366e-06, 3.7848949432373047e-06, 3.937631845474243e-06, 4.090368747711182e-06, 4.24310564994812e-06, 4.395842552185059e-06, 4.548579454421997e-06, 4.7013163566589355e-06, 4.854053258895874e-06, 5.0067901611328125e-06]}, "gradients/decoder.model.decoder.layers.5.self_attn.k_proj.bias": {"_type": "histogram", "values": [35.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 954.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 35.0], "bins": [-5.960464477539063e-08, -5.774199962615967e-08, -5.587935447692871e-08, -5.4016709327697754e-08, -5.21540641784668e-08, -5.029141902923584e-08, -4.842877388000488e-08, -4.6566128730773926e-08, -4.470348358154297e-08, -4.284083843231201e-08, -4.0978193283081055e-08, -3.91155481338501e-08, -3.725290298461914e-08, -3.5390257835388184e-08, -3.3527612686157227e-08, -3.166496753692627e-08, -2.9802322387695312e-08, -2.7939677238464355e-08, -2.60770320892334e-08, -2.421438694000244e-08, -2.2351741790771484e-08, -2.0489096641540527e-08, -1.862645149230957e-08, -1.6763806343078613e-08, -1.4901161193847656e-08, -1.30385160446167e-08, -1.1175870895385742e-08, -9.313225746154785e-09, -7.450580596923828e-09, -5.587935447692871e-09, -3.725290298461914e-09, -1.862645149230957e-09, 0.0, 1.862645149230957e-09, 3.725290298461914e-09, 5.587935447692871e-09, 7.450580596923828e-09, 9.313225746154785e-09, 1.1175870895385742e-08, 1.30385160446167e-08, 1.4901161193847656e-08, 1.6763806343078613e-08, 1.862645149230957e-08, 2.0489096641540527e-08, 2.2351741790771484e-08, 2.421438694000244e-08, 2.60770320892334e-08, 2.7939677238464355e-08, 2.9802322387695312e-08, 3.166496753692627e-08, 3.3527612686157227e-08, 3.5390257835388184e-08, 3.725290298461914e-08, 3.91155481338501e-08, 4.0978193283081055e-08, 4.284083843231201e-08, 4.470348358154297e-08, 4.6566128730773926e-08, 4.842877388000488e-08, 5.029141902923584e-08, 5.21540641784668e-08, 5.4016709327697754e-08, 5.587935447692871e-08, 5.774199962615967e-08, 5.960464477539063e-08]}, "gradients/decoder.model.decoder.layers.5.self_attn.q_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 39.0, 0.0, 0.0, 0.0, 159.0, 0.0, 0.0, 0.0, 0.0, 696.0, 0.0, 0.0, 0.0, 5565.0, 0.0, 0.0, 0.0, 0.0, 61078.0, 0.0, 0.0, 0.0, 0.0, 913460.0, 0.0, 0.0, 0.0, 61083.0, 0.0, 0.0, 0.0, 0.0, 5585.0, 0.0, 0.0, 0.0, 694.0, 0.0, 0.0, 0.0, 0.0, 149.0, 0.0, 0.0, 0.0, 52.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 4.0], "bins": [-4.172325134277344e-07, -4.041939973831177e-07, -3.91155481338501e-07, -3.781169652938843e-07, -3.650784492492676e-07, -3.520399332046509e-07, -3.390014171600342e-07, -3.259629011154175e-07, -3.129243850708008e-07, -2.998858690261841e-07, -2.868473529815674e-07, -2.738088369369507e-07, -2.60770320892334e-07, -2.477318048477173e-07, -2.3469328880310059e-07, -2.2165477275848389e-07, -2.086162567138672e-07, -1.955777406692505e-07, -1.825392246246338e-07, -1.695007085800171e-07, -1.564621925354004e-07, -1.434236764907837e-07, -1.30385160446167e-07, -1.1734664440155029e-07, -1.043081283569336e-07, -9.12696123123169e-08, -7.82310962677002e-08, -6.51925802230835e-08, -5.21540641784668e-08, -3.91155481338501e-08, -2.60770320892334e-08, -1.30385160446167e-08, 0.0, 1.30385160446167e-08, 2.60770320892334e-08, 3.91155481338501e-08, 5.21540641784668e-08, 6.51925802230835e-08, 7.82310962677002e-08, 9.12696123123169e-08, 1.043081283569336e-07, 1.1734664440155029e-07, 1.30385160446167e-07, 1.434236764907837e-07, 1.564621925354004e-07, 1.695007085800171e-07, 1.825392246246338e-07, 1.955777406692505e-07, 2.086162567138672e-07, 2.2165477275848389e-07, 2.3469328880310059e-07, 2.477318048477173e-07, 2.60770320892334e-07, 2.738088369369507e-07, 2.868473529815674e-07, 2.998858690261841e-07, 3.129243850708008e-07, 3.259629011154175e-07, 3.390014171600342e-07, 3.520399332046509e-07, 3.650784492492676e-07, 3.781169652938843e-07, 3.91155481338501e-07, 4.041939973831177e-07, 4.172325134277344e-07]}, "gradients/decoder.model.decoder.layers.5.self_attn.q_proj.bias": {"_type": "histogram", "values": [4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 15.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 46.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 156.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 597.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 143.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 51.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0], "bins": [-2.384185791015625e-07, -2.3096799850463867e-07, -2.2351741790771484e-07, -2.1606683731079102e-07, -2.086162567138672e-07, -2.0116567611694336e-07, -1.9371509552001953e-07, -1.862645149230957e-07, -1.7881393432617188e-07, -1.7136335372924805e-07, -1.6391277313232422e-07, -1.564621925354004e-07, -1.4901161193847656e-07, -1.4156103134155273e-07, -1.341104507446289e-07, -1.2665987014770508e-07, -1.1920928955078125e-07, -1.1175870895385742e-07, -1.043081283569336e-07, -9.685754776000977e-08, -8.940696716308594e-08, -8.195638656616211e-08, -7.450580596923828e-08, -6.705522537231445e-08, -5.960464477539063e-08, -5.21540641784668e-08, -4.470348358154297e-08, -3.725290298461914e-08, -2.9802322387695312e-08, -2.2351741790771484e-08, -1.4901161193847656e-08, -7.450580596923828e-09, 0.0, 7.450580596923828e-09, 1.4901161193847656e-08, 2.2351741790771484e-08, 2.9802322387695312e-08, 3.725290298461914e-08, 4.470348358154297e-08, 5.21540641784668e-08, 5.960464477539063e-08, 6.705522537231445e-08, 7.450580596923828e-08, 8.195638656616211e-08, 8.940696716308594e-08, 9.685754776000977e-08, 1.043081283569336e-07, 1.1175870895385742e-07, 1.1920928955078125e-07, 1.2665987014770508e-07, 1.341104507446289e-07, 1.4156103134155273e-07, 1.4901161193847656e-07, 1.564621925354004e-07, 1.6391277313232422e-07, 1.7136335372924805e-07, 1.7881393432617188e-07, 1.862645149230957e-07, 1.9371509552001953e-07, 2.0116567611694336e-07, 2.086162567138672e-07, 2.1606683731079102e-07, 2.2351741790771484e-07, 2.3096799850463867e-07, 2.384185791015625e-07]}, "gradients/decoder.model.decoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 2.0, 2.0, 7.0, 2.0, 5.0, 8.0, 6.0, 10.0, 20.0, 19.0, 17.0, 33.0, 54.0, 75.0, 108.0, 195.0, 151.0, 79.0, 45.0, 41.0, 35.0, 27.0, 16.0, 16.0, 10.0, 9.0, 8.0, 2.0, 4.0, 4.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.261844853521325e-05, -5.110536585561931e-05, -4.959227953804657e-05, -4.8079193220473826e-05, -4.656611054087989e-05, -4.5053027861285955e-05, -4.353994154371321e-05, -4.202685522614047e-05, -4.0513772546546534e-05, -3.90006898669526e-05, -3.7487603549379855e-05, -3.597451723180711e-05, -3.446143455221318e-05, -3.294835187261924e-05, -3.14352655550465e-05, -2.992218105646316e-05, -2.840909655787982e-05, -2.689601205929648e-05, -2.5382927560713142e-05, -2.3869843062129803e-05, -2.2356758563546464e-05, -2.0843674064963125e-05, -1.9330589566379786e-05, -1.7817505067796446e-05, -1.6304420569213107e-05, -1.4791336070629768e-05, -1.3278251572046429e-05, -1.176516707346309e-05, -1.025208257487975e-05, -8.738998076296411e-06, -7.225913577713072e-06, -5.712829079129733e-06, -4.199744580546394e-06, -2.686660081963055e-06, -1.1735755833797157e-06, 3.395089152036235e-07, 1.8525934137869626e-06, 3.3656779123703018e-06, 4.878762410953641e-06, 6.39184690953698e-06, 7.90493140812032e-06, 9.418015906703658e-06, 1.0931100405286998e-05, 1.2444184903870337e-05, 1.3957269402453676e-05, 1.5470353901037015e-05, 1.6983438399620354e-05, 1.8496522898203693e-05, 2.0009607396787032e-05, 2.152269189537037e-05, 2.303577639395371e-05, 2.454886089253705e-05, 2.606194539112039e-05, 2.7575029889703728e-05, 2.9088114388287067e-05, 3.060120070585981e-05, 3.2114283385453746e-05, 3.362736606504768e-05, 3.5140452382620424e-05, 3.665353870019317e-05, 3.81666213797871e-05, 3.967970405938104e-05, 4.119279037695378e-05, 4.270587669452652e-05, 4.421895937412046e-05]}, "gradients/decoder.model.decoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 5.0, 5.0, 3.0, 4.0, 4.0, 8.0, 9.0, 11.0, 11.0, 13.0, 18.0, 22.0, 26.0, 22.0, 29.0, 35.0, 33.0, 43.0, 35.0, 28.0, 49.0, 41.0, 54.0, 44.0, 37.0, 50.0, 57.0, 42.0, 39.0, 30.0, 28.0, 22.0, 29.0, 26.0, 14.0, 15.0, 12.0, 4.0, 13.0, 13.0, 7.0, 9.0, 2.0, 4.0, 2.0, 2.0, 1.0, 3.0, 1.0, 0.0, 3.0], "bins": [-3.03544984490145e-05, -2.9493037800421007e-05, -2.8631577151827514e-05, -2.777011650323402e-05, -2.690865585464053e-05, -2.6047195206047036e-05, -2.5185734557453543e-05, -2.4324275727849454e-05, -2.3462813260266557e-05, -2.2601352611673065e-05, -2.1739891963079572e-05, -2.087843131448608e-05, -2.0016970665892586e-05, -1.9155510017299093e-05, -1.82940493687056e-05, -1.743259053910151e-05, -1.657112989050802e-05, -1.5709669241914526e-05, -1.4848208593321033e-05, -1.398674794472754e-05, -1.3125287296134047e-05, -1.2263826647540554e-05, -1.1402366908441763e-05, -1.054090625984827e-05, -9.679445611254778e-06, -8.817984962661285e-06, -7.956524314067792e-06, -7.09506412022165e-06, -6.233603471628157e-06, -5.372142823034665e-06, -4.510682629188523e-06, -3.64922198059503e-06, -2.7877631509909406e-06, -1.926302502397448e-06, -1.0648420811776305e-06, -2.033816599578131e-07, 6.580789886356797e-07, 1.5195396372291725e-06, 2.3809998310753144e-06, 3.2424604796688072e-06, 4.1039211282623e-06, 4.965381776855793e-06, 5.826842425449286e-06, 6.6883026192954276e-06, 7.54976326788892e-06, 8.411223461735062e-06, 9.272684110328555e-06, 1.0134144758922048e-05, 1.099560540751554e-05, 1.1857066056109034e-05, 1.2718526704702526e-05, 1.3579987353296019e-05, 1.4441448001889512e-05, 1.5302908650483005e-05, 1.6164369299076498e-05, 1.7025828128680587e-05, 1.7887290596263483e-05, 1.8748751244856976e-05, 1.961021189345047e-05, 2.047167254204396e-05, 2.1333133190637454e-05, 2.2194593839230947e-05, 2.305605448782444e-05, 2.391751331742853e-05, 2.4778973966022022e-05]}, "gradients/decoder.model.decoder.layers.4.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 2.0, 5.0, 4.0, 8.0, 7.0, 10.0, 15.0, 19.0, 23.0, 31.0, 35.0, 45.0, 68.0, 72.0, 96.0, 114.0, 135.0, 174.0, 196.0, 256.0, 359.0, 473.0, 8864.0, 638377.0, 3533362.0, 9240.0, 650.0, 368.0, 265.0, 212.0, 159.0, 128.0, 106.0, 81.0, 71.0, 53.0, 47.0, 31.0, 32.0, 26.0, 16.0, 13.0, 11.0, 12.0, 8.0, 3.0, 4.0, 2.0, 4.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-6.085634231567383e-05, -5.9067271649837494e-05, -5.727820098400116e-05, -5.5489130318164825e-05, -5.370005965232849e-05, -5.191098898649216e-05, -5.012191832065582e-05, -4.833284765481949e-05, -4.6543776988983154e-05, -4.475470632314682e-05, -4.2965635657310486e-05, -4.117656499147415e-05, -3.938749432563782e-05, -3.759842365980148e-05, -3.580935299396515e-05, -3.4020282328128815e-05, -3.223121166229248e-05, -3.0442140996456146e-05, -2.8653070330619812e-05, -2.6863999664783478e-05, -2.5074928998947144e-05, -2.328585833311081e-05, -2.1496787667274475e-05, -1.970771700143814e-05, -1.7918646335601807e-05, -1.6129575669765472e-05, -1.4340505003929138e-05, -1.2551434338092804e-05, -1.076236367225647e-05, -8.973293006420135e-06, -7.184222340583801e-06, -5.395151674747467e-06, -3.606081008911133e-06, -1.8170103430747986e-06, -2.7939677238464355e-08, 1.7611309885978699e-06, 3.550201654434204e-06, 5.339272320270538e-06, 7.1283429861068726e-06, 8.917413651943207e-06, 1.0706484317779541e-05, 1.2495554983615875e-05, 1.428462564945221e-05, 1.6073696315288544e-05, 1.7862766981124878e-05, 1.9651837646961212e-05, 2.1440908312797546e-05, 2.322997897863388e-05, 2.5019049644470215e-05, 2.680812031030655e-05, 2.8597190976142883e-05, 3.0386261641979218e-05, 3.217533230781555e-05, 3.3964402973651886e-05, 3.575347363948822e-05, 3.7542544305324554e-05, 3.933161497116089e-05, 4.112068563699722e-05, 4.290975630283356e-05, 4.469882696866989e-05, 4.6487897634506226e-05, 4.827696830034256e-05, 5.0066038966178894e-05, 5.185510963201523e-05, 5.364418029785156e-05]}, "gradients/decoder.model.decoder.layers.4.fc2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 3.0, 5.0, 2.0, 2.0, 4.0, 6.0, 8.0, 7.0, 11.0, 9.0, 17.0, 17.0, 24.0, 16.0, 23.0, 25.0, 31.0, 25.0, 41.0, 36.0, 33.0, 47.0, 47.0, 56.0, 75.0, 31.0, 45.0, 56.0, 43.0, 33.0, 31.0, 26.0, 32.0, 19.0, 30.0, 13.0, 11.0, 10.0, 11.0, 10.0, 7.0, 12.0, 5.0, 6.0, 4.0, 2.0, 4.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0], "bins": [-2.110004425048828e-05, -2.0481646060943604e-05, -1.9863247871398926e-05, -1.9244849681854248e-05, -1.862645149230957e-05, -1.8008053302764893e-05, -1.7389655113220215e-05, -1.6771256923675537e-05, -1.615285873413086e-05, -1.553446054458618e-05, -1.4916062355041504e-05, -1.4297664165496826e-05, -1.3679265975952148e-05, -1.306086778640747e-05, -1.2442469596862793e-05, -1.1824071407318115e-05, -1.1205673217773438e-05, -1.058727502822876e-05, -9.968876838684082e-06, -9.350478649139404e-06, -8.732080459594727e-06, -8.113682270050049e-06, -7.495284080505371e-06, -6.876885890960693e-06, -6.258487701416016e-06, -5.640089511871338e-06, -5.02169132232666e-06, -4.403293132781982e-06, -3.7848949432373047e-06, -3.166496753692627e-06, -2.5480985641479492e-06, -1.9297003746032715e-06, -1.3113021850585938e-06, -6.92903995513916e-07, -7.450580596923828e-08, 5.438923835754395e-07, 1.1622905731201172e-06, 1.780688762664795e-06, 2.3990869522094727e-06, 3.0174851417541504e-06, 3.635883331298828e-06, 4.254281520843506e-06, 4.872679710388184e-06, 5.491077899932861e-06, 6.109476089477539e-06, 6.727874279022217e-06, 7.3462724685668945e-06, 7.964670658111572e-06, 8.58306884765625e-06, 9.201467037200928e-06, 9.819865226745605e-06, 1.0438263416290283e-05, 1.1056661605834961e-05, 1.1675059795379639e-05, 1.2293457984924316e-05, 1.2911856174468994e-05, 1.3530254364013672e-05, 1.414865255355835e-05, 1.4767050743103027e-05, 1.5385448932647705e-05, 1.6003847122192383e-05, 1.662224531173706e-05, 1.7240643501281738e-05, 1.7859041690826416e-05, 1.8477439880371094e-05]}, "gradients/decoder.model.decoder.layers.4.fc1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 4.0, 5.0, 9.0, 31.0, 69.0, 168.0, 423.0, 1236.0, 10884.0, 4174515.0, 5487.0, 904.0, 350.0, 142.0, 46.0, 11.0, 3.0, 1.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00012731552124023438, -0.00012372061610221863, -0.00012012571096420288, -0.00011653080582618713, -0.00011293590068817139, -0.00010934099555015564, -0.00010574609041213989, -0.00010215118527412415, -9.85562801361084e-05, -9.496137499809265e-05, -9.13664698600769e-05, -8.777156472206116e-05, -8.417665958404541e-05, -8.058175444602966e-05, -7.698684930801392e-05, -7.339194416999817e-05, -6.979703903198242e-05, -6.620213389396667e-05, -6.260722875595093e-05, -5.901232361793518e-05, -5.5417418479919434e-05, -5.1822513341903687e-05, -4.822760820388794e-05, -4.463270306587219e-05, -4.1037797927856445e-05, -3.74428927898407e-05, -3.384798765182495e-05, -3.0253082513809204e-05, -2.6658177375793457e-05, -2.306327223777771e-05, -1.9468367099761963e-05, -1.5873461961746216e-05, -1.2278556823730469e-05, -8.683651685714722e-06, -5.088746547698975e-06, -1.4938414096832275e-06, 2.1010637283325195e-06, 5.695968866348267e-06, 9.290874004364014e-06, 1.288577914237976e-05, 1.6480684280395508e-05, 2.0075589418411255e-05, 2.3670494556427002e-05, 2.726539969444275e-05, 3.0860304832458496e-05, 3.445520997047424e-05, 3.805011510848999e-05, 4.164502024650574e-05, 4.5239925384521484e-05, 4.883483052253723e-05, 5.242973566055298e-05, 5.6024640798568726e-05, 5.961954593658447e-05, 6.321445107460022e-05, 6.680935621261597e-05, 7.040426135063171e-05, 7.399916648864746e-05, 7.759407162666321e-05, 8.118897676467896e-05, 8.47838819026947e-05, 8.837878704071045e-05, 9.19736921787262e-05, 9.556859731674194e-05, 9.916350245475769e-05, 0.00010275840759277344]}, "gradients/decoder.model.decoder.layers.4.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 4.0, 4.0, 12.0, 30.0, 103.0, 2850.0, 901.0, 114.0, 27.0, 14.0, 10.0, 5.0, 7.0, 0.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7583370208740234e-05, -1.7032958567142487e-05, -1.648254692554474e-05, -1.593213528394699e-05, -1.5381723642349243e-05, -1.4831312000751495e-05, -1.4280900359153748e-05, -1.3730488717556e-05, -1.3180077075958252e-05, -1.2629665434360504e-05, -1.2079253792762756e-05, -1.1528842151165009e-05, -1.097843050956726e-05, -1.0428018867969513e-05, -9.877607226371765e-06, -9.327195584774017e-06, -8.77678394317627e-06, -8.226372301578522e-06, -7.675960659980774e-06, -7.125549018383026e-06, -6.575137376785278e-06, -6.0247257351875305e-06, -5.474314093589783e-06, -4.923902451992035e-06, -4.373490810394287e-06, -3.823079168796539e-06, -3.2726675271987915e-06, -2.7222558856010437e-06, -2.171844244003296e-06, -1.621432602405548e-06, -1.0710209608078003e-06, -5.206093192100525e-07, 2.9802322387695312e-08, 5.802139639854431e-07, 1.130625605583191e-06, 1.6810372471809387e-06, 2.2314488887786865e-06, 2.7818605303764343e-06, 3.332272171974182e-06, 3.88268381357193e-06, 4.433095455169678e-06, 4.9835070967674255e-06, 5.533918738365173e-06, 6.084330379962921e-06, 6.634742021560669e-06, 7.185153663158417e-06, 7.735565304756165e-06, 8.285976946353912e-06, 8.83638858795166e-06, 9.386800229549408e-06, 9.937211871147156e-06, 1.0487623512744904e-05, 1.1038035154342651e-05, 1.15884467959404e-05, 1.2138858437538147e-05, 1.2689270079135895e-05, 1.3239681720733643e-05, 1.379009336233139e-05, 1.4340505003929138e-05, 1.4890916645526886e-05, 1.5441328287124634e-05, 1.599173992872238e-05, 1.654215157032013e-05, 1.7092563211917877e-05, 1.7642974853515625e-05]}, "gradients/decoder.model.decoder.layers.4.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 4.0, 0.0, 2.0, 5.0, 6.0, 10.0, 10.0, 12.0, 19.0, 20.0, 26.0, 44.0, 57.0, 74.0, 122.0, 215.0, 117.0, 68.0, 48.0, 42.0, 28.0, 25.0, 15.0, 12.0, 9.0, 8.0, 2.0, 4.0, 2.0, 3.0, 2.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.235316737322137e-05, -4.122143946005963e-05, -4.008971154689789e-05, -3.895798363373615e-05, -3.782625572057441e-05, -3.6694531445391476e-05, -3.556279989425093e-05, -3.4431075619068e-05, -3.329934770590626e-05, -3.216761979274452e-05, -3.103589187958278e-05, -2.9904163966421038e-05, -2.8772437872248702e-05, -2.7640709959086962e-05, -2.6508982045925222e-05, -2.5377255951752886e-05, -2.4245526219601743e-05, -2.3113798306440003e-05, -2.1982070393278264e-05, -2.0850344299105927e-05, -1.9718616385944188e-05, -1.8586888472782448e-05, -1.7455160559620708e-05, -1.632343264645897e-05, -1.519170564279193e-05, -1.4059977729630191e-05, -1.2928250725963153e-05, -1.1796522812801413e-05, -1.0664794899639674e-05, -9.533067895972636e-06, -8.401339982810896e-06, -7.269612979143858e-06, -6.137885065982118e-06, -5.0061576075677294e-06, -3.874430149153341e-06, -2.742702235991601e-06, -1.610974777577212e-06, -4.792473191628233e-07, 6.524805939989164e-07, 1.7842075976659544e-06, 2.915935510827694e-06, 4.047662969242083e-06, 5.179390427656472e-06, 6.3111183408182114e-06, 7.4428457992326e-06, 8.574573257646989e-06, 9.706301170808729e-06, 1.0838028174475767e-05, 1.1969756087637506e-05, 1.3101484000799246e-05, 1.4233211004466284e-05, 1.5364938008133322e-05, 1.6496665921295062e-05, 1.76283938344568e-05, 1.876012174761854e-05, 1.989184966078028e-05, 2.102357757394202e-05, 2.215530548710376e-05, 2.32870334002655e-05, 2.441876131342724e-05, 2.5550487407599576e-05, 2.6682215320761316e-05, 2.7813943233923055e-05, 2.894566932809539e-05, 3.007739724125713e-05]}, "gradients/decoder.model.decoder.layers.4.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 1.0, 0.0, 3.0, 11.0, 5.0, 4.0, 9.0, 9.0, 13.0, 17.0, 19.0, 24.0, 24.0, 35.0, 36.0, 32.0, 45.0, 46.0, 35.0, 48.0, 37.0, 41.0, 60.0, 48.0, 43.0, 49.0, 47.0, 38.0, 35.0, 53.0, 22.0, 21.0, 7.0, 17.0, 13.0, 9.0, 13.0, 13.0, 9.0, 5.0, 8.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-2.463905002514366e-05, -2.3982496713870205e-05, -2.3325945221586153e-05, -2.2669391910312697e-05, -2.201283859903924e-05, -2.135628710675519e-05, -2.0699733795481734e-05, -2.0043182303197682e-05, -1.9386628991924226e-05, -1.873007568065077e-05, -1.807352418836672e-05, -1.7416970877093263e-05, -1.6760417565819807e-05, -1.6103866073535755e-05, -1.54473127622623e-05, -1.4790760360483546e-05, -1.413420704921009e-05, -1.3477654647431336e-05, -1.282110133615788e-05, -1.2164548934379127e-05, -1.1507996532600373e-05, -1.0851443221326917e-05, -1.0194890819548164e-05, -9.53833841776941e-06, -8.881785106495954e-06, -8.2252327047172e-06, -7.5686798481910955e-06, -6.912126991664991e-06, -6.255574589886237e-06, -5.599021733360132e-06, -4.9424688768340275e-06, -4.285916475055274e-06, -3.6293640732765198e-06, -2.9728114441240905e-06, -2.316258814971661e-06, -1.6597059584455565e-06, -1.0031533292931272e-06, -3.466007001406979e-07, 3.0995215638540685e-07, 9.665045581641607e-07, 1.6230574146902654e-06, 2.2796100438426947e-06, 2.936162672995124e-06, 3.5927155295212287e-06, 4.2492683860473335e-06, 4.905820787826087e-06, 5.562373644352192e-06, 6.218926046130946e-06, 6.875478902657051e-06, 7.532031759183155e-06, 8.18858461570926e-06, 8.845137017488014e-06, 9.501689419266768e-06, 1.0158242730540223e-05, 1.0814795132318977e-05, 1.1471347534097731e-05, 1.2127900845371187e-05, 1.278445324714994e-05, 1.3441006558423396e-05, 1.409755896020215e-05, 1.4754111361980904e-05, 1.5410663763759658e-05, 1.6067217075033113e-05, 1.672377038630657e-05, 1.738032187859062e-05]}, "gradients/decoder.model.decoder.layers.4.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 5.0, 4.0, 0.0, 5.0, 11.0, 11.0, 22.0, 21.0, 33.0, 44.0, 49.0, 70.0, 114.0, 174.0, 257.0, 425.0, 779.0, 1819.0, 5123.0, 22139.0, 802230.0, 184160.0, 22076.0, 5158.0, 1819.0, 785.0, 415.0, 262.0, 147.0, 100.0, 80.0, 61.0, 39.0, 37.0, 31.0, 13.0, 24.0, 2.0, 4.0, 8.0, 2.0, 0.0, 1.0, 5.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.993511199951172e-06, -3.87243926525116e-06, -3.7513673305511475e-06, -3.6302953958511353e-06, -3.509223461151123e-06, -3.388151526451111e-06, -3.2670795917510986e-06, -3.1460076570510864e-06, -3.0249357223510742e-06, -2.903863787651062e-06, -2.78279185295105e-06, -2.6617199182510376e-06, -2.5406479835510254e-06, -2.419576048851013e-06, -2.298504114151001e-06, -2.1774321794509888e-06, -2.0563602447509766e-06, -1.9352883100509644e-06, -1.8142163753509521e-06, -1.69314444065094e-06, -1.5720725059509277e-06, -1.4510005712509155e-06, -1.3299286365509033e-06, -1.2088567018508911e-06, -1.087784767150879e-06, -9.667128324508667e-07, -8.456408977508545e-07, -7.245689630508423e-07, -6.034970283508301e-07, -4.824250936508179e-07, -3.6135315895080566e-07, -2.4028122425079346e-07, -1.1920928955078125e-07, 1.862645149230957e-09, 1.2293457984924316e-07, 2.4400651454925537e-07, 3.650784492492676e-07, 4.861503839492798e-07, 6.07222318649292e-07, 7.282942533493042e-07, 8.493661880493164e-07, 9.704381227493286e-07, 1.0915100574493408e-06, 1.212581992149353e-06, 1.3336539268493652e-06, 1.4547258615493774e-06, 1.5757977962493896e-06, 1.6968697309494019e-06, 1.817941665649414e-06, 1.9390136003494263e-06, 2.0600855350494385e-06, 2.1811574697494507e-06, 2.302229404449463e-06, 2.423301339149475e-06, 2.5443732738494873e-06, 2.6654452085494995e-06, 2.7865171432495117e-06, 2.907589077949524e-06, 3.028661012649536e-06, 3.1497329473495483e-06, 3.2708048820495605e-06, 3.3918768167495728e-06, 3.512948751449585e-06, 3.634020686149597e-06, 3.7550926208496094e-06]}, "gradients/decoder.model.decoder.layers.4.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 3.0, 4.0, 7.0, 4.0, 10.0, 6.0, 11.0, 11.0, 15.0, 17.0, 29.0, 28.0, 42.0, 26.0, 55.0, 53.0, 47.0, 56.0, 51.0, 76.0, 64.0, 58.0, 45.0, 47.0, 42.0, 44.0, 35.0, 18.0, 22.0, 17.0, 11.0, 14.0, 7.0, 14.0, 8.0, 4.0, 5.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0], "bins": [-1.9490718841552734e-05, -1.8967315554618835e-05, -1.8443912267684937e-05, -1.7920508980751038e-05, -1.739710569381714e-05, -1.687370240688324e-05, -1.635029911994934e-05, -1.5826895833015442e-05, -1.5303492546081543e-05, -1.4780089259147644e-05, -1.4256685972213745e-05, -1.3733282685279846e-05, -1.3209879398345947e-05, -1.2686476111412048e-05, -1.216307282447815e-05, -1.163966953754425e-05, -1.1116266250610352e-05, -1.0592862963676453e-05, -1.0069459676742554e-05, -9.546056389808655e-06, -9.022653102874756e-06, -8.499249815940857e-06, -7.975846529006958e-06, -7.452443242073059e-06, -6.92903995513916e-06, -6.405636668205261e-06, -5.882233381271362e-06, -5.358830094337463e-06, -4.8354268074035645e-06, -4.3120235204696655e-06, -3.7886202335357666e-06, -3.2652169466018677e-06, -2.7418136596679688e-06, -2.21841037273407e-06, -1.695007085800171e-06, -1.171603798866272e-06, -6.48200511932373e-07, -1.2479722499847412e-07, 3.986060619354248e-07, 9.220093488693237e-07, 1.4454126358032227e-06, 1.9688159227371216e-06, 2.4922192096710205e-06, 3.0156224966049194e-06, 3.5390257835388184e-06, 4.062429070472717e-06, 4.585832357406616e-06, 5.109235644340515e-06, 5.632638931274414e-06, 6.156042218208313e-06, 6.679445505142212e-06, 7.202848792076111e-06, 7.72625207901001e-06, 8.249655365943909e-06, 8.773058652877808e-06, 9.296461939811707e-06, 9.819865226745605e-06, 1.0343268513679504e-05, 1.0866671800613403e-05, 1.1390075087547302e-05, 1.1913478374481201e-05, 1.24368816614151e-05, 1.2960284948348999e-05, 1.3483688235282898e-05, 1.4007091522216797e-05]}, "gradients/decoder.model.decoder.layers.4.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 19.0, 0.0, 0.0, 0.0, 57.0, 0.0, 0.0, 0.0, 0.0, 228.0, 0.0, 0.0, 0.0, 1061.0, 0.0, 0.0, 0.0, 7273.0, 0.0, 0.0, 0.0, 81321.0, 0.0, 0.0, 0.0, 0.0, 867211.0, 0.0, 0.0, 0.0, 82556.0, 0.0, 0.0, 0.0, 7345.0, 0.0, 0.0, 0.0, 1182.0, 0.0, 0.0, 0.0, 0.0, 248.0, 0.0, 0.0, 0.0, 60.0, 0.0, 0.0, 0.0, 12.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.76837158203125e-07, -4.628673195838928e-07, -4.4889748096466064e-07, -4.3492764234542847e-07, -4.209578037261963e-07, -4.069879651069641e-07, -3.9301812648773193e-07, -3.7904828786849976e-07, -3.650784492492676e-07, -3.511086106300354e-07, -3.371387720108032e-07, -3.2316893339157104e-07, -3.0919909477233887e-07, -2.952292561531067e-07, -2.812594175338745e-07, -2.6728957891464233e-07, -2.5331974029541016e-07, -2.39349901676178e-07, -2.253800630569458e-07, -2.1141022443771362e-07, -1.9744038581848145e-07, -1.8347054719924927e-07, -1.695007085800171e-07, -1.555308699607849e-07, -1.4156103134155273e-07, -1.2759119272232056e-07, -1.1362135410308838e-07, -9.96515154838562e-08, -8.568167686462402e-08, -7.171183824539185e-08, -5.774199962615967e-08, -4.377216100692749e-08, -2.9802322387695312e-08, -1.5832483768463135e-08, -1.862645149230957e-09, 1.210719347000122e-08, 2.60770320892334e-08, 4.0046870708465576e-08, 5.4016709327697754e-08, 6.798654794692993e-08, 8.195638656616211e-08, 9.592622518539429e-08, 1.0989606380462646e-07, 1.2386590242385864e-07, 1.3783574104309082e-07, 1.51805579662323e-07, 1.6577541828155518e-07, 1.7974525690078735e-07, 1.9371509552001953e-07, 2.076849341392517e-07, 2.2165477275848389e-07, 2.3562461137771606e-07, 2.4959444999694824e-07, 2.635642886161804e-07, 2.775341272354126e-07, 2.915039658546448e-07, 3.0547380447387695e-07, 3.1944364309310913e-07, 3.334134817123413e-07, 3.473833203315735e-07, 3.6135315895080566e-07, 3.7532299757003784e-07, 3.8929283618927e-07, 4.032626748085022e-07, 4.172325134277344e-07]}, "gradients/decoder.model.decoder.layers.4.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 1.0, 1.0, 7.0, 5.0, 5.0, 4.0, 8.0, 11.0, 4.0, 8.0, 14.0, 20.0, 14.0, 17.0, 34.0, 28.0, 25.0, 25.0, 30.0, 52.0, 38.0, 43.0, 48.0, 39.0, 54.0, 43.0, 28.0, 46.0, 41.0, 38.0, 30.0, 38.0, 32.0, 27.0, 19.0, 22.0, 14.0, 23.0, 8.0, 14.0, 16.0, 10.0, 3.0, 6.0, 4.0, 2.0, 6.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.17692756652832e-05, -3.080815076828003e-05, -2.9847025871276855e-05, -2.888590097427368e-05, -2.7924776077270508e-05, -2.6963651180267334e-05, -2.600252628326416e-05, -2.5041401386260986e-05, -2.4080276489257812e-05, -2.311915159225464e-05, -2.2158026695251465e-05, -2.119690179824829e-05, -2.0235776901245117e-05, -1.9274652004241943e-05, -1.831352710723877e-05, -1.7352402210235596e-05, -1.6391277313232422e-05, -1.5430152416229248e-05, -1.4469027519226074e-05, -1.35079026222229e-05, -1.2546777725219727e-05, -1.1585652828216553e-05, -1.0624527931213379e-05, -9.663403034210205e-06, -8.702278137207031e-06, -7.741153240203857e-06, -6.780028343200684e-06, -5.81890344619751e-06, -4.857778549194336e-06, -3.896653652191162e-06, -2.9355287551879883e-06, -1.9744038581848145e-06, -1.0132789611816406e-06, -5.21540641784668e-08, 9.08970832824707e-07, 1.8700957298278809e-06, 2.8312206268310547e-06, 3.7923455238342285e-06, 4.753470420837402e-06, 5.714595317840576e-06, 6.67572021484375e-06, 7.636845111846924e-06, 8.597970008850098e-06, 9.559094905853271e-06, 1.0520219802856445e-05, 1.1481344699859619e-05, 1.2442469596862793e-05, 1.3403594493865967e-05, 1.436471939086914e-05, 1.5325844287872314e-05, 1.6286969184875488e-05, 1.7248094081878662e-05, 1.8209218978881836e-05, 1.917034387588501e-05, 2.0131468772888184e-05, 2.1092593669891357e-05, 2.205371856689453e-05, 2.3014843463897705e-05, 2.397596836090088e-05, 2.4937093257904053e-05, 2.5898218154907227e-05, 2.68593430519104e-05, 2.7820467948913574e-05, 2.8781592845916748e-05, 2.9742717742919922e-05]}, "gradients/decoder.model.decoder.layers.4.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.4.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 11.0, 0.0, 0.0, 0.0, 41.0, 0.0, 0.0, 0.0, 0.0, 50.0, 0.0, 0.0, 0.0, 0.0, 135.0, 0.0, 0.0, 0.0, 525.0, 0.0, 0.0, 0.0, 0.0, 141.0, 0.0, 0.0, 0.0, 57.0, 0.0, 0.0, 0.0, 0.0, 42.0, 0.0, 0.0, 0.0, 10.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.76837158203125e-07, -4.637986421585083e-07, -4.507601261138916e-07, -4.377216100692749e-07, -4.246830940246582e-07, -4.116445779800415e-07, -3.986060619354248e-07, -3.855675458908081e-07, -3.725290298461914e-07, -3.594905138015747e-07, -3.46451997756958e-07, -3.334134817123413e-07, -3.203749656677246e-07, -3.073364496231079e-07, -2.942979335784912e-07, -2.812594175338745e-07, -2.682209014892578e-07, -2.551823854446411e-07, -2.421438694000244e-07, -2.2910535335540771e-07, -2.1606683731079102e-07, -2.0302832126617432e-07, -1.8998980522155762e-07, -1.7695128917694092e-07, -1.6391277313232422e-07, -1.5087425708770752e-07, -1.3783574104309082e-07, -1.2479722499847412e-07, -1.1175870895385742e-07, -9.872019290924072e-08, -8.568167686462402e-08, -7.264316082000732e-08, -5.960464477539063e-08, -4.6566128730773926e-08, -3.3527612686157227e-08, -2.0489096641540527e-08, -7.450580596923828e-09, 5.587935447692871e-09, 1.862645149230957e-08, 3.166496753692627e-08, 4.470348358154297e-08, 5.774199962615967e-08, 7.078051567077637e-08, 8.381903171539307e-08, 9.685754776000977e-08, 1.0989606380462646e-07, 1.2293457984924316e-07, 1.3597309589385986e-07, 1.4901161193847656e-07, 1.6205012798309326e-07, 1.7508864402770996e-07, 1.8812716007232666e-07, 2.0116567611694336e-07, 2.1420419216156006e-07, 2.2724270820617676e-07, 2.4028122425079346e-07, 2.5331974029541016e-07, 2.6635825634002686e-07, 2.7939677238464355e-07, 2.9243528842926025e-07, 3.0547380447387695e-07, 3.1851232051849365e-07, 3.3155083656311035e-07, 3.4458935260772705e-07, 3.5762786865234375e-07]}, "gradients/decoder.model.decoder.layers.4.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.4.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.4.self_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 5.0, 10.0, 11.0, 16.0, 17.0, 34.0, 45.0, 63.0, 118.0, 231.0, 166.0, 85.0, 47.0, 44.0, 38.0, 25.0, 13.0, 11.0, 9.0, 5.0, 7.0, 1.0, 3.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.54242765752133e-05, -3.455709884292446e-05, -3.3689917472656816e-05, -3.282273974036798e-05, -3.195556200807914e-05, -3.1088384275790304e-05, -3.022120290552266e-05, -2.9354025173233822e-05, -2.848684562195558e-05, -2.761966607067734e-05, -2.6752488338388503e-05, -2.588530878711026e-05, -2.5018131054821424e-05, -2.4150951503543183e-05, -2.3283773771254346e-05, -2.2416594219976105e-05, -2.1549414668697864e-05, -2.0682235117419623e-05, -1.9815057385130785e-05, -1.8947877833852544e-05, -1.8080700101563707e-05, -1.7213520550285466e-05, -1.6346340999007225e-05, -1.5479163266718388e-05, -1.461198553442955e-05, -1.3744806892646011e-05, -1.2877628250862472e-05, -1.201044869958423e-05, -1.1143270057800692e-05, -1.0276091416017152e-05, -9.408912774233613e-06, -8.541734132450074e-06, -7.674554581171833e-06, -6.807375939388294e-06, -5.940196842857404e-06, -5.0730182010738645e-06, -4.205839104542974e-06, -3.338660462759435e-06, -2.471481820975896e-06, -1.6043027244450059e-06, -7.371240826614667e-07, 1.3005472965232912e-07, 9.97233541966125e-07, 1.8644122974365018e-06, 2.7315911665937165e-06, 3.598770035750931e-06, 4.46594867753447e-06, 5.3331277740653604e-06, 6.2003064158489e-06, 7.067485057632439e-06, 7.934663699415978e-06, 8.801842341199517e-06, 9.669021892477758e-06, 1.0536200534261297e-05, 1.1403379176044837e-05, 1.2270558727323078e-05, 1.3137736459611915e-05, 1.4004915101395454e-05, 1.4872093743178993e-05, 1.5739273294457234e-05, 1.6606451026746072e-05, 1.7473630578024313e-05, 1.834080831031315e-05, 1.920798786159139e-05, 2.0075167412869632e-05]}, "gradients/decoder.model.decoder.layers.4.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 1.0, 1.0, 3.0, 4.0, 6.0, 4.0, 11.0, 9.0, 12.0, 12.0, 20.0, 20.0, 32.0, 31.0, 46.0, 26.0, 48.0, 51.0, 45.0, 53.0, 43.0, 56.0, 57.0, 51.0, 46.0, 52.0, 48.0, 43.0, 44.0, 24.0, 17.0, 19.0, 11.0, 17.0, 11.0, 13.0, 8.0, 5.0, 7.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0], "bins": [-1.7550086340634152e-05, -1.707872979750391e-05, -1.6607371435384266e-05, -1.6136014892254025e-05, -1.566465653013438e-05, -1.5193299987004139e-05, -1.4721943443873897e-05, -1.4250585991248954e-05, -1.3779228538624011e-05, -1.3307871085999068e-05, -1.2836513633374125e-05, -1.2365157090243883e-05, -1.189379963761894e-05, -1.1422442184993997e-05, -1.0951085641863756e-05, -1.0479728189238813e-05, -1.000837073661387e-05, -9.537013283988927e-06, -9.065655831363983e-06, -8.594299288233742e-06, -8.122941835608799e-06, -7.651584382983856e-06, -7.180227385106264e-06, -6.7088703872286715e-06, -6.237512934603728e-06, -5.766155481978785e-06, -5.294798484101193e-06, -4.823441486223601e-06, -4.352084033598658e-06, -3.880726580973715e-06, -3.4093695830961224e-06, -2.9380123578448547e-06, -2.466656042088289e-06, -1.995298816837021e-06, -1.5239415915857535e-06, -1.0525843663344858e-06, -5.812271410832182e-07, -1.0986991583195049e-07, 3.6148730941931717e-07, 8.328445346705848e-07, 1.3042017599218525e-06, 1.7755589851731202e-06, 2.246916210424388e-06, 2.7182734356756555e-06, 3.189630660926923e-06, 3.660987886178191e-06, 4.1323451114294585e-06, 4.603702109307051e-06, 5.075059561931994e-06, 5.546417014556937e-06, 6.017774012434529e-06, 6.489131010312121e-06, 6.9604884629370645e-06, 7.4318459155620076e-06, 7.90320336818695e-06, 8.374559911317192e-06, 8.845917363942135e-06, 9.317274816567078e-06, 9.78863135969732e-06, 1.0259988812322263e-05, 1.0731346264947206e-05, 1.1202703717572149e-05, 1.1674061170197092e-05, 1.2145417713327333e-05, 1.2616775165952276e-05]}, "gradients/decoder.model.decoder.layers.4.self_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 0.0, 3.0, 0.0, 6.0, 10.0, 9.0, 12.0, 23.0, 34.0, 43.0, 69.0, 121.0, 203.0, 397.0, 781.0, 1546.0, 3075.0, 7194.0, 14656.0, 34434.0, 106461.0, 541275.0, 233619.0, 60068.0, 23837.0, 11242.0, 4726.0, 2239.0, 1225.0, 513.0, 301.0, 160.0, 98.0, 56.0, 43.0, 30.0, 19.0, 18.0, 4.0, 7.0, 4.0, 2.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.7835369110107422e-05, -2.709869295358658e-05, -2.6362016797065735e-05, -2.562534064054489e-05, -2.4888664484024048e-05, -2.4151988327503204e-05, -2.341531217098236e-05, -2.2678636014461517e-05, -2.1941959857940674e-05, -2.120528370141983e-05, -2.0468607544898987e-05, -1.9731931388378143e-05, -1.89952552318573e-05, -1.8258579075336456e-05, -1.7521902918815613e-05, -1.678522676229477e-05, -1.6048550605773926e-05, -1.5311874449253082e-05, -1.4575198292732239e-05, -1.3838522136211395e-05, -1.3101845979690552e-05, -1.2365169823169708e-05, -1.1628493666648865e-05, -1.0891817510128021e-05, -1.0155141353607178e-05, -9.418465197086334e-06, -8.68178904056549e-06, -7.945112884044647e-06, -7.208436727523804e-06, -6.47176057100296e-06, -5.735084414482117e-06, -4.998408257961273e-06, -4.26173210144043e-06, -3.525055944919586e-06, -2.7883797883987427e-06, -2.051703631877899e-06, -1.3150274753570557e-06, -5.783513188362122e-07, 1.5832483768463135e-07, 8.950009942054749e-07, 1.6316771507263184e-06, 2.368353307247162e-06, 3.1050294637680054e-06, 3.841705620288849e-06, 4.578381776809692e-06, 5.315057933330536e-06, 6.051734089851379e-06, 6.788410246372223e-06, 7.525086402893066e-06, 8.26176255941391e-06, 8.998438715934753e-06, 9.735114872455597e-06, 1.047179102897644e-05, 1.1208467185497284e-05, 1.1945143342018127e-05, 1.2681819498538971e-05, 1.3418495655059814e-05, 1.4155171811580658e-05, 1.4891847968101501e-05, 1.5628524124622345e-05, 1.636520028114319e-05, 1.7101876437664032e-05, 1.7838552594184875e-05, 1.857522875070572e-05, 1.9311904907226562e-05]}, "gradients/decoder.model.decoder.layers.4.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 3.0, 4.0, 4.0, 8.0, 8.0, 15.0, 15.0, 9.0, 19.0, 18.0, 34.0, 36.0, 31.0, 37.0, 48.0, 57.0, 32.0, 69.0, 56.0, 62.0, 72.0, 42.0, 64.0, 37.0, 36.0, 49.0, 19.0, 24.0, 19.0, 13.0, 17.0, 9.0, 18.0, 8.0, 5.0, 6.0, 4.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-5.424022674560547e-06, -5.280598998069763e-06, -5.1371753215789795e-06, -4.993751645088196e-06, -4.850327968597412e-06, -4.706904292106628e-06, -4.563480615615845e-06, -4.420056939125061e-06, -4.276633262634277e-06, -4.133209586143494e-06, -3.98978590965271e-06, -3.846362233161926e-06, -3.7029385566711426e-06, -3.559514880180359e-06, -3.416091203689575e-06, -3.2726675271987915e-06, -3.129243850708008e-06, -2.985820174217224e-06, -2.8423964977264404e-06, -2.6989728212356567e-06, -2.555549144744873e-06, -2.4121254682540894e-06, -2.2687017917633057e-06, -2.125278115272522e-06, -1.9818544387817383e-06, -1.8384307622909546e-06, -1.695007085800171e-06, -1.5515834093093872e-06, -1.4081597328186035e-06, -1.2647360563278198e-06, -1.1213123798370361e-06, -9.778887033462524e-07, -8.344650268554688e-07, -6.910413503646851e-07, -5.476176738739014e-07, -4.041939973831177e-07, -2.60770320892334e-07, -1.1734664440155029e-07, 2.60770320892334e-08, 1.695007085800171e-07, 3.129243850708008e-07, 4.5634806156158447e-07, 5.997717380523682e-07, 7.431954145431519e-07, 8.866190910339355e-07, 1.0300427675247192e-06, 1.173466444015503e-06, 1.3168901205062866e-06, 1.4603137969970703e-06, 1.603737473487854e-06, 1.7471611499786377e-06, 1.8905848264694214e-06, 2.034008502960205e-06, 2.1774321794509888e-06, 2.3208558559417725e-06, 2.464279532432556e-06, 2.60770320892334e-06, 2.7511268854141235e-06, 2.8945505619049072e-06, 3.037974238395691e-06, 3.1813979148864746e-06, 3.3248215913772583e-06, 3.468245267868042e-06, 3.6116689443588257e-06, 3.7550926208496094e-06]}, "gradients/decoder.model.decoder.layers.4.self_attn.v_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 3.0, 1.0, 2.0, 2.0, 4.0, 4.0, 7.0, 19.0, 25.0, 25.0, 44.0, 48.0, 69.0, 109.0, 127.0, 294.0, 361.0, 639.0, 811.0, 1581.0, 2102.0, 4021.0, 5336.0, 11482.0, 15900.0, 36609.0, 58671.0, 192686.0, 449958.0, 148105.0, 57793.0, 23740.0, 16329.0, 7615.0, 5746.0, 2774.0, 2191.0, 1057.0, 773.0, 487.0, 348.0, 208.0, 169.0, 80.0, 67.0, 48.0, 35.0, 24.0, 15.0, 9.0, 5.0, 5.0, 2.0, 0.0, 0.0, 3.0, 1.0, 1.0, 0.0, 1.0, 2.0], "bins": [-8.463859558105469e-06, -8.19377601146698e-06, -7.923692464828491e-06, -7.653608918190002e-06, -7.383525371551514e-06, -7.113441824913025e-06, -6.843358278274536e-06, -6.573274731636047e-06, -6.303191184997559e-06, -6.03310763835907e-06, -5.763024091720581e-06, -5.492940545082092e-06, -5.2228569984436035e-06, -4.952773451805115e-06, -4.682689905166626e-06, -4.412606358528137e-06, -4.1425228118896484e-06, -3.87243926525116e-06, -3.602355718612671e-06, -3.332272171974182e-06, -3.0621886253356934e-06, -2.7921050786972046e-06, -2.522021532058716e-06, -2.251937985420227e-06, -1.9818544387817383e-06, -1.7117708921432495e-06, -1.4416873455047607e-06, -1.171603798866272e-06, -9.015202522277832e-07, -6.314367055892944e-07, -3.6135315895080566e-07, -9.12696123123169e-08, 1.7881393432617188e-07, 4.4889748096466064e-07, 7.189810276031494e-07, 9.890645742416382e-07, 1.259148120880127e-06, 1.5292316675186157e-06, 1.7993152141571045e-06, 2.0693987607955933e-06, 2.339482307434082e-06, 2.609565854072571e-06, 2.8796494007110596e-06, 3.1497329473495483e-06, 3.419816493988037e-06, 3.689900040626526e-06, 3.959983587265015e-06, 4.230067133903503e-06, 4.500150680541992e-06, 4.770234227180481e-06, 5.04031777381897e-06, 5.3104013204574585e-06, 5.580484867095947e-06, 5.850568413734436e-06, 6.120651960372925e-06, 6.3907355070114136e-06, 6.660819053649902e-06, 6.930902600288391e-06, 7.20098614692688e-06, 7.471069693565369e-06, 7.741153240203857e-06, 8.011236786842346e-06, 8.281320333480835e-06, 8.551403880119324e-06, 8.821487426757812e-06]}, "gradients/decoder.model.decoder.layers.4.self_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 5.0, 5.0, 2.0, 10.0, 7.0, 11.0, 10.0, 13.0, 19.0, 9.0, 18.0, 21.0, 34.0, 36.0, 25.0, 40.0, 46.0, 66.0, 50.0, 73.0, 74.0, 49.0, 56.0, 31.0, 55.0, 49.0, 19.0, 42.0, 18.0, 20.0, 21.0, 13.0, 20.0, 7.0, 3.0, 7.0, 9.0, 3.0, 4.0, 4.0, 5.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-6.973743438720703e-06, -6.759539246559143e-06, -6.545335054397583e-06, -6.331130862236023e-06, -6.116926670074463e-06, -5.902722477912903e-06, -5.688518285751343e-06, -5.474314093589783e-06, -5.260109901428223e-06, -5.045905709266663e-06, -4.8317015171051025e-06, -4.6174973249435425e-06, -4.403293132781982e-06, -4.189088940620422e-06, -3.974884748458862e-06, -3.7606805562973022e-06, -3.546476364135742e-06, -3.332272171974182e-06, -3.118067979812622e-06, -2.903863787651062e-06, -2.689659595489502e-06, -2.475455403327942e-06, -2.261251211166382e-06, -2.0470470190048218e-06, -1.8328428268432617e-06, -1.6186386346817017e-06, -1.4044344425201416e-06, -1.1902302503585815e-06, -9.760260581970215e-07, -7.618218660354614e-07, -5.476176738739014e-07, -3.334134817123413e-07, -1.1920928955078125e-07, 9.499490261077881e-08, 3.0919909477233887e-07, 5.234032869338989e-07, 7.37607479095459e-07, 9.51811671257019e-07, 1.166015863418579e-06, 1.3802200555801392e-06, 1.5944242477416992e-06, 1.8086284399032593e-06, 2.0228326320648193e-06, 2.2370368242263794e-06, 2.4512410163879395e-06, 2.6654452085494995e-06, 2.8796494007110596e-06, 3.0938535928726196e-06, 3.3080577850341797e-06, 3.5222619771957397e-06, 3.7364661693573e-06, 3.95067036151886e-06, 4.16487455368042e-06, 4.37907874584198e-06, 4.59328293800354e-06, 4.8074871301651e-06, 5.02169132232666e-06, 5.23589551448822e-06, 5.45009970664978e-06, 5.66430389881134e-06, 5.8785080909729e-06, 6.0927122831344604e-06, 6.3069164752960205e-06, 6.5211206674575806e-06, 6.735324859619141e-06]}, "gradients/decoder.model.decoder.layers.4.self_attn.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 40.0, 0.0, 0.0, 0.0, 0.0, 0.0, 120.0, 0.0, 0.0, 0.0, 0.0, 540.0, 0.0, 0.0, 0.0, 0.0, 5805.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1035634.0, 0.0, 0.0, 0.0, 0.0, 5622.0, 0.0, 0.0, 0.0, 0.0, 621.0, 0.0, 0.0, 0.0, 0.0, 0.0, 134.0, 0.0, 0.0, 0.0, 0.0, 36.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-3.5762786865234375e-07, -3.46451997756958e-07, -3.3527612686157227e-07, -3.241002559661865e-07, -3.129243850708008e-07, -3.0174851417541504e-07, -2.905726432800293e-07, -2.7939677238464355e-07, -2.682209014892578e-07, -2.5704503059387207e-07, -2.4586915969848633e-07, -2.3469328880310059e-07, -2.2351741790771484e-07, -2.123415470123291e-07, -2.0116567611694336e-07, -1.8998980522155762e-07, -1.7881393432617188e-07, -1.6763806343078613e-07, -1.564621925354004e-07, -1.4528632164001465e-07, -1.341104507446289e-07, -1.2293457984924316e-07, -1.1175870895385742e-07, -1.0058283805847168e-07, -8.940696716308594e-08, -7.82310962677002e-08, -6.705522537231445e-08, -5.587935447692871e-08, -4.470348358154297e-08, -3.3527612686157227e-08, -2.2351741790771484e-08, -1.1175870895385742e-08, 0.0, 1.1175870895385742e-08, 2.2351741790771484e-08, 3.3527612686157227e-08, 4.470348358154297e-08, 5.587935447692871e-08, 6.705522537231445e-08, 7.82310962677002e-08, 8.940696716308594e-08, 1.0058283805847168e-07, 1.1175870895385742e-07, 1.2293457984924316e-07, 1.341104507446289e-07, 1.4528632164001465e-07, 1.564621925354004e-07, 1.6763806343078613e-07, 1.7881393432617188e-07, 1.8998980522155762e-07, 2.0116567611694336e-07, 2.123415470123291e-07, 2.2351741790771484e-07, 2.3469328880310059e-07, 2.4586915969848633e-07, 2.5704503059387207e-07, 2.682209014892578e-07, 2.7939677238464355e-07, 2.905726432800293e-07, 3.0174851417541504e-07, 3.129243850708008e-07, 3.241002559661865e-07, 3.3527612686157227e-07, 3.46451997756958e-07, 3.5762786865234375e-07]}, "gradients/decoder.model.decoder.layers.4.self_attn.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.4.self_attn.q_proj.weight": {"_type": "histogram", "values": [18.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 312.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7937.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1032038.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7936.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 315.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 20.0], "bins": [-1.7881393432617188e-07, -1.73225998878479e-07, -1.6763806343078613e-07, -1.6205012798309326e-07, -1.564621925354004e-07, -1.5087425708770752e-07, -1.4528632164001465e-07, -1.3969838619232178e-07, -1.341104507446289e-07, -1.2852251529693604e-07, -1.2293457984924316e-07, -1.1734664440155029e-07, -1.1175870895385742e-07, -1.0617077350616455e-07, -1.0058283805847168e-07, -9.499490261077881e-08, -8.940696716308594e-08, -8.381903171539307e-08, -7.82310962677002e-08, -7.264316082000732e-08, -6.705522537231445e-08, -6.146728992462158e-08, -5.587935447692871e-08, -5.029141902923584e-08, -4.470348358154297e-08, -3.91155481338501e-08, -3.3527612686157227e-08, -2.7939677238464355e-08, -2.2351741790771484e-08, -1.6763806343078613e-08, -1.1175870895385742e-08, -5.587935447692871e-09, 0.0, 5.587935447692871e-09, 1.1175870895385742e-08, 1.6763806343078613e-08, 2.2351741790771484e-08, 2.7939677238464355e-08, 3.3527612686157227e-08, 3.91155481338501e-08, 4.470348358154297e-08, 5.029141902923584e-08, 5.587935447692871e-08, 6.146728992462158e-08, 6.705522537231445e-08, 7.264316082000732e-08, 7.82310962677002e-08, 8.381903171539307e-08, 8.940696716308594e-08, 9.499490261077881e-08, 1.0058283805847168e-07, 1.0617077350616455e-07, 1.1175870895385742e-07, 1.1734664440155029e-07, 1.2293457984924316e-07, 1.2852251529693604e-07, 1.341104507446289e-07, 1.3969838619232178e-07, 1.4528632164001465e-07, 1.5087425708770752e-07, 1.564621925354004e-07, 1.6205012798309326e-07, 1.6763806343078613e-07, 1.73225998878479e-07, 1.7881393432617188e-07]}, "gradients/decoder.model.decoder.layers.4.self_attn.q_proj.bias": {"_type": "histogram", "values": [10.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 28.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 949.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 28.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 9.0], "bins": [-1.1920928955078125e-07, -1.1548399925231934e-07, -1.1175870895385742e-07, -1.0803341865539551e-07, -1.043081283569336e-07, -1.0058283805847168e-07, -9.685754776000977e-08, -9.313225746154785e-08, -8.940696716308594e-08, -8.568167686462402e-08, -8.195638656616211e-08, -7.82310962677002e-08, -7.450580596923828e-08, -7.078051567077637e-08, -6.705522537231445e-08, -6.332993507385254e-08, -5.960464477539063e-08, -5.587935447692871e-08, -5.21540641784668e-08, -4.842877388000488e-08, -4.470348358154297e-08, -4.0978193283081055e-08, -3.725290298461914e-08, -3.3527612686157227e-08, -2.9802322387695312e-08, -2.60770320892334e-08, -2.2351741790771484e-08, -1.862645149230957e-08, -1.4901161193847656e-08, -1.1175870895385742e-08, -7.450580596923828e-09, -3.725290298461914e-09, 0.0, 3.725290298461914e-09, 7.450580596923828e-09, 1.1175870895385742e-08, 1.4901161193847656e-08, 1.862645149230957e-08, 2.2351741790771484e-08, 2.60770320892334e-08, 2.9802322387695312e-08, 3.3527612686157227e-08, 3.725290298461914e-08, 4.0978193283081055e-08, 4.470348358154297e-08, 4.842877388000488e-08, 5.21540641784668e-08, 5.587935447692871e-08, 5.960464477539063e-08, 6.332993507385254e-08, 6.705522537231445e-08, 7.078051567077637e-08, 7.450580596923828e-08, 7.82310962677002e-08, 8.195638656616211e-08, 8.568167686462402e-08, 8.940696716308594e-08, 9.313225746154785e-08, 9.685754776000977e-08, 1.0058283805847168e-07, 1.043081283569336e-07, 1.0803341865539551e-07, 1.1175870895385742e-07, 1.1548399925231934e-07, 1.1920928955078125e-07]}, "gradients/decoder.model.decoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 1.0, 6.0, 4.0, 7.0, 4.0, 5.0, 7.0, 9.0, 12.0, 19.0, 19.0, 36.0, 53.0, 85.0, 151.0, 264.0, 110.0, 57.0, 43.0, 29.0, 22.0, 19.0, 13.0, 8.0, 7.0, 5.0, 4.0, 3.0, 1.0, 4.0, 4.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.937229717441369e-05, -1.882353171822615e-05, -1.827476626203861e-05, -1.7726000805851072e-05, -1.7177237168652937e-05, -1.6628471712465398e-05, -1.607970625627786e-05, -1.553094080009032e-05, -1.4982175343902782e-05, -1.4433409887715243e-05, -1.3884644431527704e-05, -1.3335879884834867e-05, -1.2787114428647328e-05, -1.223834897245979e-05, -1.1689584425766952e-05, -1.1140818969579414e-05, -1.0592053513391875e-05, -1.0043288057204336e-05, -9.494522601016797e-06, -8.94575805432396e-06, -8.396992598136421e-06, -7.848227141948882e-06, -7.2994621405086946e-06, -6.750697139068507e-06, -6.201931682880968e-06, -5.653166226693429e-06, -5.104401225253241e-06, -4.555636223813053e-06, -4.006870767625514e-06, -3.458105538811651e-06, -2.9093403099977877e-06, -2.3605753085575998e-06, -1.8118080333806574e-06, -1.263042804566794e-06, -7.142775757529307e-07, -1.6551234693906736e-07, 3.83252881874796e-07, 9.320181106886594e-07, 1.4807833395025227e-06, 2.0295483409427106e-06, 2.5783137971302494e-06, 3.127079025944113e-06, 3.675844254757976e-06, 4.224609256198164e-06, 4.773374712385703e-06, 5.322140168573242e-06, 5.87090517001343e-06, 6.4196701714536175e-06, 6.968435627641156e-06, 7.517201083828695e-06, 8.065966540016234e-06, 8.614731086709071e-06, 9.16349654289661e-06, 9.712261999084149e-06, 1.0261026545776986e-05, 1.0809792001964524e-05, 1.1358557458152063e-05, 1.1907322914339602e-05, 1.245608837052714e-05, 1.3004852917219978e-05, 1.3553618373407517e-05, 1.4102383829595055e-05, 1.4651148376287892e-05, 1.5199913832475431e-05, 1.574867928866297e-05]}, "gradients/decoder.model.decoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 2.0, 3.0, 3.0, 7.0, 8.0, 6.0, 10.0, 10.0, 4.0, 10.0, 11.0, 12.0, 19.0, 15.0, 29.0, 30.0, 25.0, 24.0, 35.0, 22.0, 23.0, 37.0, 28.0, 35.0, 39.0, 37.0, 31.0, 41.0, 40.0, 38.0, 43.0, 31.0, 35.0, 35.0, 25.0, 39.0, 28.0, 22.0, 11.0, 17.0, 16.0, 18.0, 9.0, 11.0, 5.0, 7.0, 5.0, 3.0, 2.0, 2.0, 4.0, 5.0, 2.0, 3.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0, 2.0], "bins": [-7.753445061098319e-06, -7.490708867408102e-06, -7.227972218970535e-06, -6.965236025280319e-06, -6.702499376842752e-06, -6.439763183152536e-06, -6.17702698946232e-06, -5.914290341024753e-06, -5.6515541473345365e-06, -5.38881795364432e-06, -5.126081305206753e-06, -4.863345111516537e-06, -4.600608917826321e-06, -4.337872269388754e-06, -4.075136075698538e-06, -3.812399654634646e-06, -3.5496632335707545e-06, -3.286926812506863e-06, -3.0241903914429713e-06, -2.761454197752755e-06, -2.4987177766888635e-06, -2.235981355624972e-06, -1.9732451619347557e-06, -1.7105087408708641e-06, -1.4477723198069725e-06, -1.185035898743081e-06, -9.22299591366027e-07, -6.595632271455543e-07, -3.968268629250815e-07, -1.340904418611899e-07, 1.28645865515864e-07, 3.913821728929179e-07, 6.541176844621077e-07, 9.168540486825805e-07, 1.1795904129030532e-06, 1.4423267202801071e-06, 1.7050631413439987e-06, 1.9677995624078903e-06, 2.2305357560981065e-06, 2.493272177161998e-06, 2.7560085982258897e-06, 3.0187450192897813e-06, 3.281481440353673e-06, 3.544217634043889e-06, 3.8069540551077807e-06, 4.069690476171672e-06, 4.3324266698618885e-06, 4.595162863552105e-06, 4.857899511989672e-06, 5.120635705679888e-06, 5.383372354117455e-06, 5.646108547807671e-06, 5.908845196245238e-06, 6.171581389935454e-06, 6.4343175836256705e-06, 6.697054232063238e-06, 6.959790425753454e-06, 7.22252661944367e-06, 7.485263267881237e-06, 7.747999916318804e-06, 8.01073565526167e-06, 8.273472303699236e-06, 8.536208952136803e-06, 8.798944691079669e-06, 9.061681339517236e-06]}, "gradients/decoder.model.decoder.layers.3.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 11.0, 1.0, 8.0, 15.0, 17.0, 73.0, 46.0, 146.0, 58.0, 403.0, 396.0, 627.0, 2131.0, 1825.0, 9194.0, 9160.0, 14410.0, 57483.0, 55676.0, 236071.0, 252712.0, 333660.0, 2592429.0, 268642.0, 225964.0, 48568.0, 49613.0, 12308.0, 7932.0, 8582.0, 1940.0, 2208.0, 709.0, 394.0, 468.0, 70.0, 153.0, 61.0, 62.0, 17.0, 20.0, 8.0, 1.0, 16.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.682209014892578e-06, -2.598389983177185e-06, -2.514570951461792e-06, -2.430751919746399e-06, -2.346932888031006e-06, -2.263113856315613e-06, -2.1792948246002197e-06, -2.0954757928848267e-06, -2.0116567611694336e-06, -1.9278377294540405e-06, -1.8440186977386475e-06, -1.7601996660232544e-06, -1.6763806343078613e-06, -1.5925616025924683e-06, -1.5087425708770752e-06, -1.4249235391616821e-06, -1.341104507446289e-06, -1.257285475730896e-06, -1.173466444015503e-06, -1.0896474123001099e-06, -1.0058283805847168e-06, -9.220093488693237e-07, -8.381903171539307e-07, -7.543712854385376e-07, -6.705522537231445e-07, -5.867332220077515e-07, -5.029141902923584e-07, -4.1909515857696533e-07, -3.3527612686157227e-07, -2.514570951461792e-07, -1.6763806343078613e-07, -8.381903171539307e-08, 0.0, 8.381903171539307e-08, 1.6763806343078613e-07, 2.514570951461792e-07, 3.3527612686157227e-07, 4.1909515857696533e-07, 5.029141902923584e-07, 5.867332220077515e-07, 6.705522537231445e-07, 7.543712854385376e-07, 8.381903171539307e-07, 9.220093488693237e-07, 1.0058283805847168e-06, 1.0896474123001099e-06, 1.173466444015503e-06, 1.257285475730896e-06, 1.341104507446289e-06, 1.4249235391616821e-06, 1.5087425708770752e-06, 1.5925616025924683e-06, 1.6763806343078613e-06, 1.7601996660232544e-06, 1.8440186977386475e-06, 1.9278377294540405e-06, 2.0116567611694336e-06, 2.0954757928848267e-06, 2.1792948246002197e-06, 2.263113856315613e-06, 2.346932888031006e-06, 2.430751919746399e-06, 2.514570951461792e-06, 2.598389983177185e-06, 2.682209014892578e-06]}, "gradients/decoder.model.decoder.layers.3.fc2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 0.0, 0.0, 50.0, 0.0, 0.0, 0.0, 0.0, 104.0, 0.0, 0.0, 0.0, 0.0, 181.0, 0.0, 0.0, 0.0, 0.0, 0.0, 324.0, 0.0, 0.0, 0.0, 0.0, 214.0, 0.0, 0.0, 0.0, 0.0, 94.0, 0.0, 0.0, 0.0, 0.0, 0.0, 34.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.5762786865234375e-07, -3.46451997756958e-07, -3.3527612686157227e-07, -3.241002559661865e-07, -3.129243850708008e-07, -3.0174851417541504e-07, -2.905726432800293e-07, -2.7939677238464355e-07, -2.682209014892578e-07, -2.5704503059387207e-07, -2.4586915969848633e-07, -2.3469328880310059e-07, -2.2351741790771484e-07, -2.123415470123291e-07, -2.0116567611694336e-07, -1.8998980522155762e-07, -1.7881393432617188e-07, -1.6763806343078613e-07, -1.564621925354004e-07, -1.4528632164001465e-07, -1.341104507446289e-07, -1.2293457984924316e-07, -1.1175870895385742e-07, -1.0058283805847168e-07, -8.940696716308594e-08, -7.82310962677002e-08, -6.705522537231445e-08, -5.587935447692871e-08, -4.470348358154297e-08, -3.3527612686157227e-08, -2.2351741790771484e-08, -1.1175870895385742e-08, 0.0, 1.1175870895385742e-08, 2.2351741790771484e-08, 3.3527612686157227e-08, 4.470348358154297e-08, 5.587935447692871e-08, 6.705522537231445e-08, 7.82310962677002e-08, 8.940696716308594e-08, 1.0058283805847168e-07, 1.1175870895385742e-07, 1.2293457984924316e-07, 1.341104507446289e-07, 1.4528632164001465e-07, 1.564621925354004e-07, 1.6763806343078613e-07, 1.7881393432617188e-07, 1.8998980522155762e-07, 2.0116567611694336e-07, 2.123415470123291e-07, 2.2351741790771484e-07, 2.3469328880310059e-07, 2.4586915969848633e-07, 2.5704503059387207e-07, 2.682209014892578e-07, 2.7939677238464355e-07, 2.905726432800293e-07, 3.0174851417541504e-07, 3.129243850708008e-07, 3.241002559661865e-07, 3.3527612686157227e-07, 3.46451997756958e-07, 3.5762786865234375e-07]}, "gradients/decoder.model.decoder.layers.3.fc1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 6.0, 0.0, 6.0, 0.0, 0.0, 8.0, 0.0, 0.0, 25.0, 0.0, 136.0, 0.0, 2.0, 355.0, 54.0, 140.0, 1941.0, 10235.0, 3627488.0, 541470.0, 9911.0, 1781.0, 204.0, 26.0, 329.0, 1.0, 106.0, 0.0, 0.0, 35.0, 0.0, 0.0, 12.0, 0.0, 1.0, 15.0, 0.0, 9.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-6.735324859619141e-06, -6.5425410866737366e-06, -6.3497573137283325e-06, -6.1569735407829285e-06, -5.964189767837524e-06, -5.77140599489212e-06, -5.578622221946716e-06, -5.385838449001312e-06, -5.193054676055908e-06, -5.000270903110504e-06, -4.8074871301651e-06, -4.614703357219696e-06, -4.421919584274292e-06, -4.229135811328888e-06, -4.036352038383484e-06, -3.84356826543808e-06, -3.6507844924926758e-06, -3.4580007195472717e-06, -3.2652169466018677e-06, -3.0724331736564636e-06, -2.8796494007110596e-06, -2.6868656277656555e-06, -2.4940818548202515e-06, -2.3012980818748474e-06, -2.1085143089294434e-06, -1.9157305359840393e-06, -1.7229467630386353e-06, -1.5301629900932312e-06, -1.3373792171478271e-06, -1.144595444202423e-06, -9.51811671257019e-07, -7.59027898311615e-07, -5.662441253662109e-07, -3.734603524208069e-07, -1.8067657947540283e-07, 1.210719347000122e-08, 2.0489096641540527e-07, 3.976747393608093e-07, 5.904585123062134e-07, 7.832422852516174e-07, 9.760260581970215e-07, 1.1688098311424255e-06, 1.3615936040878296e-06, 1.5543773770332336e-06, 1.7471611499786377e-06, 1.9399449229240417e-06, 2.132728695869446e-06, 2.32551246881485e-06, 2.518296241760254e-06, 2.711080014705658e-06, 2.903863787651062e-06, 3.096647560596466e-06, 3.28943133354187e-06, 3.482215106487274e-06, 3.6749988794326782e-06, 3.867782652378082e-06, 4.060566425323486e-06, 4.25335019826889e-06, 4.4461339712142944e-06, 4.6389177441596985e-06, 4.8317015171051025e-06, 5.024485290050507e-06, 5.217269062995911e-06, 5.410052835941315e-06, 5.602836608886719e-06]}, "gradients/decoder.model.decoder.layers.3.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 6.0, 0.0, 6.0, 0.0, 0.0, 8.0, 0.0, 0.0, 25.0, 0.0, 136.0, 0.0, 0.0, 348.0, 0.0, 0.0, 797.0, 0.0, 1501.0, 0.0, 0.0, 764.0, 0.0, 0.0, 320.0, 0.0, 105.0, 0.0, 0.0, 35.0, 0.0, 0.0, 12.0, 0.0, 16.0, 0.0, 0.0, 9.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-7.748603820800781e-07, -7.525086402893066e-07, -7.301568984985352e-07, -7.078051567077637e-07, -6.854534149169922e-07, -6.631016731262207e-07, -6.407499313354492e-07, -6.183981895446777e-07, -5.960464477539062e-07, -5.736947059631348e-07, -5.513429641723633e-07, -5.289912223815918e-07, -5.066394805908203e-07, -4.842877388000488e-07, -4.6193599700927734e-07, -4.3958425521850586e-07, -4.172325134277344e-07, -3.948807716369629e-07, -3.725290298461914e-07, -3.501772880554199e-07, -3.2782554626464844e-07, -3.0547380447387695e-07, -2.8312206268310547e-07, -2.60770320892334e-07, -2.384185791015625e-07, -2.1606683731079102e-07, -1.9371509552001953e-07, -1.7136335372924805e-07, -1.4901161193847656e-07, -1.2665987014770508e-07, -1.043081283569336e-07, -8.195638656616211e-08, -5.960464477539063e-08, -3.725290298461914e-08, -1.4901161193847656e-08, 7.450580596923828e-09, 2.9802322387695312e-08, 5.21540641784668e-08, 7.450580596923828e-08, 9.685754776000977e-08, 1.1920928955078125e-07, 1.4156103134155273e-07, 1.6391277313232422e-07, 1.862645149230957e-07, 2.086162567138672e-07, 2.3096799850463867e-07, 2.5331974029541016e-07, 2.7567148208618164e-07, 2.980232238769531e-07, 3.203749656677246e-07, 3.427267074584961e-07, 3.650784492492676e-07, 3.8743019104003906e-07, 4.0978193283081055e-07, 4.3213367462158203e-07, 4.544854164123535e-07, 4.76837158203125e-07, 4.991888999938965e-07, 5.21540641784668e-07, 5.438923835754395e-07, 5.662441253662109e-07, 5.885958671569824e-07, 6.109476089477539e-07, 6.332993507385254e-07, 6.556510925292969e-07]}, "gradients/decoder.model.decoder.layers.3.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 3.0, 4.0, 10.0, 10.0, 17.0, 22.0, 18.0, 61.0, 80.0, 168.0, 265.0, 140.0, 67.0, 44.0, 29.0, 16.0, 17.0, 13.0, 6.0, 6.0, 6.0, 3.0, 1.0, 4.0, 3.0], "bins": [-5.349334514903603e-06, -5.241039616521448e-06, -5.1327451728866436e-06, -5.024450274504488e-06, -4.916155830869684e-06, -4.807860932487529e-06, -4.6995660341053735e-06, -4.591271590470569e-06, -4.482976692088414e-06, -4.374681793706259e-06, -4.266387350071454e-06, -4.158092451689299e-06, -4.049798008054495e-06, -3.94150310967234e-06, -3.833208211290184e-06, -3.72491376765538e-06, -3.616618869273225e-06, -3.508324198264745e-06, -3.4000295272562653e-06, -3.29173462887411e-06, -3.1834399578656303e-06, -3.0751452868571505e-06, -2.9668506158486707e-06, -2.858555944840191e-06, -2.750261273831711e-06, -2.6419666028232314e-06, -2.5336719318147516e-06, -2.4253770334325964e-06, -2.3170823624241166e-06, -2.208787691415637e-06, -2.100493020407157e-06, -1.992198122025002e-06, -1.8839035647033597e-06, -1.77560889369488e-06, -1.6673141089995624e-06, -1.5590194379910827e-06, -1.4507246532957652e-06, -1.3424299822872854e-06, -1.2341351975919679e-06, -1.125840526583488e-06, -1.0175458555750083e-06, -9.092511277231097e-07, -8.00956399871211e-07, -6.926617288627313e-07, -5.843669441674137e-07, -4.7607227315893397e-07, -3.677775453070353e-07, -2.594828174551367e-07, -1.5118803275981918e-07, -4.2893312013347895e-08, 6.540140873312339e-08, 1.7369612237416732e-07, 2.8199085022606596e-07, 3.9028554965625517e-07, 4.985802775081538e-07, 6.068750053600525e-07, 7.151697332119511e-07, 8.234644610638497e-07, 9.317591889157484e-07, 1.040053916767647e-06, 1.1483485877761268e-06, 1.2566433724714443e-06, 1.364938043479924e-06, 1.4732327144884039e-06, 1.5815274991837214e-06]}, "gradients/decoder.model.decoder.layers.3.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 2.0, 2.0, 3.0, 2.0, 3.0, 4.0, 3.0, 6.0, 7.0, 5.0, 5.0, 12.0, 10.0, 26.0, 12.0, 19.0, 25.0, 33.0, 23.0, 29.0, 41.0, 32.0, 32.0, 35.0, 35.0, 37.0, 54.0, 37.0, 48.0, 40.0, 44.0, 43.0, 41.0, 37.0, 32.0, 21.0, 29.0, 23.0, 28.0, 13.0, 12.0, 9.0, 12.0, 11.0, 10.0, 5.0, 5.0, 8.0, 1.0, 7.0, 0.0, 0.0, 2.0, 0.0, 0.0, 3.0, 2.0], "bins": [-1.2805808182747569e-06, -1.2411949228408048e-06, -1.2018090274068527e-06, -1.1624232456597383e-06, -1.1230373502257862e-06, -1.0836514547918341e-06, -1.044265559357882e-06, -1.0048797776107676e-06, -9.654938821768155e-07, -9.261079867428634e-07, -8.867221481523302e-07, -8.473362527183781e-07, -8.079504141278449e-07, -7.685645186938928e-07, -7.291786232599407e-07, -6.897927846694074e-07, -6.504068892354553e-07, -6.110209938015032e-07, -5.7163515521097e-07, -5.322492597770179e-07, -4.928634211864846e-07, -4.5347752575253253e-07, -4.1409165874028986e-07, -3.747057917280472e-07, -3.353199247158045e-07, -2.9593405770356185e-07, -2.565481906913192e-07, -2.171623094682218e-07, -1.7777644245597912e-07, -1.3839057544373645e-07, -9.900469422063907e-08, -5.96188272083964e-08, -2.0232960196153726e-08, 1.9152910368802623e-08, 5.853878093375897e-08, 9.7924655051429e-08, 1.3731052206367167e-07, 1.7669638907591434e-07, 2.1608227029901173e-07, 2.554681373112544e-07, 2.9485400432349707e-07, 3.3423987133573974e-07, 3.736257383479824e-07, 4.130116053602251e-07, 4.523975007941772e-07, 4.917833393847104e-07, 5.311692348186625e-07, 5.705551302526146e-07, 6.099409688431479e-07, 6.493268642771e-07, 6.887127028676332e-07, 7.280985983015853e-07, 7.674844368921185e-07, 8.068703323260706e-07, 8.462561709166039e-07, 8.85642066350556e-07, 9.250279617845081e-07, 9.644138572184602e-07, 1.0037997526524123e-06, 1.0431855343995267e-06, 1.0825714298334788e-06, 1.1219573252674309e-06, 1.161343220701383e-06, 1.2007290024484973e-06, 1.2401148978824494e-06]}, "gradients/decoder.model.decoder.layers.3.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 19.0, 0.0, 0.0, 0.0, 0.0, 170.0, 0.0, 0.0, 0.0, 0.0, 6314.0, 0.0, 0.0, 0.0, 0.0, 1035393.0, 0.0, 0.0, 0.0, 0.0, 6473.0, 0.0, 0.0, 0.0, 0.0, 169.0, 0.0, 0.0, 0.0, 0.0, 21.0, 0.0, 0.0, 0.0, 0.0, 8.0, 0.0, 0.0, 0.0, 2.0], "bins": [-4.76837158203125e-07, -4.647299647331238e-07, -4.5262277126312256e-07, -4.4051557779312134e-07, -4.284083843231201e-07, -4.163011908531189e-07, -4.041939973831177e-07, -3.9208680391311646e-07, -3.7997961044311523e-07, -3.67872416973114e-07, -3.557652235031128e-07, -3.4365803003311157e-07, -3.3155083656311035e-07, -3.1944364309310913e-07, -3.073364496231079e-07, -2.952292561531067e-07, -2.8312206268310547e-07, -2.7101486921310425e-07, -2.5890767574310303e-07, -2.468004822731018e-07, -2.3469328880310059e-07, -2.2258609533309937e-07, -2.1047890186309814e-07, -1.9837170839309692e-07, -1.862645149230957e-07, -1.7415732145309448e-07, -1.6205012798309326e-07, -1.4994293451309204e-07, -1.3783574104309082e-07, -1.257285475730896e-07, -1.1362135410308838e-07, -1.0151416063308716e-07, -8.940696716308594e-08, -7.729977369308472e-08, -6.51925802230835e-08, -5.3085386753082275e-08, -4.0978193283081055e-08, -2.8870999813079834e-08, -1.6763806343078613e-08, -4.6566128730773926e-09, 7.450580596923828e-09, 1.955777406692505e-08, 3.166496753692627e-08, 4.377216100692749e-08, 5.587935447692871e-08, 6.798654794692993e-08, 8.009374141693115e-08, 9.220093488693237e-08, 1.043081283569336e-07, 1.1641532182693481e-07, 1.2852251529693604e-07, 1.4062970876693726e-07, 1.5273690223693848e-07, 1.648440957069397e-07, 1.7695128917694092e-07, 1.8905848264694214e-07, 2.0116567611694336e-07, 2.1327286958694458e-07, 2.253800630569458e-07, 2.3748725652694702e-07, 2.4959444999694824e-07, 2.6170164346694946e-07, 2.738088369369507e-07, 2.859160304069519e-07, 2.980232238769531e-07]}, "gradients/decoder.model.decoder.layers.3.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 5.0, 0.0, 8.0, 14.0, 0.0, 12.0, 26.0, 31.0, 0.0, 30.0, 50.0, 71.0, 0.0, 80.0, 104.0, 149.0, 0.0, 119.0, 82.0, 0.0, 74.0, 51.0, 21.0, 0.0, 24.0, 17.0, 22.0, 0.0, 10.0, 9.0, 4.0, 0.0, 2.0, 2.0, 1.0], "bins": [-1.9669532775878906e-06, -1.923181116580963e-06, -1.8794089555740356e-06, -1.8356367945671082e-06, -1.7918646335601807e-06, -1.7480924725532532e-06, -1.7043203115463257e-06, -1.6605481505393982e-06, -1.6167759895324707e-06, -1.5730038285255432e-06, -1.5292316675186157e-06, -1.4854595065116882e-06, -1.4416873455047607e-06, -1.3979151844978333e-06, -1.3541430234909058e-06, -1.3103708624839783e-06, -1.2665987014770508e-06, -1.2228265404701233e-06, -1.1790543794631958e-06, -1.1352822184562683e-06, -1.0915100574493408e-06, -1.0477378964424133e-06, -1.0039657354354858e-06, -9.601935744285583e-07, -9.164214134216309e-07, -8.726492524147034e-07, -8.288770914077759e-07, -7.851049304008484e-07, -7.413327693939209e-07, -6.975606083869934e-07, -6.537884473800659e-07, -6.100162863731384e-07, -5.662441253662109e-07, -5.224719643592834e-07, -4.78699803352356e-07, -4.3492764234542847e-07, -3.91155481338501e-07, -3.473833203315735e-07, -3.03611159324646e-07, -2.598389983177185e-07, -2.1606683731079102e-07, -1.7229467630386353e-07, -1.2852251529693604e-07, -8.475035429000854e-08, -4.0978193283081055e-08, 2.7939677238464355e-09, 4.6566128730773926e-08, 9.033828973770142e-08, 1.341104507446289e-07, 1.778826117515564e-07, 2.2165477275848389e-07, 2.654269337654114e-07, 3.0919909477233887e-07, 3.5297125577926636e-07, 3.9674341678619385e-07, 4.4051557779312134e-07, 4.842877388000488e-07, 5.280598998069763e-07, 5.718320608139038e-07, 6.156042218208313e-07, 6.593763828277588e-07, 7.031485438346863e-07, 7.469207048416138e-07, 7.906928658485413e-07, 8.344650268554688e-07]}, "gradients/decoder.model.decoder.layers.3.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [1048573.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [0.0, 9.313225746154785e-10, 1.862645149230957e-09, 2.7939677238464355e-09, 3.725290298461914e-09, 4.6566128730773926e-09, 5.587935447692871e-09, 6.51925802230835e-09, 7.450580596923828e-09, 8.381903171539307e-09, 9.313225746154785e-09, 1.0244548320770264e-08, 1.1175870895385742e-08, 1.210719347000122e-08, 1.30385160446167e-08, 1.3969838619232178e-08, 1.4901161193847656e-08, 1.5832483768463135e-08, 1.6763806343078613e-08, 1.7695128917694092e-08, 1.862645149230957e-08, 1.955777406692505e-08, 2.0489096641540527e-08, 2.1420419216156006e-08, 2.2351741790771484e-08, 2.3283064365386963e-08, 2.421438694000244e-08, 2.514570951461792e-08, 2.60770320892334e-08, 2.7008354663848877e-08, 2.7939677238464355e-08, 2.8870999813079834e-08, 2.9802322387695312e-08, 3.073364496231079e-08, 3.166496753692627e-08, 3.259629011154175e-08, 3.3527612686157227e-08, 3.4458935260772705e-08, 3.5390257835388184e-08, 3.632158041000366e-08, 3.725290298461914e-08, 3.818422555923462e-08, 3.91155481338501e-08, 4.0046870708465576e-08, 4.0978193283081055e-08, 4.190951585769653e-08, 4.284083843231201e-08, 4.377216100692749e-08, 4.470348358154297e-08, 4.563480615615845e-08, 4.6566128730773926e-08, 4.7497451305389404e-08, 4.842877388000488e-08, 4.936009645462036e-08, 5.029141902923584e-08, 5.122274160385132e-08, 5.21540641784668e-08, 5.3085386753082275e-08, 5.4016709327697754e-08, 5.494803190231323e-08, 5.587935447692871e-08, 5.681067705154419e-08, 5.774199962615967e-08, 5.8673322200775146e-08, 5.960464477539063e-08]}, "gradients/decoder.model.decoder.layers.3.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [2.0, 4.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 15.0, 6.0, 0.0, 14.0, 3.0, 0.0, 8.0, 45.0, 7.0, 30.0, 7.0, 11.0, 0.0, 2.0, 95.0, 84.0, 25.0, 4.0, 2.0, 7.0, 8.0, 297.0, 16.0, 6.0, 3.0, 30.0, 75.0, 83.0, 6.0, 0.0, 11.0, 5.0, 22.0, 5.0, 40.0, 3.0, 0.0, 3.0, 10.0, 1.0, 4.0, 15.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-1.7881393432617188e-06, -1.7266720533370972e-06, -1.6652047634124756e-06, -1.603737473487854e-06, -1.5422701835632324e-06, -1.4808028936386108e-06, -1.4193356037139893e-06, -1.3578683137893677e-06, -1.296401023864746e-06, -1.2349337339401245e-06, -1.173466444015503e-06, -1.1119991540908813e-06, -1.0505318641662598e-06, -9.890645742416382e-07, -9.275972843170166e-07, -8.66129994392395e-07, -8.046627044677734e-07, -7.431954145431519e-07, -6.817281246185303e-07, -6.202608346939087e-07, -5.587935447692871e-07, -4.973262548446655e-07, -4.3585896492004395e-07, -3.7439167499542236e-07, -3.129243850708008e-07, -2.514570951461792e-07, -1.8998980522155762e-07, -1.2852251529693604e-07, -6.705522537231445e-08, -5.587935447692871e-09, 5.587935447692871e-08, 1.1734664440155029e-07, 1.7881393432617188e-07, 2.4028122425079346e-07, 3.0174851417541504e-07, 3.632158041000366e-07, 4.246830940246582e-07, 4.861503839492798e-07, 5.476176738739014e-07, 6.09084963798523e-07, 6.705522537231445e-07, 7.320195436477661e-07, 7.934868335723877e-07, 8.549541234970093e-07, 9.164214134216309e-07, 9.778887033462524e-07, 1.039355993270874e-06, 1.1008232831954956e-06, 1.1622905731201172e-06, 1.2237578630447388e-06, 1.2852251529693604e-06, 1.346692442893982e-06, 1.4081597328186035e-06, 1.469627022743225e-06, 1.5310943126678467e-06, 1.5925616025924683e-06, 1.6540288925170898e-06, 1.7154961824417114e-06, 1.776963472366333e-06, 1.8384307622909546e-06, 1.8998980522155762e-06, 1.9613653421401978e-06, 2.0228326320648193e-06, 2.084299921989441e-06, 2.1457672119140625e-06]}, "gradients/decoder.model.decoder.layers.3.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.3.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 999.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 12.0], "bins": [-1.1920928955078125e-07, -1.1548399925231934e-07, -1.1175870895385742e-07, -1.0803341865539551e-07, -1.043081283569336e-07, -1.0058283805847168e-07, -9.685754776000977e-08, -9.313225746154785e-08, -8.940696716308594e-08, -8.568167686462402e-08, -8.195638656616211e-08, -7.82310962677002e-08, -7.450580596923828e-08, -7.078051567077637e-08, -6.705522537231445e-08, -6.332993507385254e-08, -5.960464477539063e-08, -5.587935447692871e-08, -5.21540641784668e-08, -4.842877388000488e-08, -4.470348358154297e-08, -4.0978193283081055e-08, -3.725290298461914e-08, -3.3527612686157227e-08, -2.9802322387695312e-08, -2.60770320892334e-08, -2.2351741790771484e-08, -1.862645149230957e-08, -1.4901161193847656e-08, -1.1175870895385742e-08, -7.450580596923828e-09, -3.725290298461914e-09, 0.0, 3.725290298461914e-09, 7.450580596923828e-09, 1.1175870895385742e-08, 1.4901161193847656e-08, 1.862645149230957e-08, 2.2351741790771484e-08, 2.60770320892334e-08, 2.9802322387695312e-08, 3.3527612686157227e-08, 3.725290298461914e-08, 4.0978193283081055e-08, 4.470348358154297e-08, 4.842877388000488e-08, 5.21540641784668e-08, 5.587935447692871e-08, 5.960464477539063e-08, 6.332993507385254e-08, 6.705522537231445e-08, 7.078051567077637e-08, 7.450580596923828e-08, 7.82310962677002e-08, 8.195638656616211e-08, 8.568167686462402e-08, 8.940696716308594e-08, 9.313225746154785e-08, 9.685754776000977e-08, 1.0058283805847168e-07, 1.043081283569336e-07, 1.0803341865539551e-07, 1.1175870895385742e-07, 1.1548399925231934e-07, 1.1920928955078125e-07]}, "gradients/decoder.model.decoder.layers.3.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.3.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.3.self_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 3.0, 8.0, 13.0, 29.0, 84.0, 443.0, 303.0, 74.0, 33.0, 16.0, 7.0, 6.0], "bins": [-9.489869626122527e-06, -9.325935934612062e-06, -9.162002243101597e-06, -8.998068551591132e-06, -8.834134860080667e-06, -8.670202078064904e-06, -8.506268386554439e-06, -8.342334695043974e-06, -8.178401003533509e-06, -8.014467312023044e-06, -7.850533620512579e-06, -7.686599929002114e-06, -7.5226666922389995e-06, -7.3587330007285345e-06, -7.1947997639654204e-06, -7.0308660724549554e-06, -6.8669323809444904e-06, -6.7029986894340254e-06, -6.5390649979235604e-06, -6.375131761160446e-06, -6.211198069649981e-06, -6.047264378139516e-06, -5.883331141376402e-06, -5.719397449865937e-06, -5.555463758355472e-06, -5.391530066845007e-06, -5.227596375334542e-06, -5.063663138571428e-06, -4.899729447060963e-06, -4.735795755550498e-06, -4.571862518787384e-06, -4.407928827276919e-06, -4.243995135766454e-06, -4.080061444255989e-06, -3.916127752745524e-06, -3.75219451598241e-06, -3.588260824471945e-06, -3.42432713296148e-06, -3.2603936688246904e-06, -3.096460204687901e-06, -2.932526513177436e-06, -2.768592821666971e-06, -2.6046593575301813e-06, -2.4407258933933917e-06, -2.2767922018829267e-06, -2.1128585103724618e-06, -1.948925046235672e-06, -1.784991468412045e-06, -1.6210578905884176e-06, -1.4571243127647904e-06, -1.293190734941163e-06, -1.1292571571175358e-06, -9.653235792939086e-07, -8.013900014702813e-07, -6.37456423646654e-07, -4.7352284582302673e-07, -3.0958926799939945e-07, -1.4565569017577218e-07, 1.8277887647855096e-08, 1.8221146547148237e-07, 3.4614504329510964e-07, 5.100786211187369e-07, 6.740121989423642e-07, 8.379457767659915e-07, 1.0018793545896187e-06]}, "gradients/decoder.model.decoder.layers.3.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 4.0, 3.0, 5.0, 8.0, 13.0, 9.0, 17.0, 25.0, 32.0, 47.0, 43.0, 60.0, 57.0, 61.0, 61.0, 74.0, 86.0, 62.0, 78.0, 60.0, 44.0, 43.0, 32.0, 21.0, 17.0, 16.0, 14.0, 10.0, 4.0, 4.0, 2.0, 2.0, 2.0, 0.0, 1.0, 1.0], "bins": [-1.7853933513833908e-06, -1.744433006933832e-06, -1.7034726624842733e-06, -1.6625122043478768e-06, -1.621551859898318e-06, -1.5805915154487593e-06, -1.5396311709992005e-06, -1.4986708265496418e-06, -1.457710482100083e-06, -1.4167501376505243e-06, -1.3757897932009655e-06, -1.3348294487514067e-06, -1.2938689906150103e-06, -1.2529086461654515e-06, -1.2119483017158927e-06, -1.170987957266334e-06, -1.1300276128167752e-06, -1.0890672683672165e-06, -1.0481069239176577e-06, -1.0071464657812612e-06, -9.661861213317025e-07, -9.252257768821437e-07, -8.842654324325849e-07, -8.433050879830262e-07, -8.023446298466297e-07, -7.613842853970709e-07, -7.204238841040933e-07, -6.794635396545345e-07, -6.385031952049758e-07, -5.975427939119982e-07, -5.565824494624394e-07, -5.156221050128806e-07, -4.74661703719903e-07, -4.337013308486348e-07, -3.9274098639907606e-07, -3.5178061352780787e-07, -3.108202690782491e-07, -2.698598962069809e-07, -2.2889952333571273e-07, -1.8793917888615397e-07, -1.4697880601488578e-07, -1.060184473544723e-07, -6.505808158863147e-08, -2.4097715822790633e-08, 1.6862642837622843e-08, 5.782300149803632e-08, 9.878337436930451e-08, 1.3974371881886327e-07, 1.8070409169013146e-07, 2.2166445035054494e-07, 2.626248090109584e-07, 3.035851818822266e-07, 3.4454552633178537e-07, 3.8550589920305356e-07, 4.2646627207432175e-07, 4.674266165238805e-07, 5.083869609734393e-07, 5.49347305422998e-07, 5.903077067159757e-07, 6.312680511655344e-07, 6.722283956150932e-07, 7.131887969080708e-07, 7.541491413576296e-07, 7.951094858071883e-07, 8.360698871001659e-07]}, "gradients/decoder.model.decoder.layers.3.self_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 5.0, 5.0, 4.0, 12.0, 7.0, 10.0, 19.0, 29.0, 75.0, 66.0, 121.0, 200.0, 323.0, 634.0, 1142.0, 2176.0, 4293.0, 8958.0, 19983.0, 176788.0, 619056.0, 129538.0, 46843.0, 20022.0, 9117.0, 4301.0, 2207.0, 1096.0, 592.0, 536.0, 137.0, 81.0, 54.0, 30.0, 20.0, 21.0, 11.0, 4.0, 8.0, 9.0, 10.0, 4.0, 3.0, 4.0, 4.0, 0.0, 4.0, 1.0, 0.0, 0.0, 2.0], "bins": [-2.205371856689453e-06, -2.1401792764663696e-06, -2.074986696243286e-06, -2.0097941160202026e-06, -1.944601535797119e-06, -1.8794089555740356e-06, -1.8142163753509521e-06, -1.7490237951278687e-06, -1.6838312149047852e-06, -1.6186386346817017e-06, -1.5534460544586182e-06, -1.4882534742355347e-06, -1.4230608940124512e-06, -1.3578683137893677e-06, -1.2926757335662842e-06, -1.2274831533432007e-06, -1.1622905731201172e-06, -1.0970979928970337e-06, -1.0319054126739502e-06, -9.667128324508667e-07, -9.015202522277832e-07, -8.363276720046997e-07, -7.711350917816162e-07, -7.059425115585327e-07, -6.407499313354492e-07, -5.755573511123657e-07, -5.103647708892822e-07, -4.4517219066619873e-07, -3.7997961044311523e-07, -3.1478703022003174e-07, -2.4959444999694824e-07, -1.8440186977386475e-07, -1.1920928955078125e-07, -5.4016709327697754e-08, 1.1175870895385742e-08, 7.636845111846924e-08, 1.4156103134155273e-07, 2.0675361156463623e-07, 2.7194619178771973e-07, 3.371387720108032e-07, 4.023313522338867e-07, 4.675239324569702e-07, 5.327165126800537e-07, 5.979090929031372e-07, 6.631016731262207e-07, 7.282942533493042e-07, 7.934868335723877e-07, 8.586794137954712e-07, 9.238719940185547e-07, 9.890645742416382e-07, 1.0542571544647217e-06, 1.1194497346878052e-06, 1.1846423149108887e-06, 1.2498348951339722e-06, 1.3150274753570557e-06, 1.3802200555801392e-06, 1.4454126358032227e-06, 1.5106052160263062e-06, 1.5757977962493896e-06, 1.6409903764724731e-06, 1.7061829566955566e-06, 1.7713755369186401e-06, 1.8365681171417236e-06, 1.9017606973648071e-06, 1.9669532775878906e-06]}, "gradients/decoder.model.decoder.layers.3.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 0.0, 2.0, 5.0, 10.0, 5.0, 15.0, 16.0, 16.0, 37.0, 48.0, 44.0, 38.0, 57.0, 66.0, 98.0, 61.0, 118.0, 75.0, 36.0, 66.0, 50.0, 45.0, 17.0, 26.0, 17.0, 5.0, 11.0, 18.0, 5.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.0531158447265625e-06, -3.95067036151886e-06, -3.848224878311157e-06, -3.7457793951034546e-06, -3.643333911895752e-06, -3.5408884286880493e-06, -3.4384429454803467e-06, -3.335997462272644e-06, -3.2335519790649414e-06, -3.1311064958572388e-06, -3.028661012649536e-06, -2.9262155294418335e-06, -2.823770046234131e-06, -2.7213245630264282e-06, -2.6188790798187256e-06, -2.516433596611023e-06, -2.4139881134033203e-06, -2.3115426301956177e-06, -2.209097146987915e-06, -2.1066516637802124e-06, -2.0042061805725098e-06, -1.9017606973648071e-06, -1.7993152141571045e-06, -1.6968697309494019e-06, -1.5944242477416992e-06, -1.4919787645339966e-06, -1.389533281326294e-06, -1.2870877981185913e-06, -1.1846423149108887e-06, -1.082196831703186e-06, -9.797513484954834e-07, -8.773058652877808e-07, -7.748603820800781e-07, -6.724148988723755e-07, -5.699694156646729e-07, -4.675239324569702e-07, -3.650784492492676e-07, -2.6263296604156494e-07, -1.601874828338623e-07, -5.774199962615967e-08, 4.470348358154297e-08, 1.471489667892456e-07, 2.4959444999694824e-07, 3.520399332046509e-07, 4.544854164123535e-07, 5.569308996200562e-07, 6.593763828277588e-07, 7.618218660354614e-07, 8.642673492431641e-07, 9.667128324508667e-07, 1.0691583156585693e-06, 1.171603798866272e-06, 1.2740492820739746e-06, 1.3764947652816772e-06, 1.4789402484893799e-06, 1.5813857316970825e-06, 1.6838312149047852e-06, 1.7862766981124878e-06, 1.8887221813201904e-06, 1.991167664527893e-06, 2.0936131477355957e-06, 2.1960586309432983e-06, 2.298504114151001e-06, 2.4009495973587036e-06, 2.5033950805664062e-06]}, "gradients/decoder.model.decoder.layers.3.self_attn.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 2.0, 2.0, 1.0, 3.0, 1.0, 6.0, 4.0, 2.0, 8.0, 8.0, 6.0, 8.0, 21.0, 12.0, 23.0, 39.0, 42.0, 95.0, 97.0, 261.0, 1626.0, 8686.0, 153760.0, 872986.0, 8687.0, 1327.0, 422.0, 125.0, 107.0, 26.0, 33.0, 39.0, 13.0, 12.0, 18.0, 3.0, 11.0, 5.0, 1.0, 7.0, 9.0, 4.0, 4.0, 2.0, 3.0, 1.0, 0.0, 1.0, 5.0, 1.0, 0.0, 2.0, 1.0, 1.0], "bins": [-6.616115570068359e-06, -6.4158812165260315e-06, -6.215646862983704e-06, -6.015412509441376e-06, -5.815178155899048e-06, -5.61494380235672e-06, -5.414709448814392e-06, -5.214475095272064e-06, -5.014240741729736e-06, -4.8140063881874084e-06, -4.6137720346450806e-06, -4.413537681102753e-06, -4.213303327560425e-06, -4.013068974018097e-06, -3.812834620475769e-06, -3.612600266933441e-06, -3.4123659133911133e-06, -3.2121315598487854e-06, -3.0118972063064575e-06, -2.8116628527641296e-06, -2.6114284992218018e-06, -2.411194145679474e-06, -2.210959792137146e-06, -2.010725438594818e-06, -1.8104910850524902e-06, -1.6102567315101624e-06, -1.4100223779678345e-06, -1.2097880244255066e-06, -1.0095536708831787e-06, -8.093193173408508e-07, -6.09084963798523e-07, -4.0885061025619507e-07, -2.086162567138672e-07, -8.381903171539307e-09, 1.9185245037078857e-07, 3.9208680391311646e-07, 5.923211574554443e-07, 7.925555109977722e-07, 9.927898645401e-07, 1.193024218082428e-06, 1.3932585716247559e-06, 1.5934929251670837e-06, 1.7937272787094116e-06, 1.9939616322517395e-06, 2.1941959857940674e-06, 2.3944303393363953e-06, 2.594664692878723e-06, 2.794899046421051e-06, 2.995133399963379e-06, 3.1953677535057068e-06, 3.3956021070480347e-06, 3.5958364605903625e-06, 3.7960708141326904e-06, 3.996305167675018e-06, 4.196539521217346e-06, 4.396773874759674e-06, 4.597008228302002e-06, 4.79724258184433e-06, 4.997476935386658e-06, 5.197711288928986e-06, 5.3979456424713135e-06, 5.598179996013641e-06, 5.798414349555969e-06, 5.998648703098297e-06, 6.198883056640625e-06]}, "gradients/decoder.model.decoder.layers.3.self_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 2.0, 1.0, 2.0, 1.0, 3.0, 6.0, 2.0, 4.0, 8.0, 7.0, 7.0, 8.0, 13.0, 18.0, 16.0, 27.0, 26.0, 24.0, 25.0, 40.0, 45.0, 66.0, 102.0, 109.0, 89.0, 47.0, 49.0, 47.0, 32.0, 30.0, 23.0, 25.0, 23.0, 11.0, 11.0, 10.0, 11.0, 2.0, 4.0, 7.0, 9.0, 4.0, 3.0, 3.0, 3.0, 1.0, 0.0, 1.0, 2.0, 4.0, 0.0, 2.0, 1.0, 1.0], "bins": [-3.933906555175781e-06, -3.814697265625e-06, -3.6954879760742188e-06, -3.5762786865234375e-06, -3.4570693969726562e-06, -3.337860107421875e-06, -3.2186508178710938e-06, -3.0994415283203125e-06, -2.9802322387695312e-06, -2.86102294921875e-06, -2.7418136596679688e-06, -2.6226043701171875e-06, -2.5033950805664062e-06, -2.384185791015625e-06, -2.2649765014648438e-06, -2.1457672119140625e-06, -2.0265579223632812e-06, -1.9073486328125e-06, -1.7881393432617188e-06, -1.6689300537109375e-06, -1.5497207641601562e-06, -1.430511474609375e-06, -1.3113021850585938e-06, -1.1920928955078125e-06, -1.0728836059570312e-06, -9.5367431640625e-07, -8.344650268554688e-07, -7.152557373046875e-07, -5.960464477539062e-07, -4.76837158203125e-07, -3.5762786865234375e-07, -2.384185791015625e-07, -1.1920928955078125e-07, 0.0, 1.1920928955078125e-07, 2.384185791015625e-07, 3.5762786865234375e-07, 4.76837158203125e-07, 5.960464477539062e-07, 7.152557373046875e-07, 8.344650268554688e-07, 9.5367431640625e-07, 1.0728836059570312e-06, 1.1920928955078125e-06, 1.3113021850585938e-06, 1.430511474609375e-06, 1.5497207641601562e-06, 1.6689300537109375e-06, 1.7881393432617188e-06, 1.9073486328125e-06, 2.0265579223632812e-06, 2.1457672119140625e-06, 2.2649765014648438e-06, 2.384185791015625e-06, 2.5033950805664062e-06, 2.6226043701171875e-06, 2.7418136596679688e-06, 2.86102294921875e-06, 2.9802322387695312e-06, 3.0994415283203125e-06, 3.2186508178710938e-06, 3.337860107421875e-06, 3.4570693969726562e-06, 3.5762786865234375e-06, 3.6954879760742188e-06]}, "gradients/decoder.model.decoder.layers.3.self_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.3.self_attn.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.3.self_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.3.self_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 41.0, 972.0, 6.0], "bins": [-9.029325883602723e-05, -8.884357521310449e-05, -8.739388431422412e-05, -8.594420069130138e-05, -8.449451706837863e-05, -8.304483344545588e-05, -8.159514982253313e-05, -8.014545892365277e-05, -7.869577530073002e-05, -7.724609167780727e-05, -7.579640077892691e-05, -7.434671715600416e-05, -7.289703353308141e-05, -7.144734991015866e-05, -6.999766628723592e-05, -6.854797538835555e-05, -6.70982917654328e-05, -6.564860814251006e-05, -6.41989172436297e-05, -6.274923362070695e-05, -6.12995499977842e-05, -5.984986637486145e-05, -5.8400179113959894e-05, -5.695049185305834e-05, -5.550080823013559e-05, -5.405112460721284e-05, -5.2601437346311286e-05, -5.115175008540973e-05, -4.970206646248698e-05, -4.8252382839564234e-05, -4.680269557866268e-05, -4.535300831776112e-05, -4.3903324694838375e-05, -4.2453641071915627e-05, -4.100395381101407e-05, -3.9554266550112516e-05, -3.810458292718977e-05, -3.665489930426702e-05, -3.5205212043365464e-05, -3.375552478246391e-05, -3.230584115954116e-05, -3.085615753661841e-05, -2.9406470275716856e-05, -2.7956784833804704e-05, -2.6507099391892552e-05, -2.50574139499804e-05, -2.360772850806825e-05, -2.2158043066156097e-05, -2.0708357624243945e-05, -1.9258672182331793e-05, -1.780898674041964e-05, -1.635930129850749e-05, -1.4909615856595337e-05, -1.3459930414683186e-05, -1.2010244972771034e-05, -1.0560559530858882e-05, -9.11087408894673e-06, -7.661188647034578e-06, -6.211503205122426e-06, -4.761817763210274e-06, -3.3121323212981224e-06, -1.8624468793859705e-06, -4.1276143747381866e-07, 1.0369240044383332e-06, 2.4866092189768096e-06]}, "gradients/decoder.model.decoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 3.0, 4.0, 9.0, 14.0, 13.0, 16.0, 19.0, 18.0, 18.0, 26.0, 33.0, 25.0, 39.0, 28.0, 38.0, 41.0, 58.0, 34.0, 49.0, 44.0, 46.0, 49.0, 40.0, 39.0, 37.0, 52.0, 30.0, 27.0, 28.0, 28.0, 25.0, 17.0, 10.0, 12.0, 9.0, 7.0, 10.0, 6.0, 3.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-6.517542260553455e-06, -6.336666046991013e-06, -6.155789833428571e-06, -5.974913619866129e-06, -5.794036951556336e-06, -5.613160737993894e-06, -5.432284524431452e-06, -5.25140831086901e-06, -5.070532097306568e-06, -4.889655883744126e-06, -4.708779670181684e-06, -4.527903456619242e-06, -4.3470272430568e-06, -4.166150574747007e-06, -3.985274361184565e-06, -3.8043981476221234e-06, -3.6235219340596814e-06, -3.4426457204972394e-06, -3.2617695069347974e-06, -3.08089306599868e-06, -2.900016852436238e-06, -2.719140638873796e-06, -2.5382641979376785e-06, -2.3573879843752366e-06, -2.1765117708127946e-06, -1.9956355572503526e-06, -1.8147592300010729e-06, -1.6338829027517932e-06, -1.4530066891893512e-06, -1.2721304756269092e-06, -1.0912541483776295e-06, -9.103778211283498e-07, -7.295020623132586e-07, -5.486257919073978e-07, -3.6774952150153695e-07, -1.868732510956761e-07, -5.9969806898152456e-09, 1.748792897160456e-07, 3.5575556012190646e-07, 5.366318873711862e-07, 7.175081009336282e-07, 8.98384371339489e-07, 1.0792606417453499e-06, 1.2601369689946296e-06, 1.4410131825570716e-06, 1.6218893961195135e-06, 1.8027657233687933e-06, 1.983642050618073e-06, 2.164518264180515e-06, 2.345394477742957e-06, 2.526270691305399e-06, 2.7071471322415164e-06, 2.8880233458039584e-06, 3.0688995593664004e-06, 3.2497760003025178e-06, 3.4306522138649598e-06, 3.6115284274274018e-06, 3.7924046409898438e-06, 3.973280854552286e-06, 4.154157068114728e-06, 4.335033736424521e-06, 4.515909949986963e-06, 4.696786163549405e-06, 4.877662377111847e-06, 5.0585385906742886e-06]}, "gradients/decoder.model.decoder.layers.2.fc2.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 17.0, 0.0, 0.0, 0.0, 18.0, 0.0, 0.0, 0.0, 0.0, 0.0, 17.0, 228.0, 2.0, 228.0, 1.0, 18.0, 247.0, 43.0, 594.0, 921.0, 12196.0, 44007.0, 4122101.0, 11386.0, 946.0, 565.0, 49.0, 225.0, 21.0, 1.0, 203.0, 2.0, 203.0, 20.0, 0.0, 0.0, 0.0, 0.0, 0.0, 21.0, 0.0, 0.0, 0.0, 20.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.5762786865234375e-06, -3.46451997756958e-06, -3.3527612686157227e-06, -3.2410025596618652e-06, -3.129243850708008e-06, -3.0174851417541504e-06, -2.905726432800293e-06, -2.7939677238464355e-06, -2.682209014892578e-06, -2.5704503059387207e-06, -2.4586915969848633e-06, -2.346932888031006e-06, -2.2351741790771484e-06, -2.123415470123291e-06, -2.0116567611694336e-06, -1.8998980522155762e-06, -1.7881393432617188e-06, -1.6763806343078613e-06, -1.564621925354004e-06, -1.4528632164001465e-06, -1.341104507446289e-06, -1.2293457984924316e-06, -1.1175870895385742e-06, -1.0058283805847168e-06, -8.940696716308594e-07, -7.82310962677002e-07, -6.705522537231445e-07, -5.587935447692871e-07, -4.470348358154297e-07, -3.3527612686157227e-07, -2.2351741790771484e-07, -1.1175870895385742e-07, 0.0, 1.1175870895385742e-07, 2.2351741790771484e-07, 3.3527612686157227e-07, 4.470348358154297e-07, 5.587935447692871e-07, 6.705522537231445e-07, 7.82310962677002e-07, 8.940696716308594e-07, 1.0058283805847168e-06, 1.1175870895385742e-06, 1.2293457984924316e-06, 1.341104507446289e-06, 1.4528632164001465e-06, 1.564621925354004e-06, 1.6763806343078613e-06, 1.7881393432617188e-06, 1.8998980522155762e-06, 2.0116567611694336e-06, 2.123415470123291e-06, 2.2351741790771484e-06, 2.346932888031006e-06, 2.4586915969848633e-06, 2.5704503059387207e-06, 2.682209014892578e-06, 2.7939677238464355e-06, 2.905726432800293e-06, 3.0174851417541504e-06, 3.129243850708008e-06, 3.2410025596618652e-06, 3.3527612686157227e-06, 3.46451997756958e-06, 3.5762786865234375e-06]}, "gradients/decoder.model.decoder.layers.2.fc2.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 17.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 228.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 554.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 203.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 20.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7881393432617188e-07, -1.73225998878479e-07, -1.6763806343078613e-07, -1.6205012798309326e-07, -1.564621925354004e-07, -1.5087425708770752e-07, -1.4528632164001465e-07, -1.3969838619232178e-07, -1.341104507446289e-07, -1.2852251529693604e-07, -1.2293457984924316e-07, -1.1734664440155029e-07, -1.1175870895385742e-07, -1.0617077350616455e-07, -1.0058283805847168e-07, -9.499490261077881e-08, -8.940696716308594e-08, -8.381903171539307e-08, -7.82310962677002e-08, -7.264316082000732e-08, -6.705522537231445e-08, -6.146728992462158e-08, -5.587935447692871e-08, -5.029141902923584e-08, -4.470348358154297e-08, -3.91155481338501e-08, -3.3527612686157227e-08, -2.7939677238464355e-08, -2.2351741790771484e-08, -1.6763806343078613e-08, -1.1175870895385742e-08, -5.587935447692871e-09, 0.0, 5.587935447692871e-09, 1.1175870895385742e-08, 1.6763806343078613e-08, 2.2351741790771484e-08, 2.7939677238464355e-08, 3.3527612686157227e-08, 3.91155481338501e-08, 4.470348358154297e-08, 5.029141902923584e-08, 5.587935447692871e-08, 6.146728992462158e-08, 6.705522537231445e-08, 7.264316082000732e-08, 7.82310962677002e-08, 8.381903171539307e-08, 8.940696716308594e-08, 9.499490261077881e-08, 1.0058283805847168e-07, 1.0617077350616455e-07, 1.1175870895385742e-07, 1.1734664440155029e-07, 1.2293457984924316e-07, 1.2852251529693604e-07, 1.341104507446289e-07, 1.3969838619232178e-07, 1.4528632164001465e-07, 1.5087425708770752e-07, 1.564621925354004e-07, 1.6205012798309326e-07, 1.6763806343078613e-07, 1.73225998878479e-07, 1.7881393432617188e-07]}, "gradients/decoder.model.decoder.layers.2.fc1.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 21.0, 0.0, 0.0, 0.0, 0.0, 174.0, 1.0, 1.0, 22.0, 4.0, 967.0, 4192770.0, 177.0, 17.0, 4.0, 0.0, 117.0, 1.0, 1.0, 0.0, 1.0, 17.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.179115295410156e-06, -8.74791294336319e-06, -8.316710591316223e-06, -7.885508239269257e-06, -7.45430588722229e-06, -7.0231035351753235e-06, -6.591901183128357e-06, -6.16069883108139e-06, -5.729496479034424e-06, -5.298294126987457e-06, -4.867091774940491e-06, -4.435889422893524e-06, -4.004687070846558e-06, -3.573484718799591e-06, -3.1422823667526245e-06, -2.711080014705658e-06, -2.2798776626586914e-06, -1.8486753106117249e-06, -1.4174729585647583e-06, -9.862706065177917e-07, -5.550682544708252e-07, -1.2386590242385864e-07, 3.073364496231079e-07, 7.385388016700745e-07, 1.169741153717041e-06, 1.6009435057640076e-06, 2.032145857810974e-06, 2.4633482098579407e-06, 2.8945505619049072e-06, 3.3257529139518738e-06, 3.7569552659988403e-06, 4.188157618045807e-06, 4.6193599700927734e-06, 5.05056232213974e-06, 5.4817646741867065e-06, 5.912967026233673e-06, 6.34416937828064e-06, 6.775371730327606e-06, 7.206574082374573e-06, 7.63777643442154e-06, 8.068978786468506e-06, 8.500181138515472e-06, 8.931383490562439e-06, 9.362585842609406e-06, 9.793788194656372e-06, 1.0224990546703339e-05, 1.0656192898750305e-05, 1.1087395250797272e-05, 1.1518597602844238e-05, 1.1949799954891205e-05, 1.2381002306938171e-05, 1.2812204658985138e-05, 1.3243407011032104e-05, 1.3674609363079071e-05, 1.4105811715126038e-05, 1.4537014067173004e-05, 1.496821641921997e-05, 1.5399418771266937e-05, 1.5830621123313904e-05, 1.626182347536087e-05, 1.6693025827407837e-05, 1.7124228179454803e-05, 1.755543053150177e-05, 1.7986632883548737e-05, 1.8417835235595703e-05]}, "gradients/decoder.model.decoder.layers.2.fc1.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 21.0, 0.0, 0.0, 0.0, 0.0, 0.0, 174.0, 0.0, 0.0, 0.0, 0.0, 3758.0, 0.0, 0.0, 0.0, 0.0, 117.0, 0.0, 0.0, 0.0, 0.0, 0.0, 17.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.384185791015625e-07, -2.2724270820617676e-07, -2.1606683731079102e-07, -2.0489096641540527e-07, -1.9371509552001953e-07, -1.825392246246338e-07, -1.7136335372924805e-07, -1.601874828338623e-07, -1.4901161193847656e-07, -1.3783574104309082e-07, -1.2665987014770508e-07, -1.1548399925231934e-07, -1.043081283569336e-07, -9.313225746154785e-08, -8.195638656616211e-08, -7.078051567077637e-08, -5.960464477539063e-08, -4.842877388000488e-08, -3.725290298461914e-08, -2.60770320892334e-08, -1.4901161193847656e-08, -3.725290298461914e-09, 7.450580596923828e-09, 1.862645149230957e-08, 2.9802322387695312e-08, 4.0978193283081055e-08, 5.21540641784668e-08, 6.332993507385254e-08, 7.450580596923828e-08, 8.568167686462402e-08, 9.685754776000977e-08, 1.0803341865539551e-07, 1.1920928955078125e-07, 1.30385160446167e-07, 1.4156103134155273e-07, 1.5273690223693848e-07, 1.6391277313232422e-07, 1.7508864402770996e-07, 1.862645149230957e-07, 1.9744038581848145e-07, 2.086162567138672e-07, 2.1979212760925293e-07, 2.3096799850463867e-07, 2.421438694000244e-07, 2.5331974029541016e-07, 2.644956111907959e-07, 2.7567148208618164e-07, 2.868473529815674e-07, 2.980232238769531e-07, 3.0919909477233887e-07, 3.203749656677246e-07, 3.3155083656311035e-07, 3.427267074584961e-07, 3.5390257835388184e-07, 3.650784492492676e-07, 3.762543201446533e-07, 3.8743019104003906e-07, 3.986060619354248e-07, 4.0978193283081055e-07, 4.209578037261963e-07, 4.3213367462158203e-07, 4.4330954551696777e-07, 4.544854164123535e-07, 4.6566128730773926e-07, 4.76837158203125e-07]}, "gradients/decoder.model.decoder.layers.2.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 2.0, 7.0, 5.0, 10.0, 19.0, 26.0, 42.0, 48.0, 143.0, 361.0, 161.0, 70.0, 48.0, 30.0, 14.0, 13.0, 6.0, 5.0, 2.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.547764772018127e-07, -5.215147780290863e-07, -4.882530220129411e-07, -4.549913228402147e-07, -4.2172962366748834e-07, -3.8846789607305254e-07, -3.5520616847861675e-07, -3.219444693058904e-07, -2.886827417114546e-07, -2.554210141170188e-07, -2.2215931494429242e-07, -1.8889758734985662e-07, -1.5563587396627554e-07, -1.2237416058269446e-07, -8.911243298825866e-08, -5.585071960467758e-08, -2.2589006221096497e-08, 1.0672710715198264e-08, 4.3934427651493024e-08, 7.719614814050146e-08, 1.1045786152408255e-07, 1.4371957490766363e-07, 1.7698130250209942e-07, 2.102430158856805e-07, 2.435047292692616e-07, 2.767664568636974e-07, 3.1002815603642375e-07, 3.4328988363085955e-07, 3.7655161122529535e-07, 4.098133103980217e-07, 4.430750379924575e-07, 4.763367655868933e-07, 5.095985216030385e-07, 5.428602207757649e-07, 5.761219767919101e-07, 6.093836759646365e-07, 6.426453751373629e-07, 6.759071311535081e-07, 7.091688303262345e-07, 7.424305294989608e-07, 7.756922286716872e-07, 8.089539278444136e-07, 8.422156838605588e-07, 8.754773830332852e-07, 9.087390822060115e-07, 9.420008382221567e-07, 9.752625373948831e-07, 1.0085242365676095e-06, 1.0417859357403358e-06, 1.0750476349130622e-06, 1.1083093340857886e-06, 1.1415711469453527e-06, 1.174832846118079e-06, 1.2080945452908054e-06, 1.2413562444635318e-06, 1.2746179436362581e-06, 1.3078797564958222e-06, 1.3411414556685486e-06, 1.374403154841275e-06, 1.407664967700839e-06, 1.4409266668735654e-06, 1.4741883660462918e-06, 1.5074500652190181e-06, 1.5407117643917445e-06, 1.5739734635644709e-06]}, "gradients/decoder.model.decoder.layers.2.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 6.0, 1.0, 3.0, 1.0, 3.0, 5.0, 5.0, 6.0, 7.0, 9.0, 11.0, 12.0, 12.0, 12.0, 13.0, 19.0, 17.0, 25.0, 27.0, 32.0, 42.0, 39.0, 28.0, 39.0, 45.0, 45.0, 28.0, 29.0, 41.0, 55.0, 46.0, 40.0, 34.0, 35.0, 49.0, 28.0, 26.0, 27.0, 18.0, 22.0, 9.0, 18.0, 13.0, 12.0, 4.0, 6.0, 3.0, 3.0, 1.0, 2.0, 0.0, 2.0, 1.0], "bins": [-4.270452507171285e-07, -4.170730392161204e-07, -4.071008561368217e-07, -3.9712864463581354e-07, -3.871564331348054e-07, -3.771842216337973e-07, -3.6721201013278915e-07, -3.5723982705349044e-07, -3.472676155524823e-07, -3.372954040514742e-07, -3.273232209721755e-07, -3.1735100947116734e-07, -3.073787979701592e-07, -2.974065864691511e-07, -2.8743437496814295e-07, -2.7746219188884425e-07, -2.674899803878361e-07, -2.57517768886828e-07, -2.475455858075293e-07, -2.3757337430652115e-07, -2.27601162805513e-07, -2.1762895130450488e-07, -2.0765675401435146e-07, -1.9768455672419805e-07, -1.8771234522318991e-07, -1.7774013372218178e-07, -1.6776793643202836e-07, -1.5779573914187495e-07, -1.4782352764086681e-07, -1.3785131613985868e-07, -1.2787911884970526e-07, -1.1790691445412449e-07, -1.0793468163683428e-07, -9.796247724125351e-08, -8.799027284567273e-08, -7.801806845009196e-08, -6.804586405451118e-08, -5.807365965893041e-08, -4.8101455263349635e-08, -3.812925086776886e-08, -2.8157046472188085e-08, -1.818484207660731e-08, -8.212637681026536e-09, 1.7595667145542393e-09, 1.1731771110135014e-08, 2.170397550571579e-08, 3.1676179901296564e-08, 4.164838429687734e-08, 5.1620588692458114e-08, 6.159279308803889e-08, 7.156499748361966e-08, 8.153720187920044e-08, 9.150940627478121e-08, 1.0148161067036199e-07, 1.1145381506594276e-07, 1.2142601235609618e-07, 1.313982238571043e-07, 1.4137043535811245e-07, 1.5134263264826586e-07, 1.6131482993841928e-07, 1.712870414394274e-07, 1.8125925294043554e-07, 1.9123145023058896e-07, 2.0120364752074238e-07, 2.111758590217505e-07]}, "gradients/decoder.model.decoder.layers.2.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 374.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1047812.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 378.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0], "bins": [-1.7881393432617188e-07, -1.7415732145309448e-07, -1.695007085800171e-07, -1.648440957069397e-07, -1.601874828338623e-07, -1.555308699607849e-07, -1.5087425708770752e-07, -1.4621764421463013e-07, -1.4156103134155273e-07, -1.3690441846847534e-07, -1.3224780559539795e-07, -1.2759119272232056e-07, -1.2293457984924316e-07, -1.1827796697616577e-07, -1.1362135410308838e-07, -1.0896474123001099e-07, -1.043081283569336e-07, -9.96515154838562e-08, -9.499490261077881e-08, -9.033828973770142e-08, -8.568167686462402e-08, -8.102506399154663e-08, -7.636845111846924e-08, -7.171183824539185e-08, -6.705522537231445e-08, -6.239861249923706e-08, -5.774199962615967e-08, -5.3085386753082275e-08, -4.842877388000488e-08, -4.377216100692749e-08, -3.91155481338501e-08, -3.4458935260772705e-08, -2.9802322387695312e-08, -2.514570951461792e-08, -2.0489096641540527e-08, -1.5832483768463135e-08, -1.1175870895385742e-08, -6.51925802230835e-09, -1.862645149230957e-09, 2.7939677238464355e-09, 7.450580596923828e-09, 1.210719347000122e-08, 1.6763806343078613e-08, 2.1420419216156006e-08, 2.60770320892334e-08, 3.073364496231079e-08, 3.5390257835388184e-08, 4.0046870708465576e-08, 4.470348358154297e-08, 4.936009645462036e-08, 5.4016709327697754e-08, 5.8673322200775146e-08, 6.332993507385254e-08, 6.798654794692993e-08, 7.264316082000732e-08, 7.729977369308472e-08, 8.195638656616211e-08, 8.66129994392395e-08, 9.12696123123169e-08, 9.592622518539429e-08, 1.0058283805847168e-07, 1.0523945093154907e-07, 1.0989606380462646e-07, 1.1455267667770386e-07, 1.1920928955078125e-07]}, "gradients/decoder.model.decoder.layers.2.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [5.0, 0.0, 0.0, 0.0, 0.0, 14.0, 0.0, 0.0, 0.0, 0.0, 68.0, 0.0, 0.0, 0.0, 0.0, 0.0, 219.0, 0.0, 0.0, 0.0, 0.0, 410.0, 0.0, 0.0, 0.0, 0.0, 238.0, 0.0, 0.0, 0.0, 0.0, 0.0, 64.0, 0.0, 0.0, 0.0, 0.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.384185791015625e-07, -2.2724270820617676e-07, -2.1606683731079102e-07, -2.0489096641540527e-07, -1.9371509552001953e-07, -1.825392246246338e-07, -1.7136335372924805e-07, -1.601874828338623e-07, -1.4901161193847656e-07, -1.3783574104309082e-07, -1.2665987014770508e-07, -1.1548399925231934e-07, -1.043081283569336e-07, -9.313225746154785e-08, -8.195638656616211e-08, -7.078051567077637e-08, -5.960464477539063e-08, -4.842877388000488e-08, -3.725290298461914e-08, -2.60770320892334e-08, -1.4901161193847656e-08, -3.725290298461914e-09, 7.450580596923828e-09, 1.862645149230957e-08, 2.9802322387695312e-08, 4.0978193283081055e-08, 5.21540641784668e-08, 6.332993507385254e-08, 7.450580596923828e-08, 8.568167686462402e-08, 9.685754776000977e-08, 1.0803341865539551e-07, 1.1920928955078125e-07, 1.30385160446167e-07, 1.4156103134155273e-07, 1.5273690223693848e-07, 1.6391277313232422e-07, 1.7508864402770996e-07, 1.862645149230957e-07, 1.9744038581848145e-07, 2.086162567138672e-07, 2.1979212760925293e-07, 2.3096799850463867e-07, 2.421438694000244e-07, 2.5331974029541016e-07, 2.644956111907959e-07, 2.7567148208618164e-07, 2.868473529815674e-07, 2.980232238769531e-07, 3.0919909477233887e-07, 3.203749656677246e-07, 3.3155083656311035e-07, 3.427267074584961e-07, 3.5390257835388184e-07, 3.650784492492676e-07, 3.762543201446533e-07, 3.8743019104003906e-07, 3.986060619354248e-07, 4.0978193283081055e-07, 4.209578037261963e-07, 4.3213367462158203e-07, 4.4330954551696777e-07, 4.544854164123535e-07, 4.6566128730773926e-07, 4.76837158203125e-07]}, "gradients/decoder.model.decoder.layers.2.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 56.0, 0.0, 0.0, 32.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 841.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 34.0, 0.0, 0.0, 53.0], "bins": [-8.344650268554688e-07, -8.149072527885437e-07, -7.953494787216187e-07, -7.757917046546936e-07, -7.562339305877686e-07, -7.366761565208435e-07, -7.171183824539185e-07, -6.975606083869934e-07, -6.780028343200684e-07, -6.584450602531433e-07, -6.388872861862183e-07, -6.193295121192932e-07, -5.997717380523682e-07, -5.802139639854431e-07, -5.606561899185181e-07, -5.41098415851593e-07, -5.21540641784668e-07, -5.019828677177429e-07, -4.824250936508179e-07, -4.628673195838928e-07, -4.4330954551696777e-07, -4.237517714500427e-07, -4.041939973831177e-07, -3.8463622331619263e-07, -3.650784492492676e-07, -3.4552067518234253e-07, -3.259629011154175e-07, -3.0640512704849243e-07, -2.868473529815674e-07, -2.6728957891464233e-07, -2.477318048477173e-07, -2.2817403078079224e-07, -2.086162567138672e-07, -1.8905848264694214e-07, -1.695007085800171e-07, -1.4994293451309204e-07, -1.30385160446167e-07, -1.1082738637924194e-07, -9.12696123123169e-08, -7.171183824539185e-08, -5.21540641784668e-08, -3.259629011154175e-08, -1.30385160446167e-08, 6.51925802230835e-09, 2.60770320892334e-08, 4.563480615615845e-08, 6.51925802230835e-08, 8.475035429000854e-08, 1.043081283569336e-07, 1.2386590242385864e-07, 1.434236764907837e-07, 1.6298145055770874e-07, 1.825392246246338e-07, 2.0209699869155884e-07, 2.2165477275848389e-07, 2.4121254682540894e-07, 2.60770320892334e-07, 2.8032809495925903e-07, 2.998858690261841e-07, 3.1944364309310913e-07, 3.390014171600342e-07, 3.5855919122695923e-07, 3.781169652938843e-07, 3.976747393608093e-07, 4.172325134277344e-07]}, "gradients/decoder.model.decoder.layers.2.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.self_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 4.0, 7.0, 15.0, 19.0, 36.0, 82.0, 198.0, 433.0, 124.0, 50.0, 30.0, 6.0, 7.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.4438294821702584e-07, -4.132083972763212e-07, -3.8203384633561654e-07, -3.508592953949119e-07, -3.196847160324978e-07, -2.885101935135026e-07, -2.573356141510885e-07, -2.2616106321038387e-07, -1.9498651226967922e-07, -1.6381196132897458e-07, -1.3263741038826993e-07, -1.0146284523671056e-07, -7.028829429600592e-08, -3.911374335530127e-08, -7.939178203741903e-09, 2.3235372736962745e-08, 5.4409923677667393e-08, 8.558447461837204e-08, 1.1675903266450405e-07, 1.4793359071063605e-07, 1.791081416513407e-07, 2.1028269259204535e-07, 2.414572577436047e-07, 2.7263180868430936e-07, 3.03806359625014e-07, 3.3498091056571866e-07, 3.661554615064233e-07, 3.973300408688374e-07, 4.285045633878326e-07, 4.596791427502467e-07, 4.908537221126608e-07, 5.22028244631656e-07, 5.532027671506512e-07, 5.843773465130653e-07, 6.155518690320605e-07, 6.467264483944746e-07, 6.779009709134698e-07, 7.090755502758839e-07, 7.40250129638298e-07, 7.714246521572932e-07, 8.025991746762884e-07, 8.337737540387025e-07, 8.649482765576977e-07, 8.961228559201118e-07, 9.27297378439107e-07, 9.584719009581022e-07, 9.896465371639351e-07, 1.0208210596829304e-06, 1.0519956958887633e-06, 1.0831702184077585e-06, 1.1143448546135915e-06, 1.1455193771325867e-06, 1.1766938996515819e-06, 1.207868422170577e-06, 1.23904305837641e-06, 1.2702175808954053e-06, 1.3013921034144005e-06, 1.3325666259333957e-06, 1.3637412621392286e-06, 1.3949157846582239e-06, 1.426090307177219e-06, 1.4572648296962143e-06, 1.4884394659020472e-06, 1.5196139884210424e-06, 1.5507885109400377e-06]}, "gradients/decoder.model.decoder.layers.2.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 2.0, 2.0, 7.0, 2.0, 6.0, 8.0, 12.0, 19.0, 27.0, 19.0, 42.0, 43.0, 71.0, 73.0, 70.0, 77.0, 54.0, 89.0, 83.0, 70.0, 72.0, 52.0, 35.0, 28.0, 26.0, 13.0, 9.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.566634004277148e-07, -4.4329456727609795e-07, -4.299257341244811e-07, -4.1655690097286424e-07, -4.031880678212474e-07, -3.8981923466963053e-07, -3.7645037309630425e-07, -3.630815399446874e-07, -3.4971270679307054e-07, -3.363438736414537e-07, -3.2297504048983683e-07, -3.0960620733822e-07, -2.962373741866031e-07, -2.8286854103498627e-07, -2.694997078833694e-07, -2.5613087473175256e-07, -2.427620415801357e-07, -2.2939320842851885e-07, -2.16024375276902e-07, -2.0265554212528514e-07, -1.8928670897366828e-07, -1.7591787582205143e-07, -1.6254902845957986e-07, -1.49180195307963e-07, -1.3581136215634615e-07, -1.224425290047293e-07, -1.0907369585311244e-07, -9.570485559606823e-08, -8.233602244445137e-08, -6.896718929283452e-08, -5.5598349035790307e-08, -4.222951588417345e-08, -2.8860682732556597e-08, -1.5491847804582903e-08, -2.1230128766092093e-09, 1.1245823827721324e-08, 2.461465697933818e-08, 3.798349013095503e-08, 5.1352330387999245e-08, 6.47211635396161e-08, 7.808999669123295e-08, 9.145882984284981e-08, 1.0482766299446666e-07, 1.1819650325151088e-07, 1.315653435085551e-07, 1.4493417666017194e-07, 1.583030098117888e-07, 1.7167184296340565e-07, 1.850406761150225e-07, 1.9840950926663936e-07, 2.1177834241825622e-07, 2.2514717556987307e-07, 2.385160087214899e-07, 2.518848418731068e-07, 2.6525367502472363e-07, 2.786225081763405e-07, 2.9199134132795734e-07, 3.053601744795742e-07, 3.1872900763119105e-07, 3.320978407828079e-07, 3.4546667393442476e-07, 3.588355070860416e-07, 3.7220434023765847e-07, 3.855731733892753e-07, 3.989420349626016e-07]}, "gradients/decoder.model.decoder.layers.2.self_attn.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 8.0, 6.0, 9.0, 17.0, 0.0, 35.0, 46.0, 68.0, 164.0, 0.0, 296.0, 1906.0, 34794.0, 974324.0, 0.0, 34251.0, 1922.0, 379.0, 166.0, 0.0, 80.0, 37.0, 33.0, 5.0, 0.0, 13.0, 7.0, 2.0, 1.0], "bins": [-2.3245811462402344e-06, -2.277083694934845e-06, -2.2295862436294556e-06, -2.182088792324066e-06, -2.1345913410186768e-06, -2.0870938897132874e-06, -2.039596438407898e-06, -1.9920989871025085e-06, -1.944601535797119e-06, -1.8971040844917297e-06, -1.8496066331863403e-06, -1.802109181880951e-06, -1.7546117305755615e-06, -1.7071142792701721e-06, -1.6596168279647827e-06, -1.6121193766593933e-06, -1.564621925354004e-06, -1.5171244740486145e-06, -1.469627022743225e-06, -1.4221295714378357e-06, -1.3746321201324463e-06, -1.3271346688270569e-06, -1.2796372175216675e-06, -1.232139766216278e-06, -1.1846423149108887e-06, -1.1371448636054993e-06, -1.0896474123001099e-06, -1.0421499609947205e-06, -9.94652509689331e-07, -9.471550583839417e-07, -8.996576070785522e-07, -8.521601557731628e-07, -8.046627044677734e-07, -7.57165253162384e-07, -7.096678018569946e-07, -6.621703505516052e-07, -6.146728992462158e-07, -5.671754479408264e-07, -5.19677996635437e-07, -4.721805453300476e-07, -4.246830940246582e-07, -3.771856427192688e-07, -3.296881914138794e-07, -2.8219074010849e-07, -2.3469328880310059e-07, -1.8719583749771118e-07, -1.3969838619232178e-07, -9.220093488693237e-08, -4.470348358154297e-08, 2.7939677238464355e-09, 5.029141902923584e-08, 9.778887033462524e-08, 1.4528632164001465e-07, 1.9278377294540405e-07, 2.4028122425079346e-07, 2.8777867555618286e-07, 3.3527612686157227e-07, 3.8277357816696167e-07, 4.302710294723511e-07, 4.777684807777405e-07, 5.252659320831299e-07, 5.727633833885193e-07, 6.202608346939087e-07, 6.677582859992981e-07, 7.152557373046875e-07]}, "gradients/decoder.model.decoder.layers.2.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 5.0, 5.0, 3.0, 3.0, 8.0, 11.0, 28.0, 19.0, 18.0, 59.0, 39.0, 60.0, 54.0, 108.0, 132.0, 63.0, 112.0, 56.0, 60.0, 43.0, 57.0, 23.0, 16.0, 22.0, 4.0, 3.0, 4.0, 3.0], "bins": [-4.291534423828125e-06, -4.2067840695381165e-06, -4.122033715248108e-06, -4.037283360958099e-06, -3.952533006668091e-06, -3.867782652378082e-06, -3.7830322980880737e-06, -3.698281943798065e-06, -3.6135315895080566e-06, -3.528781235218048e-06, -3.4440308809280396e-06, -3.359280526638031e-06, -3.2745301723480225e-06, -3.189779818058014e-06, -3.1050294637680054e-06, -3.020279109477997e-06, -2.9355287551879883e-06, -2.8507784008979797e-06, -2.766028046607971e-06, -2.6812776923179626e-06, -2.596527338027954e-06, -2.5117769837379456e-06, -2.427026629447937e-06, -2.3422762751579285e-06, -2.25752592086792e-06, -2.1727755665779114e-06, -2.088025212287903e-06, -2.0032748579978943e-06, -1.9185245037078857e-06, -1.8337741494178772e-06, -1.7490237951278687e-06, -1.6642734408378601e-06, -1.5795230865478516e-06, -1.494772732257843e-06, -1.4100223779678345e-06, -1.325272023677826e-06, -1.2405216693878174e-06, -1.1557713150978088e-06, -1.0710209608078003e-06, -9.862706065177917e-07, -9.015202522277832e-07, -8.167698979377747e-07, -7.320195436477661e-07, -6.472691893577576e-07, -5.62518835067749e-07, -4.777684807777405e-07, -3.9301812648773193e-07, -3.082677721977234e-07, -2.2351741790771484e-07, -1.387670636177063e-07, -5.4016709327697754e-08, 3.073364496231079e-08, 1.1548399925231934e-07, 2.0023435354232788e-07, 2.849847078323364e-07, 3.6973506212234497e-07, 4.544854164123535e-07, 5.392357707023621e-07, 6.239861249923706e-07, 7.087364792823792e-07, 7.934868335723877e-07, 8.782371878623962e-07, 9.629875421524048e-07, 1.0477378964424133e-06, 1.1324882507324219e-06]}, "gradients/decoder.model.decoder.layers.2.self_attn.v_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 4.0, 2.0, 2.0, 3.0, 6.0, 8.0, 8.0, 4.0, 9.0, 14.0, 14.0, 26.0, 27.0, 32.0, 69.0, 40.0, 16.0, 118.0, 226.0, 1369.0, 1038358.0, 7407.0, 308.0, 134.0, 102.0, 49.0, 40.0, 25.0, 31.0, 19.0, 36.0, 8.0, 13.0, 1.0, 4.0, 10.0, 4.0, 7.0, 4.0, 1.0, 2.0, 0.0, 1.0, 3.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.172325134277344e-06, -4.027038812637329e-06, -3.8817524909973145e-06, -3.7364661693573e-06, -3.591179847717285e-06, -3.4458935260772705e-06, -3.300607204437256e-06, -3.155320882797241e-06, -3.0100345611572266e-06, -2.864748239517212e-06, -2.7194619178771973e-06, -2.5741755962371826e-06, -2.428889274597168e-06, -2.2836029529571533e-06, -2.1383166313171387e-06, -1.993030309677124e-06, -1.8477439880371094e-06, -1.7024576663970947e-06, -1.55717134475708e-06, -1.4118850231170654e-06, -1.2665987014770508e-06, -1.1213123798370361e-06, -9.760260581970215e-07, -8.307397365570068e-07, -6.854534149169922e-07, -5.401670932769775e-07, -3.948807716369629e-07, -2.4959444999694824e-07, -1.043081283569336e-07, 4.0978193283081055e-08, 1.862645149230957e-07, 3.3155083656311035e-07, 4.76837158203125e-07, 6.221234798431396e-07, 7.674098014831543e-07, 9.126961231231689e-07, 1.0579824447631836e-06, 1.2032687664031982e-06, 1.3485550880432129e-06, 1.4938414096832275e-06, 1.6391277313232422e-06, 1.7844140529632568e-06, 1.9297003746032715e-06, 2.074986696243286e-06, 2.2202730178833008e-06, 2.3655593395233154e-06, 2.51084566116333e-06, 2.6561319828033447e-06, 2.8014183044433594e-06, 2.946704626083374e-06, 3.0919909477233887e-06, 3.2372772693634033e-06, 3.382563591003418e-06, 3.5278499126434326e-06, 3.6731362342834473e-06, 3.818422555923462e-06, 3.9637088775634766e-06, 4.108995199203491e-06, 4.254281520843506e-06, 4.3995678424835205e-06, 4.544854164123535e-06, 4.69014048576355e-06, 4.8354268074035645e-06, 4.980713129043579e-06, 5.125999450683594e-06]}, "gradients/decoder.model.decoder.layers.2.self_attn.v_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 4.0, 2.0, 3.0, 2.0, 6.0, 8.0, 8.0, 4.0, 9.0, 14.0, 14.0, 26.0, 27.0, 64.0, 27.0, 30.0, 3.0, 43.0, 93.0, 44.0, 160.0, 46.0, 45.0, 46.0, 45.0, 41.0, 31.0, 25.0, 29.0, 35.0, 20.0, 8.0, 13.0, 1.0, 7.0, 7.0, 4.0, 7.0, 4.0, 1.0, 2.0, 0.0, 1.0, 3.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0265579223632812e-06, -1.955777406692505e-06, -1.8849968910217285e-06, -1.8142163753509521e-06, -1.7434358596801758e-06, -1.6726553440093994e-06, -1.601874828338623e-06, -1.5310943126678467e-06, -1.4603137969970703e-06, -1.389533281326294e-06, -1.3187527656555176e-06, -1.2479722499847412e-06, -1.1771917343139648e-06, -1.1064112186431885e-06, -1.0356307029724121e-06, -9.648501873016357e-07, -8.940696716308594e-07, -8.23289155960083e-07, -7.525086402893066e-07, -6.817281246185303e-07, -6.109476089477539e-07, -5.401670932769775e-07, -4.6938657760620117e-07, -3.986060619354248e-07, -3.2782554626464844e-07, -2.5704503059387207e-07, -1.862645149230957e-07, -1.1548399925231934e-07, -4.470348358154297e-08, 2.60770320892334e-08, 9.685754776000977e-08, 1.6763806343078613e-07, 2.384185791015625e-07, 3.0919909477233887e-07, 3.7997961044311523e-07, 4.507601261138916e-07, 5.21540641784668e-07, 5.923211574554443e-07, 6.631016731262207e-07, 7.338821887969971e-07, 8.046627044677734e-07, 8.754432201385498e-07, 9.462237358093262e-07, 1.0170042514801025e-06, 1.087784767150879e-06, 1.1585652828216553e-06, 1.2293457984924316e-06, 1.300126314163208e-06, 1.3709068298339844e-06, 1.4416873455047607e-06, 1.5124678611755371e-06, 1.5832483768463135e-06, 1.6540288925170898e-06, 1.7248094081878662e-06, 1.7955899238586426e-06, 1.866370439529419e-06, 1.9371509552001953e-06, 2.0079314708709717e-06, 2.078711986541748e-06, 2.1494925022125244e-06, 2.2202730178833008e-06, 2.291053533554077e-06, 2.3618340492248535e-06, 2.43261456489563e-06, 2.5033950805664062e-06]}, "gradients/decoder.model.decoder.layers.2.self_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.self_attn.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.self_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.2.self_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 50.0, 969.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4763078297619359e-06, -1.1936872397200204e-06, -9.110667065215239e-07, -6.284461733230273e-07, -3.458255832811119e-07, -6.320499323919648e-08, 2.1941548311588122e-07, 5.020361868446344e-07, 7.846566631997121e-07, 1.0672772532416275e-06, 1.3498977295967052e-06, 1.6325183196386206e-06, 1.915138909680536e-06, 2.1977593860356137e-06, 2.4803798623906914e-06, 2.76300079349312e-06, 3.0456212698481977e-06, 3.3282417462032754e-06, 3.6108624499320285e-06, 3.893483153660782e-06, 4.176103630015859e-06, 4.458724106370937e-06, 4.741344582726015e-06, 5.0239650590810925e-06, 5.30658553543617e-06, 5.589206011791248e-06, 5.8718264881463256e-06, 6.154446964501403e-06, 6.437067895603832e-06, 6.7196883719589096e-06, 7.002308848313987e-06, 7.284929779416416e-06, 7.567549801024143e-06, 7.850170732126571e-06, 8.132790753734298e-06, 8.415411684836727e-06, 8.698031706444453e-06, 8.980652637546882e-06, 9.263272659154609e-06, 9.545893590257037e-06, 9.828514521359466e-06, 1.0111135452461895e-05, 1.0393755474069621e-05, 1.067637640517205e-05, 1.0958996426779777e-05, 1.1241617357882205e-05, 1.1524238288984634e-05, 1.180685831059236e-05, 1.2089478332200088e-05, 1.2372099263302516e-05, 1.2654719284910243e-05, 1.2937340216012672e-05, 1.3219960237620398e-05, 1.3502581168722827e-05, 1.3785202099825256e-05, 1.4067822121432982e-05, 1.4350443052535411e-05, 1.463306398363784e-05, 1.4915684005245566e-05, 1.5198304936347995e-05, 1.5480925867450424e-05, 1.576354588905815e-05, 1.6046165910665877e-05, 1.6328787751263008e-05, 1.6611407772870734e-05]}, "gradients/decoder.model.decoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 4.0, 6.0, 8.0, 15.0, 6.0, 16.0, 22.0, 19.0, 29.0, 32.0, 31.0, 37.0, 38.0, 52.0, 53.0, 45.0, 57.0, 53.0, 45.0, 44.0, 44.0, 39.0, 39.0, 47.0, 31.0, 26.0, 33.0, 29.0, 36.0, 14.0, 12.0, 11.0, 9.0, 1.0, 7.0, 4.0, 3.0, 1.0, 3.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.2642622045386815e-06, -3.1530967135040555e-06, -3.041930995095754e-06, -2.9307652766874526e-06, -2.8195997856528265e-06, -2.7084342946182005e-06, -2.597268576209899e-06, -2.4861028578015976e-06, -2.3749373667669715e-06, -2.2637718757323455e-06, -2.152606157324044e-06, -2.0414404389157426e-06, -1.9302749478811165e-06, -1.8191093431596528e-06, -1.707943738438189e-06, -1.5967781337167253e-06, -1.4856125289952615e-06, -1.3744469242737978e-06, -1.263281319552334e-06, -1.1521157148308703e-06, -1.0409501101094065e-06, -9.297845053879428e-07, -8.18618900666479e-07, -7.074532959450153e-07, -5.962876912235515e-07, -4.851220865020878e-07, -3.73956481780624e-07, -2.6279087705916027e-07, -1.5162527233769652e-07, -4.0459667616232764e-08, 7.070593710523099e-08, 1.8187154182669474e-07, 2.9303691917448305e-07, 4.042025238959468e-07, 5.153681286174105e-07, 6.265337333388743e-07, 7.37699338060338e-07, 8.488649427818018e-07, 9.600305475032656e-07, 1.0711961522247293e-06, 1.182361756946193e-06, 1.2935273616676568e-06, 1.4046929663891206e-06, 1.5158585711105843e-06, 1.627024175832048e-06, 1.7381897805535118e-06, 1.8493553852749756e-06, 1.9605208763096016e-06, 2.071686594717903e-06, 2.1828523131262045e-06, 2.2940178041608306e-06, 2.4051832951954566e-06, 2.516349013603758e-06, 2.6275147320120595e-06, 2.7386802230466856e-06, 2.8498457140813116e-06, 2.961011432489613e-06, 3.0721771508979145e-06, 3.1833426419325406e-06, 3.2945081329671666e-06, 3.405673851375468e-06, 3.5168395697837695e-06, 3.6280050608183956e-06, 3.7391705518530216e-06, 3.850336270261323e-06]}, "gradients/decoder.model.decoder.layers.1.fc2.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.fc2.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.fc1.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.fc1.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 4.0, 7.0, 7.0, 11.0, 8.0, 7.0, 13.0, 20.0, 35.0, 41.0, 65.0, 102.0, 170.0, 212.0, 97.0, 61.0, 34.0, 21.0, 21.0, 19.0, 11.0, 15.0, 5.0, 6.0, 6.0, 1.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.2610483202688556e-08, -3.1523935462018926e-08, -3.0437387721349296e-08, -2.9350839980679666e-08, -2.8264292240010036e-08, -2.7177744499340406e-08, -2.6091196758670776e-08, -2.5004649018001146e-08, -2.3918101277331516e-08, -2.2831553536661886e-08, -2.1745005795992256e-08, -2.0658458055322626e-08, -1.9571910314652996e-08, -1.8485362573983366e-08, -1.7398814833313736e-08, -1.6312267092644106e-08, -1.5225719351974476e-08, -1.4139171611304846e-08, -1.3052623870635216e-08, -1.1966076129965586e-08, -1.0879528389295956e-08, -9.792980648626326e-09, -8.706432907956696e-09, -7.619885167287066e-09, -6.533337426617436e-09, -5.446789685947806e-09, -4.360241945278176e-09, -3.273694204608546e-09, -2.187146463938916e-09, -1.100598723269286e-09, -1.4050982599655981e-11, 1.072496758069974e-09, 2.159048051453283e-09, 3.245595792122913e-09, 4.332143532792543e-09, 5.418691273462173e-09, 6.505239014131803e-09, 7.591786754801433e-09, 8.678334495471063e-09, 9.764882236140693e-09, 1.0851429976810323e-08, 1.1937977717479953e-08, 1.3024525458149583e-08, 1.4111073198819213e-08, 1.5197620939488843e-08, 1.6284168680158473e-08, 1.7370716420828103e-08, 1.8457264161497733e-08, 1.9543811902167363e-08, 2.0630359642836993e-08, 2.1716907383506623e-08, 2.2803455124176253e-08, 2.3890002864845883e-08, 2.4976550605515513e-08, 2.6063098346185143e-08, 2.7149646086854773e-08, 2.8236193827524403e-08, 2.9322741568194033e-08, 3.040928930886366e-08, 3.149583704953329e-08, 3.258238479020292e-08, 3.366893253087255e-08, 3.475548027154218e-08, 3.584202801221181e-08, 3.692857575288144e-08]}, "gradients/decoder.model.decoder.layers.1.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 4.0, 2.0, 2.0, 3.0, 4.0, 0.0, 7.0, 8.0, 11.0, 10.0, 9.0, 11.0, 15.0, 18.0, 20.0, 21.0, 24.0, 32.0, 30.0, 35.0, 32.0, 41.0, 44.0, 42.0, 36.0, 40.0, 38.0, 37.0, 35.0, 39.0, 45.0, 24.0, 38.0, 35.0, 24.0, 24.0, 19.0, 28.0, 21.0, 22.0, 19.0, 16.0, 10.0, 10.0, 6.0, 5.0, 6.0, 2.0, 3.0, 4.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-1.6674789549142588e-08, -1.6127874147287002e-08, -1.5580960521788256e-08, -1.503404511993267e-08, -1.4487131494433925e-08, -1.3940216092578339e-08, -1.3393301578901173e-08, -1.2846387065224008e-08, -1.2299472551546842e-08, -1.1752558037869676e-08, -1.120564352419251e-08, -1.0658729010515344e-08, -1.0111813608659759e-08, -9.564899983161013e-09, -9.017984581305427e-09, -8.471070067628261e-09, -7.924155553951095e-09, -7.37724104027393e-09, -6.830326526596764e-09, -6.283411568830388e-09, -5.736497055153222e-09, -5.1895825414760566e-09, -4.642667583709681e-09, -4.095753070032515e-09, -3.5488385563553493e-09, -3.0019240426781835e-09, -2.4550093069564127e-09, -1.908094571234642e-09, -1.3611800575574762e-09, -8.142655438803104e-10, -2.673508081585396e-10, 2.795639275632311e-10, 8.264802175972363e-10, 1.3733948422967046e-09, 1.920309466996173e-09, 2.4672242027179436e-09, 3.0141387163951094e-09, 3.5610532300722753e-09, 4.107968187838651e-09, 4.654882701515817e-09, 5.2017972151929825e-09, 5.748711728870148e-09, 6.295626242547314e-09, 6.84254120031369e-09, 7.389455713990856e-09, 7.936369783578812e-09, 8.483285185434397e-09, 9.030199699111563e-09, 9.577114212788729e-09, 1.0124028726465895e-08, 1.067094324014306e-08, 1.1217857753820226e-08, 1.1764772267497392e-08, 1.2311687669352978e-08, 1.2858602183030143e-08, 1.3405516696707309e-08, 1.3952431210384475e-08, 1.449934572406164e-08, 1.5046261125917226e-08, 1.5593174751415972e-08, 1.6140090153271558e-08, 1.6687003778770304e-08, 1.723391918062589e-08, 1.7780834582481475e-08, 1.832774820798022e-08]}, "gradients/decoder.model.decoder.layers.1.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.self_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 5.0, 2.0, 9.0, 9.0, 12.0, 25.0, 48.0, 86.0, 240.0, 337.0, 111.0, 47.0, 34.0, 26.0, 9.0, 7.0, 3.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.2034975561145984e-08, -3.085588673457096e-08, -2.9676801460709612e-08, -2.8497714410491426e-08, -2.731862736027324e-08, -2.6139538533698214e-08, -2.496045148348003e-08, -2.3781364433261842e-08, -2.2602277383043656e-08, -2.142319033282547e-08, -2.0244103282607284e-08, -1.9065016232389098e-08, -1.7885927405814073e-08, -1.6706842131952726e-08, -1.55277533053777e-08, -1.4348666255159515e-08, -1.3169579204941328e-08, -1.1990492154723142e-08, -1.0811405104504956e-08, -9.63231716610835e-09, -8.453230115890165e-09, -7.2741430656719785e-09, -6.095055571364583e-09, -4.915968077057187e-09, -3.736881026839001e-09, -2.5577937545762097e-09, -1.3787064823134187e-09, -1.9961921005062777e-10, 9.794680622121632e-10, 2.1585551124303493e-09, 3.337642606737745e-09, 4.516730101045141e-09, 5.695817151263327e-09, 6.874904201481513e-09, 8.0539912516997e-09, 9.233079190096305e-09, 1.0412166240314491e-08, 1.1591253290532677e-08, 1.2770341228929283e-08, 1.3949428279147469e-08, 1.5128515329365655e-08, 1.630760237958384e-08, 1.7486689429802027e-08, 1.8665776480020213e-08, 1.984486530659524e-08, 2.1023950580456585e-08, 2.220303940703161e-08, 2.3382126457249797e-08, 2.4561213507467983e-08, 2.574030055768617e-08, 2.6919387607904355e-08, 2.809847465812254e-08, 2.9277561708340727e-08, 3.045665053491575e-08, 3.16357358087771e-08, 3.2814824635352124e-08, 3.399391346192715e-08, 3.5173002288502175e-08, 3.635208756236352e-08, 3.753117638893855e-08, 3.8710261662799894e-08, 3.988935048937492e-08, 4.1068435763236266e-08, 4.224752458981129e-08, 4.342660986367264e-08]}, "gradients/decoder.model.decoder.layers.1.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 4.0, 3.0, 3.0, 7.0, 6.0, 10.0, 18.0, 18.0, 19.0, 33.0, 31.0, 37.0, 50.0, 57.0, 63.0, 62.0, 63.0, 55.0, 60.0, 62.0, 50.0, 62.0, 35.0, 32.0, 39.0, 33.0, 36.0, 16.0, 17.0, 5.0, 9.0, 7.0, 7.0, 4.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7778548411229167e-08, -1.7177455902128713e-08, -1.657636339302826e-08, -1.5975269107570966e-08, -1.5374176598470513e-08, -1.4773084089370059e-08, -1.4171991580269605e-08, -1.3570899071169151e-08, -1.2969805673890278e-08, -1.2368713164789824e-08, -1.176761976751095e-08, -1.1166527258410497e-08, -1.0565434749310043e-08, -9.96434135203117e-09, -9.363248842930716e-09, -8.762155445651842e-09, -8.161062936551389e-09, -7.559970427450935e-09, -6.9588770301720615e-09, -6.357784521071608e-09, -5.756691567881944e-09, -5.1555986146922805e-09, -4.554506105591827e-09, -3.953413152402163e-09, -3.3523201992124996e-09, -2.751227246022836e-09, -2.1501345148777773e-09, -1.5490416727104162e-09, -9.47948830543055e-10, -3.468558773533914e-10, 2.5423685379166727e-10, 8.55329584936726e-10, 1.4564207617695502e-09, 2.0575137149592138e-09, 2.6586064461042724e-09, 3.259699177249331e-09, 3.860792130438995e-09, 4.461885083628658e-09, 5.062977592729112e-09, 5.664070545918776e-09, 6.265163499108439e-09, 6.866256452298103e-09, 7.467349405487766e-09, 8.06844191458822e-09, 8.669534423688674e-09, 9.270627820967547e-09, 9.871720330068001e-09, 1.0472813727346875e-08, 1.1073906236447328e-08, 1.1674998745547782e-08, 1.2276092142826656e-08, 1.287718465192711e-08, 1.3478278049205983e-08, 1.4079370558306437e-08, 1.468046306740689e-08, 1.5281555576507344e-08, 1.5882648085607798e-08, 1.648374059470825e-08, 1.7084833103808705e-08, 1.7685927389266e-08, 1.8287019898366452e-08, 1.8888112407466906e-08, 1.948920491656736e-08, 2.0090297425667814e-08, 2.0691391711125107e-08]}, "gradients/decoder.model.decoder.layers.1.self_attn.out_proj.weight": {"_type": "histogram", "values": [9.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048554.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0], "bins": [-5.960464477539063e-08, -5.774199962615967e-08, -5.587935447692871e-08, -5.4016709327697754e-08, -5.21540641784668e-08, -5.029141902923584e-08, -4.842877388000488e-08, -4.6566128730773926e-08, -4.470348358154297e-08, -4.284083843231201e-08, -4.0978193283081055e-08, -3.91155481338501e-08, -3.725290298461914e-08, -3.5390257835388184e-08, -3.3527612686157227e-08, -3.166496753692627e-08, -2.9802322387695312e-08, -2.7939677238464355e-08, -2.60770320892334e-08, -2.421438694000244e-08, -2.2351741790771484e-08, -2.0489096641540527e-08, -1.862645149230957e-08, -1.6763806343078613e-08, -1.4901161193847656e-08, -1.30385160446167e-08, -1.1175870895385742e-08, -9.313225746154785e-09, -7.450580596923828e-09, -5.587935447692871e-09, -3.725290298461914e-09, -1.862645149230957e-09, 0.0, 1.862645149230957e-09, 3.725290298461914e-09, 5.587935447692871e-09, 7.450580596923828e-09, 9.313225746154785e-09, 1.1175870895385742e-08, 1.30385160446167e-08, 1.4901161193847656e-08, 1.6763806343078613e-08, 1.862645149230957e-08, 2.0489096641540527e-08, 2.2351741790771484e-08, 2.421438694000244e-08, 2.60770320892334e-08, 2.7939677238464355e-08, 2.9802322387695312e-08, 3.166496753692627e-08, 3.3527612686157227e-08, 3.5390257835388184e-08, 3.725290298461914e-08, 3.91155481338501e-08, 4.0978193283081055e-08, 4.284083843231201e-08, 4.470348358154297e-08, 4.6566128730773926e-08, 4.842877388000488e-08, 5.029141902923584e-08, 5.21540641784668e-08, 5.4016709327697754e-08, 5.587935447692871e-08, 5.774199962615967e-08, 5.960464477539063e-08]}, "gradients/decoder.model.decoder.layers.1.self_attn.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 153.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 709.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 157.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0], "bins": [-1.7881393432617188e-07, -1.7415732145309448e-07, -1.695007085800171e-07, -1.648440957069397e-07, -1.601874828338623e-07, -1.555308699607849e-07, -1.5087425708770752e-07, -1.4621764421463013e-07, -1.4156103134155273e-07, -1.3690441846847534e-07, -1.3224780559539795e-07, -1.2759119272232056e-07, -1.2293457984924316e-07, -1.1827796697616577e-07, -1.1362135410308838e-07, -1.0896474123001099e-07, -1.043081283569336e-07, -9.96515154838562e-08, -9.499490261077881e-08, -9.033828973770142e-08, -8.568167686462402e-08, -8.102506399154663e-08, -7.636845111846924e-08, -7.171183824539185e-08, -6.705522537231445e-08, -6.239861249923706e-08, -5.774199962615967e-08, -5.3085386753082275e-08, -4.842877388000488e-08, -4.377216100692749e-08, -3.91155481338501e-08, -3.4458935260772705e-08, -2.9802322387695312e-08, -2.514570951461792e-08, -2.0489096641540527e-08, -1.5832483768463135e-08, -1.1175870895385742e-08, -6.51925802230835e-09, -1.862645149230957e-09, 2.7939677238464355e-09, 7.450580596923828e-09, 1.210719347000122e-08, 1.6763806343078613e-08, 2.1420419216156006e-08, 2.60770320892334e-08, 3.073364496231079e-08, 3.5390257835388184e-08, 4.0046870708465576e-08, 4.470348358154297e-08, 4.936009645462036e-08, 5.4016709327697754e-08, 5.8673322200775146e-08, 6.332993507385254e-08, 6.798654794692993e-08, 7.264316082000732e-08, 7.729977369308472e-08, 8.195638656616211e-08, 8.66129994392395e-08, 9.12696123123169e-08, 9.592622518539429e-08, 1.0058283805847168e-07, 1.0523945093154907e-07, 1.0989606380462646e-07, 1.1455267667770386e-07, 1.1920928955078125e-07]}, "gradients/decoder.model.decoder.layers.1.self_attn.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 31.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 175.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048156.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 179.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 31.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.7881393432617188e-07, -1.73225998878479e-07, -1.6763806343078613e-07, -1.6205012798309326e-07, -1.564621925354004e-07, -1.5087425708770752e-07, -1.4528632164001465e-07, -1.3969838619232178e-07, -1.341104507446289e-07, -1.2852251529693604e-07, -1.2293457984924316e-07, -1.1734664440155029e-07, -1.1175870895385742e-07, -1.0617077350616455e-07, -1.0058283805847168e-07, -9.499490261077881e-08, -8.940696716308594e-08, -8.381903171539307e-08, -7.82310962677002e-08, -7.264316082000732e-08, -6.705522537231445e-08, -6.146728992462158e-08, -5.587935447692871e-08, -5.029141902923584e-08, -4.470348358154297e-08, -3.91155481338501e-08, -3.3527612686157227e-08, -2.7939677238464355e-08, -2.2351741790771484e-08, -1.6763806343078613e-08, -1.1175870895385742e-08, -5.587935447692871e-09, 0.0, 5.587935447692871e-09, 1.1175870895385742e-08, 1.6763806343078613e-08, 2.2351741790771484e-08, 2.7939677238464355e-08, 3.3527612686157227e-08, 3.91155481338501e-08, 4.470348358154297e-08, 5.029141902923584e-08, 5.587935447692871e-08, 6.146728992462158e-08, 6.705522537231445e-08, 7.264316082000732e-08, 7.82310962677002e-08, 8.381903171539307e-08, 8.940696716308594e-08, 9.499490261077881e-08, 1.0058283805847168e-07, 1.0617077350616455e-07, 1.1175870895385742e-07, 1.1734664440155029e-07, 1.2293457984924316e-07, 1.2852251529693604e-07, 1.341104507446289e-07, 1.3969838619232178e-07, 1.4528632164001465e-07, 1.5087425708770752e-07, 1.564621925354004e-07, 1.6205012798309326e-07, 1.6763806343078613e-07, 1.73225998878479e-07, 1.7881393432617188e-07]}, "gradients/decoder.model.decoder.layers.1.self_attn.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 13.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 62.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 854.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 76.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 15.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.384185791015625e-07, -2.3096799850463867e-07, -2.2351741790771484e-07, -2.1606683731079102e-07, -2.086162567138672e-07, -2.0116567611694336e-07, -1.9371509552001953e-07, -1.862645149230957e-07, -1.7881393432617188e-07, -1.7136335372924805e-07, -1.6391277313232422e-07, -1.564621925354004e-07, -1.4901161193847656e-07, -1.4156103134155273e-07, -1.341104507446289e-07, -1.2665987014770508e-07, -1.1920928955078125e-07, -1.1175870895385742e-07, -1.043081283569336e-07, -9.685754776000977e-08, -8.940696716308594e-08, -8.195638656616211e-08, -7.450580596923828e-08, -6.705522537231445e-08, -5.960464477539063e-08, -5.21540641784668e-08, -4.470348358154297e-08, -3.725290298461914e-08, -2.9802322387695312e-08, -2.2351741790771484e-08, -1.4901161193847656e-08, -7.450580596923828e-09, 0.0, 7.450580596923828e-09, 1.4901161193847656e-08, 2.2351741790771484e-08, 2.9802322387695312e-08, 3.725290298461914e-08, 4.470348358154297e-08, 5.21540641784668e-08, 5.960464477539063e-08, 6.705522537231445e-08, 7.450580596923828e-08, 8.195638656616211e-08, 8.940696716308594e-08, 9.685754776000977e-08, 1.043081283569336e-07, 1.1175870895385742e-07, 1.1920928955078125e-07, 1.2665987014770508e-07, 1.341104507446289e-07, 1.4156103134155273e-07, 1.4901161193847656e-07, 1.564621925354004e-07, 1.6391277313232422e-07, 1.7136335372924805e-07, 1.7881393432617188e-07, 1.862645149230957e-07, 1.9371509552001953e-07, 2.0116567611694336e-07, 2.086162567138672e-07, 2.1606683731079102e-07, 2.2351741790771484e-07, 2.3096799850463867e-07, 2.384185791015625e-07]}, "gradients/decoder.model.decoder.layers.1.self_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.self_attn.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.self_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.1.self_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 49.0, 968.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.461861883939491e-08, -5.67710749521666e-08, -3.892353106493829e-08, -2.1075987177709976e-08, -3.228443290481664e-09, 1.461909704403297e-08, 3.246664448397496e-08, 5.031419192391695e-08, 6.816173225843158e-08, 8.600927969837358e-08, 1.0385682003288821e-07, 1.2170436036740284e-07, 1.3955190070191748e-07, 1.5739945524728682e-07, 1.7524699558180146e-07, 1.930945359163161e-07, 2.1094209046168544e-07, 2.2878963079620007e-07, 2.466371711307147e-07, 2.6448472567608405e-07, 2.823322802214534e-07, 3.001798063451133e-07, 3.1802736089048267e-07, 3.35874915435852e-07, 3.5372244155951194e-07, 3.715699961048813e-07, 3.894175222285412e-07, 4.0726507677391055e-07, 4.2511260289757047e-07, 4.429601574429398e-07, 4.6080771198830917e-07, 4.786552381119691e-07, 4.965028210790479e-07, 5.143503472027078e-07, 5.321979301697866e-07, 5.500454562934465e-07, 5.678929824171064e-07, 5.857405085407663e-07, 6.035880915078451e-07, 6.21435617631505e-07, 6.392831437551649e-07, 6.571306698788248e-07, 6.749782528459036e-07, 6.928257789695635e-07, 7.106733050932235e-07, 7.285208312168834e-07, 7.463684141839622e-07, 7.642159403076221e-07, 7.820635232747009e-07, 7.999110493983608e-07, 8.177586323654396e-07, 8.356061584890995e-07, 8.534536846127594e-07, 8.713012675798382e-07, 8.891487937034981e-07, 9.06996319827158e-07, 9.248439027942368e-07, 9.426914289178967e-07, 9.605389550415566e-07, 9.783865380086354e-07, 9.962341209757142e-07, 1.0140815902559552e-06, 1.031929173223034e-06, 1.0497767561901128e-06, 1.0676242254703538e-06]}, "gradients/decoder.model.decoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 1.0, 10.0, 5.0, 5.0, 5.0, 10.0, 6.0, 8.0, 19.0, 13.0, 23.0, 25.0, 31.0, 32.0, 20.0, 32.0, 32.0, 38.0, 33.0, 33.0, 53.0, 39.0, 42.0, 41.0, 51.0, 40.0, 35.0, 36.0, 34.0, 31.0, 29.0, 21.0, 17.0, 28.0, 18.0, 15.0, 18.0, 21.0, 17.0, 15.0, 9.0, 5.0, 1.0, 5.0, 3.0, 0.0, 3.0, 0.0, 3.0, 1.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0623843965950073e-07, -1.995479550487289e-07, -1.928574846488118e-07, -1.8616700003804e-07, -1.7947652963812288e-07, -1.7278604502735107e-07, -1.6609556041657925e-07, -1.5940509001666214e-07, -1.5271460540589032e-07, -1.460241207951185e-07, -1.393336503952014e-07, -1.3264316578442958e-07, -1.2595268117365777e-07, -1.1926221077374066e-07, -1.1257172616296884e-07, -1.0588124865762438e-07, -9.919077115227992e-08, -9.250029364693546e-08, -8.5809816141591e-08, -7.911933153081918e-08, -7.242885402547472e-08, -6.573837652013026e-08, -5.904789546207212e-08, -5.235741440401398e-08, -4.566693689866952e-08, -3.897645939332506e-08, -3.228597833526692e-08, -2.5595499053565618e-08, -1.8905019771864318e-08, -1.2214542266519857e-08, -5.524061208461717e-09, 1.1664198495964229e-09, 7.856897354940884e-09, 1.4547376636642184e-08, 2.1237855918343485e-08, 2.7928335200044785e-08, 3.4618814481746085e-08, 4.1309291987090546e-08, 4.7999773045148686e-08, 5.4690254103206826e-08, 6.138073160855129e-08, 6.807120911389575e-08, 7.476168661924021e-08, 8.145217123001203e-08, 8.814264873535649e-08, 9.483312624070095e-08, 1.0152361085147277e-07, 1.0821408835681723e-07, 1.1490456586216169e-07, 1.215950504729335e-07, 1.282855208728506e-07, 1.3497600548362243e-07, 1.4166647588353953e-07, 1.4835696049431135e-07, 1.5504744510508317e-07, 1.6173791550500027e-07, 1.684284001157721e-07, 1.751188847265439e-07, 1.8180935512646101e-07, 1.8849983973723283e-07, 1.9519032434800465e-07, 2.0188079474792175e-07, 2.0857127935869357e-07, 2.152617639694654e-07, 2.219522343693825e-07]}, "gradients/decoder.model.decoder.layers.0.fc2.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.fc2.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.fc1.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4194304.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.fc1.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4096.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.encoder_attn_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 4.0, 3.0, 8.0, 13.0, 32.0, 75.0, 161.0, 375.0, 197.0, 80.0, 36.0, 15.0, 7.0, 0.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.751539937179587e-09, -8.325986122770246e-09, -7.900432308360905e-09, -7.474878493951564e-09, -7.049324679542224e-09, -6.623770865132883e-09, -6.198217494812752e-09, -5.7726636804034115e-09, -5.347109865994071e-09, -4.92155605158473e-09, -4.496002237175389e-09, -4.0704488668552585e-09, -3.644894830401313e-09, -3.219341015991972e-09, -2.7937874236272364e-09, -2.3682336092178957e-09, -1.942679794808555e-09, -1.5171259803992143e-09, -1.091572277012176e-09, -6.660185736251378e-10, -2.4046475921579713e-10, 1.8508905519354357e-10, 6.106426475582794e-10, 1.03619646196762e-09, 1.4617502763769608e-09, 1.8873040907863015e-09, 2.312857905195642e-09, 2.738411497560378e-09, 3.1639653119697186e-09, 3.5895191263790593e-09, 4.015072718743795e-09, 4.440626533153136e-09, 4.8661803475624765e-09, 5.291734161971817e-09, 5.717287976381158e-09, 6.142841790790499e-09, 6.568395605199839e-09, 6.99394941960918e-09, 7.419502789929311e-09, 7.845056160249442e-09, 8.270610862837202e-09, 8.696164677246543e-09, 9.121718491655884e-09, 9.547272306065224e-09, 9.972826120474565e-09, 1.0398379934883906e-08, 1.0823933749293246e-08, 1.1249486675524167e-08, 1.1675040489933508e-08, 1.2100594304342849e-08, 1.252614811875219e-08, 1.295170193316153e-08, 1.3377255747570871e-08, 1.3802809561980212e-08, 1.4228362488211133e-08, 1.4653917190798893e-08, 1.5079470117029814e-08, 1.5505023043260735e-08, 1.5930577745848495e-08, 1.6356130672079416e-08, 1.6781685374667177e-08, 1.7207238300898098e-08, 1.7632793003485858e-08, 1.805834592971678e-08, 1.848390063230454e-08]}, "gradients/decoder.model.decoder.layers.0.encoder_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 8.0, 11.0, 19.0, 49.0, 84.0, 140.0, 183.0, 176.0, 137.0, 91.0, 68.0, 17.0, 20.0, 9.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.953306292383331e-09, -5.6076214782763145e-09, -5.2619371082585076e-09, -4.916252294151491e-09, -4.570567924133684e-09, -4.224883110026667e-09, -3.87919829591965e-09, -3.5335137038572384e-09, -3.1878291117948265e-09, -2.8421445197324147e-09, -2.496459927670003e-09, -2.150775113562986e-09, -1.8050905215005741e-09, -1.4594059294381623e-09, -1.1137211153311455e-09, -7.680365232687336e-10, -4.2235193120632175e-10, -7.666728363275865e-11, 2.6901736394080444e-10, 6.147020670255188e-10, 9.603866590879306e-10, 1.3060712511503425e-09, 1.6517560652573593e-09, 1.997440657319771e-09, 2.343125249382183e-09, 2.688809841444595e-09, 3.0344944335070068e-09, 3.3801792476140236e-09, 3.72586406172104e-09, 4.071548431738847e-09, 4.417233245845864e-09, 4.762918059952881e-09, 5.1086033181491075e-09, 5.454288132256124e-09, 5.799972502273931e-09, 6.145657316380948e-09, 6.491341686398755e-09, 6.837026500505772e-09, 7.1827113146127886e-09, 7.528395684630595e-09, 7.874080054648402e-09, 8.21976442466621e-09, 8.565449682862436e-09, 8.911134052880243e-09, 9.25681842289805e-09, 9.602503681094277e-09, 9.948188051112083e-09, 1.029387242112989e-08, 1.0639557679326117e-08, 1.0985242049343924e-08, 1.133092730754015e-08, 1.1676611677557958e-08, 1.2022296047575765e-08, 1.2367980417593571e-08, 1.2713665675789798e-08, 1.3059350045807605e-08, 1.3405035304003832e-08, 1.3750719674021639e-08, 1.4096404932217865e-08, 1.4442089302235672e-08, 1.4787773672253479e-08, 1.5133458930449706e-08, 1.5479143300467513e-08, 1.582482767048532e-08, 1.6170512040503127e-08]}, "gradients/decoder.model.decoder.layers.0.encoder_attn.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.encoder_attn.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.encoder_attn.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.encoder_attn.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.encoder_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.encoder_attn.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.encoder_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.encoder_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.self_attn_layer_norm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 9.0, 29.0, 167.0, 655.0, 130.0, 17.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.057758585749525e-08, -1.998018639426391e-08, -1.938278870738941e-08, -1.8785389244158068e-08, -1.8187991557283567e-08, -1.7590592094052226e-08, -1.6993194407177725e-08, -1.6395794943946385e-08, -1.5798395480715044e-08, -1.5200996017483703e-08, -1.4603598330609202e-08, -1.4006199755556281e-08, -1.340880118050336e-08, -1.281140171727202e-08, -1.2214003142219099e-08, -1.1616604567166178e-08, -1.1019206880291676e-08, -1.0421808305238756e-08, -9.824409730185835e-09, -9.227011155132914e-09, -8.629612580079993e-09, -8.032213116848652e-09, -7.434814541795731e-09, -6.83741596674281e-09, -6.240017391689889e-09, -5.642618816636968e-09, -5.0452202415840475e-09, -4.447821222441917e-09, -3.850422647388996e-09, -3.253024072336075e-09, -2.655625275238549e-09, -2.058226478141023e-09, -1.4608279030881022e-09, -8.634292170128788e-10, -2.660305309376554e-10, 3.31368155137568e-10, 9.287668412127914e-10, 1.5261654162657123e-09, 2.123564213363238e-09, 2.720963010460764e-09, 3.318361585513685e-09, 3.915760160566606e-09, 4.513158735619527e-09, 5.110557754761658e-09, 5.7079563298145786e-09, 6.3053549048674995e-09, 6.90275392400963e-09, 7.500152499062551e-09, 8.097551074115472e-09, 8.694949649168393e-09, 9.292348224221314e-09, 9.889746799274235e-09, 1.0487145374327156e-08, 1.1084544837558497e-08, 1.1681943412611417e-08, 1.2279341987664338e-08, 1.287674056271726e-08, 1.347413913777018e-08, 1.4071537712823101e-08, 1.4668936287876022e-08, 1.5266335751107363e-08, 1.5863733437981864e-08, 1.6461132901213205e-08, 1.7058532364444545e-08, 1.7655930051319046e-08]}, "gradients/decoder.model.decoder.layers.0.self_attn_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 4.0, 7.0, 26.0, 73.0, 152.0, 264.0, 234.0, 133.0, 81.0, 26.0, 9.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.75888831172233e-09, -3.4483571553778347e-09, -3.137825999033339e-09, -2.8272948426888433e-09, -2.5167636863443477e-09, -2.206232529999852e-09, -1.8957015956999612e-09, -1.5851704393554655e-09, -1.2746392830109698e-09, -9.641081266664742e-10, -6.535770258331297e-10, -3.4304592499978526e-10, -3.251476865528957e-11, 2.780163876892061e-10, 5.885474330113993e-10, 8.99078589355895e-10, 1.2096097457003907e-09, 1.5201409020448864e-09, 1.830672058389382e-09, 2.1412032147338778e-09, 2.4517343710783734e-09, 2.762265527422869e-09, 3.07279646172276e-09, 3.3833276180672556e-09, 3.6938587744117513e-09, 4.004389708711642e-09, 4.314920865056138e-09, 4.625452021400633e-09, 4.935983177745129e-09, 5.246514334089625e-09, 5.5570454904341204e-09, 5.867576646778616e-09, 6.178107803123112e-09, 6.4886389594676075e-09, 6.799170115812103e-09, 7.109701272156599e-09, 7.4202324285010945e-09, 7.73076358484559e-09, 8.041294741190086e-09, 8.351825897534582e-09, 8.662357053879077e-09, 8.972888210223573e-09, 9.283419366568069e-09, 9.593950522912564e-09, 9.90448167925706e-09, 1.0215012835601556e-08, 1.0525543991946051e-08, 1.0836075148290547e-08, 1.1146605416456623e-08, 1.1457136572801119e-08, 1.1767667729145614e-08, 1.207819888549011e-08, 1.2388730041834606e-08, 1.2699261198179101e-08, 1.3009792354523597e-08, 1.3320323510868093e-08, 1.3630854667212589e-08, 1.3941385823557084e-08, 1.425191697990158e-08, 1.4562448136246076e-08, 1.4872979292590571e-08, 1.5183509560756647e-08, 1.5494041605279563e-08, 1.580457187344564e-08, 1.6115103917968554e-08]}, "gradients/decoder.model.decoder.layers.0.self_attn.out_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.self_attn.out_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.self_attn.v_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.self_attn.v_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.self_attn.k_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.self_attn.k_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.self_attn.q_proj.weight": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1048576.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layers.0.self_attn.q_proj.bias": {"_type": "histogram", "values": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1024.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0], "bins": [0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]}, "gradients/decoder.model.decoder.layernorm_embedding.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 17.0, 974.0, 23.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.678180307697403e-08, -8.338827939269322e-08, -7.999475570841241e-08, -7.660122491870425e-08, -7.320770123442344e-08, -6.981417755014263e-08, -6.642065386586182e-08, -6.302713018158101e-08, -5.963360649730021e-08, -5.62400828130194e-08, -5.284655557602491e-08, -4.9453031891744104e-08, -4.605950465474962e-08, -4.266598097046881e-08, -3.9272457286188e-08, -3.587893360190719e-08, -3.248540281219903e-08, -2.909187735156138e-08, -2.5698351890923732e-08, -2.2304828206642924e-08, -1.8911302746005276e-08, -1.551777728536763e-08, -1.212425360108682e-08, -8.730728140449173e-09, -5.337202679811526e-09, -1.943677663263088e-09, 1.4498473532853495e-09, 4.843371925744577e-09, 8.236897386382225e-09, 1.1630422847019872e-08, 1.502394653130068e-08, 1.8417471991938328e-08, 2.1810990347148618e-08, 2.5204515807786265e-08, 2.8598041268423913e-08, 3.199156495270472e-08, 3.538509218969921e-08, 3.8778615873980016e-08, 4.2172139558260824e-08, 4.556566324254163e-08, 4.895919047953612e-08, 5.235271416381693e-08, 5.5746241400811414e-08, 5.913976508509222e-08, 6.253328876937303e-08, 6.592681245365384e-08, 6.932033613793465e-08, 7.271386692764281e-08, 7.610739061192362e-08, 7.950091429620443e-08, 8.289443798048524e-08, 8.62879687701934e-08, 8.968149245447421e-08, 9.307501613875502e-08, 9.646853982303583e-08, 9.986206350731663e-08, 1.0325558719159744e-07, 1.0664911087587825e-07, 1.1004263456015906e-07, 1.1343615824443987e-07, 1.1682968903414803e-07, 1.2022320561300148e-07, 1.236167292972823e-07, 1.2701026719241781e-07, 1.3040379087669862e-07]}, "gradients/decoder.model.decoder.layernorm_embedding.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 8.0, 24.0, 71.0, 128.0, 263.0, 262.0, 126.0, 89.0, 28.0, 12.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-8.39252756179576e-09, -7.756319142515622e-09, -7.120110723235484e-09, -6.483902303955347e-09, -5.847693884675209e-09, -5.2114854653950715e-09, -4.575277046114934e-09, -3.939068626834796e-09, -3.3028602075546587e-09, -2.666651788274521e-09, -2.0304433689943835e-09, -1.3942349497142459e-09, -7.580265304341083e-10, -1.2181811115397068e-10, 5.143903081261669e-10, 1.1505987274063045e-09, 1.7868071466864421e-09, 2.4230155659665797e-09, 3.0592239852467173e-09, 3.695432404526855e-09, 4.3316408238069926e-09, 4.96784924308713e-09, 5.604057662367268e-09, 6.240266081647405e-09, 6.876474500927543e-09, 7.51268292020768e-09, 8.148891339487818e-09, 8.785099758767956e-09, 9.421308178048093e-09, 1.0057516597328231e-08, 1.0693725016608369e-08, 1.1329933435888506e-08, 1.1966143631525483e-08, 1.260235205080562e-08, 1.3238560470085758e-08, 1.3874768889365896e-08, 1.4510977308646034e-08, 1.514718661610459e-08, 1.578339414720631e-08, 1.6419601678308027e-08, 1.7055810985766584e-08, 1.769202029322514e-08, 1.832822782432686e-08, 1.8964435355428577e-08, 1.9600644662887134e-08, 2.0236853970345692e-08, 2.087306150144741e-08, 2.1509269032549128e-08, 2.2145478340007685e-08, 2.2781687647466242e-08, 2.341789517856796e-08, 2.4054102709669678e-08, 2.4690312017128235e-08, 2.5326521324586793e-08, 2.596272885568851e-08, 2.659893638679023e-08, 2.7235145694248786e-08, 2.7871355001707343e-08, 2.850756253280906e-08, 2.914377006391078e-08, 2.9779979371369336e-08, 3.0416188678827893e-08, 3.105239443357277e-08, 3.168860374103133e-08, 3.2324813048489887e-08]}, "gradients/decoder.model.decoder.embed_positions.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 5.0, 4.0, 6.0, 13.0, 14.0, 62.0, 150.0, 421.0, 1049189.0, 460.0, 179.0, 59.0, 20.0, 6.0, 8.0, 5.0, 4.0, 2.0, 2.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9470181911174222e-08, -1.8476162821912112e-08, -1.7482141956293162e-08, -1.6488122867031052e-08, -1.5494102001412102e-08, -1.4500082912149992e-08, -1.3506063822887882e-08, -1.2512043845447351e-08, -1.1518023868006821e-08, -1.0524003890566291e-08, -9.529983913125761e-09, -8.535964823863651e-09, -7.541944846423121e-09, -6.547924868982591e-09, -5.553905335631271e-09, -4.5598858022799504e-09, -3.5658658248394204e-09, -2.5718460694434953e-09, -1.5778263140475701e-09, -5.83806558651645e-10, 4.1021319674428014e-10, 1.4042331741848102e-09, 2.3982527075361304e-09, 3.3922722408874506e-09, 4.386292218327981e-09, 5.380312195768511e-09, 6.374331729119831e-09, 7.368351262471151e-09, 8.362371239911681e-09, 9.356391217352211e-09, 1.0350410306614322e-08, 1.1344430284054852e-08, 1.233845381420906e-08, 1.333247379164959e-08, 1.432649376909012e-08, 1.532051285835223e-08, 1.631453372397118e-08, 1.730855281323329e-08, 1.83025719024954e-08, 1.929659276811435e-08, 2.029061185737646e-08, 2.1284630946638572e-08, 2.2278651812257522e-08, 2.3272670901519632e-08, 2.4266689990781742e-08, 2.5260710856400692e-08, 2.6254729945662802e-08, 2.7248749034924913e-08, 2.8242769900543863e-08, 2.9236788989805973e-08, 3.0230808079068083e-08, 3.122482894468703e-08, 3.221884981030598e-08, 3.321287067592493e-08, 3.4206887988830204e-08, 3.520090885444915e-08, 3.6194926167354424e-08, 3.7188947032973374e-08, 3.8182964345878645e-08, 3.9176985211497595e-08, 4.0171006077116544e-08, 4.1165023390021815e-08, 4.2159044255640765e-08, 4.3153065121259715e-08, 4.4147085986878665e-08]}, "gradients/decoder.model.decoder.embed_tokens.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 7.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 4.0, 2.0, 1.0, 0.0, 8.0, 12.0, 81.0, 940.0, 51469068.0, 1069.0, 101.0, 38.0, 13.0, 5.0, 3.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-101.5625, -99.62353515625, -97.6845703125, -95.74560546875, -93.806640625, -91.86767578125, -89.9287109375, -87.98974609375, -86.05078125, -84.11181640625, -82.1728515625, -80.23388671875, -78.294921875, -76.35595703125, -74.4169921875, -72.47802734375, -70.5390625, -68.60009765625, -66.6611328125, -64.72216796875, -62.783203125, -60.84423828125, -58.9052734375, -56.96630859375, -55.02734375, -53.08837890625, -51.1494140625, -49.21044921875, -47.271484375, -45.33251953125, -43.3935546875, -41.45458984375, -39.515625, -37.57666015625, -35.6376953125, -33.69873046875, -31.759765625, -29.82080078125, -27.8818359375, -25.94287109375, -24.00390625, -22.06494140625, -20.1259765625, -18.18701171875, -16.248046875, -14.30908203125, -12.3701171875, -10.43115234375, -8.4921875, -6.55322265625, -4.6142578125, -2.67529296875, -0.736328125, 1.20263671875, 3.1416015625, 5.08056640625, 7.01953125, 8.95849609375, 10.8974609375, 12.83642578125, 14.775390625, 16.71435546875, 18.6533203125, 20.59228515625, 22.53125]}, "gradients/encoder.adapter.layers.2.conv.weight": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 3.0, 12.0, 13.0, 24.0, 40.0, 54.0, 96.0, 149.0, 221.0, 332.0, 431.0, 669.0, 948.0, 1288.0, 1872.0, 2598.0, 3780.0, 5406.0, 7787.0, 11273.0, 16439.0, 24458.0, 36806.0, 56648.0, 88580.0, 144679.0, 249809.0, 511205.0, 4172610.0, 395480.0, 208944.0, 123212.0, 76851.0, 48820.0, 32006.0, 21223.0, 14321.0, 10026.0, 6771.0, 4827.0, 3332.0, 2232.0, 1611.0, 1145.0, 776.0, 550.0, 370.0, 245.0, 177.0, 106.0, 83.0, 40.0, 29.0, 17.0, 9.0, 10.0, 4.0, 2.0, 0.0, 0.0, 2.0], "bins": [-0.00975799560546875, -0.00944674015045166, -0.00913548469543457, -0.00882422924041748, -0.00851297378540039, -0.0082017183303833, -0.007890462875366211, -0.007579207420349121, -0.007267951965332031, -0.006956696510314941, -0.0066454410552978516, -0.006334185600280762, -0.006022930145263672, -0.005711674690246582, -0.005400419235229492, -0.005089163780212402, -0.0047779083251953125, -0.004466652870178223, -0.004155397415161133, -0.003844141960144043, -0.003532886505126953, -0.0032216310501098633, -0.0029103755950927734, -0.0025991201400756836, -0.0022878646850585938, -0.001976609230041504, -0.001665353775024414, -0.0013540983200073242, -0.0010428428649902344, -0.0007315874099731445, -0.0004203319549560547, -0.00010907649993896484, 0.000202178955078125, 0.0005134344100952148, 0.0008246898651123047, 0.0011359453201293945, 0.0014472007751464844, 0.0017584562301635742, 0.002069711685180664, 0.002380967140197754, 0.0026922225952148438, 0.0030034780502319336, 0.0033147335052490234, 0.0036259889602661133, 0.003937244415283203, 0.004248499870300293, 0.004559755325317383, 0.004871010780334473, 0.0051822662353515625, 0.005493521690368652, 0.005804777145385742, 0.006116032600402832, 0.006427288055419922, 0.006738543510437012, 0.0070497989654541016, 0.007361054420471191, 0.007672309875488281, 0.007983565330505371, 0.008294820785522461, 0.00860607624053955, 0.00891733169555664, 0.00922858715057373, 0.00953984260559082, 0.00985109806060791, 0.010162353515625]}, "gradients/encoder.adapter.layers.2.conv.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 4.0, 5.0, 5.0, 8.0, 3.0, 8.0, 11.0, 4.0, 9.0, 13.0, 12.0, 25.0, 9.0, 16.0, 33.0, 27.0, 26.0, 38.0, 21.0, 46.0, 33.0, 38.0, 45.0, 31.0, 46.0, 1076.0, 50.0, 41.0, 40.0, 30.0, 21.0, 31.0, 33.0, 26.0, 21.0, 19.0, 19.0, 16.0, 15.0, 15.0, 18.0, 8.0, 9.0, 6.0, 6.0, 6.0, 5.0, 1.0, 4.0, 2.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.93359375, -2.839599609375, -2.74560546875, -2.651611328125, -2.5576171875, -2.463623046875, -2.36962890625, -2.275634765625, -2.181640625, -2.087646484375, -1.99365234375, -1.899658203125, -1.8056640625, -1.711669921875, -1.61767578125, -1.523681640625, -1.4296875, -1.335693359375, -1.24169921875, -1.147705078125, -1.0537109375, -0.959716796875, -0.86572265625, -0.771728515625, -0.677734375, -0.583740234375, -0.48974609375, -0.395751953125, -0.3017578125, -0.207763671875, -0.11376953125, -0.019775390625, 0.07421875, 0.168212890625, 0.26220703125, 0.356201171875, 0.4501953125, 0.544189453125, 0.63818359375, 0.732177734375, 0.826171875, 0.920166015625, 1.01416015625, 1.108154296875, 1.2021484375, 1.296142578125, 1.39013671875, 1.484130859375, 1.578125, 1.672119140625, 1.76611328125, 1.860107421875, 1.9541015625, 2.048095703125, 2.14208984375, 2.236083984375, 2.330078125, 2.424072265625, 2.51806640625, 2.612060546875, 2.7060546875, 2.800048828125, 2.89404296875, 2.988037109375, 3.08203125]}, "gradients/encoder.adapter.layers.1.conv.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 3.0, 6.0, 0.0, 4.0, 9.0, 10.0, 10.0, 15.0, 19.0, 34.0, 29.0, 52.0, 62.0, 95.0, 128.0, 169.0, 257.0, 406.0, 581.0, 920.0, 1447.0, 2527.0, 4680.0, 9416.0, 19866.0, 46669.0, 121330.0, 370355.0, 4566575.0, 784065.0, 221309.0, 78644.0, 32059.0, 14112.0, 6816.0, 3524.0, 2001.0, 1109.0, 718.0, 453.0, 305.0, 198.0, 153.0, 91.0, 63.0, 42.0, 38.0, 15.0, 18.0, 12.0, 8.0, 8.0, 4.0, 3.0, 2.0, 3.0, 3.0], "bins": [-0.002094268798828125, -0.0020357370376586914, -0.001977205276489258, -0.0019186735153198242, -0.0018601417541503906, -0.001801609992980957, -0.0017430782318115234, -0.0016845464706420898, -0.0016260147094726562, -0.0015674829483032227, -0.001508951187133789, -0.0014504194259643555, -0.0013918876647949219, -0.0013333559036254883, -0.0012748241424560547, -0.001216292381286621, -0.0011577606201171875, -0.001099228858947754, -0.0010406970977783203, -0.0009821653366088867, -0.0009236335754394531, -0.0008651018142700195, -0.0008065700531005859, -0.0007480382919311523, -0.0006895065307617188, -0.0006309747695922852, -0.0005724430084228516, -0.000513911247253418, -0.0004553794860839844, -0.0003968477249145508, -0.0003383159637451172, -0.0002797842025756836, -0.00022125244140625, -0.0001627206802368164, -0.00010418891906738281, -4.565715789794922e-05, 1.2874603271484375e-05, 7.140636444091797e-05, 0.00012993812561035156, 0.00018846988677978516, 0.00024700164794921875, 0.00030553340911865234, 0.00036406517028808594, 0.00042259693145751953, 0.0004811286926269531, 0.0005396604537963867, 0.0005981922149658203, 0.0006567239761352539, 0.0007152557373046875, 0.0007737874984741211, 0.0008323192596435547, 0.0008908510208129883, 0.0009493827819824219, 0.0010079145431518555, 0.001066446304321289, 0.0011249780654907227, 0.0011835098266601562, 0.0012420415878295898, 0.0013005733489990234, 0.001359105110168457, 0.0014176368713378906, 0.0014761686325073242, 0.0015347003936767578, 0.0015932321548461914, 0.001651763916015625]}, "gradients/encoder.adapter.layers.1.conv.bias": {"_type": "histogram", "values": [3.0, 0.0, 4.0, 0.0, 4.0, 1.0, 2.0, 3.0, 6.0, 13.0, 9.0, 12.0, 5.0, 11.0, 16.0, 13.0, 13.0, 19.0, 13.0, 32.0, 31.0, 33.0, 26.0, 32.0, 31.0, 35.0, 34.0, 39.0, 35.0, 1059.0, 34.0, 43.0, 38.0, 29.0, 38.0, 39.0, 36.0, 31.0, 23.0, 22.0, 27.0, 21.0, 23.0, 11.0, 15.0, 14.0, 11.0, 3.0, 8.0, 10.0, 7.0, 3.0, 8.0, 5.0, 2.0, 0.0, 2.0, 2.0, 1.0, 1.0, 5.0, 0.0, 1.0, 1.0], "bins": [-1.740234375, -1.681365966796875, -1.62249755859375, -1.563629150390625, -1.5047607421875, -1.445892333984375, -1.38702392578125, -1.328155517578125, -1.269287109375, -1.210418701171875, -1.15155029296875, -1.092681884765625, -1.0338134765625, -0.974945068359375, -0.91607666015625, -0.857208251953125, -0.79833984375, -0.739471435546875, -0.68060302734375, -0.621734619140625, -0.5628662109375, -0.503997802734375, -0.44512939453125, -0.386260986328125, -0.327392578125, -0.268524169921875, -0.20965576171875, -0.150787353515625, -0.0919189453125, -0.033050537109375, 0.02581787109375, 0.084686279296875, 0.1435546875, 0.202423095703125, 0.26129150390625, 0.320159912109375, 0.3790283203125, 0.437896728515625, 0.49676513671875, 0.555633544921875, 0.614501953125, 0.673370361328125, 0.73223876953125, 0.791107177734375, 0.8499755859375, 0.908843994140625, 0.96771240234375, 1.026580810546875, 1.08544921875, 1.144317626953125, 1.20318603515625, 1.262054443359375, 1.3209228515625, 1.379791259765625, 1.43865966796875, 1.497528076171875, 1.556396484375, 1.615264892578125, 1.67413330078125, 1.733001708984375, 1.7918701171875, 1.850738525390625, 1.90960693359375, 1.968475341796875, 2.02734375]}, "gradients/encoder.adapter.layers.0.conv.weight": {"_type": "histogram", "values": [1.0, 3.0, 4.0, 2.0, 1.0, 5.0, 4.0, 11.0, 6.0, 14.0, 14.0, 15.0, 25.0, 39.0, 50.0, 61.0, 89.0, 139.0, 172.0, 245.0, 358.0, 540.0, 869.0, 1325.0, 2343.0, 4114.0, 7561.0, 15537.0, 35843.0, 99681.0, 498739.0, 5187698.0, 302561.0, 75896.0, 28669.0, 13062.0, 6564.0, 3554.0, 2052.0, 1193.0, 749.0, 504.0, 347.0, 225.0, 137.0, 116.0, 78.0, 58.0, 42.0, 24.0, 35.0, 27.0, 11.0, 10.0, 7.0, 8.0, 6.0, 6.0, 3.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.0033740997314453125, -0.003266572952270508, -0.003159046173095703, -0.0030515193939208984, -0.0029439926147460938, -0.002836465835571289, -0.0027289390563964844, -0.0026214122772216797, -0.002513885498046875, -0.0024063587188720703, -0.0022988319396972656, -0.002191305160522461, -0.0020837783813476562, -0.0019762516021728516, -0.0018687248229980469, -0.0017611980438232422, -0.0016536712646484375, -0.0015461444854736328, -0.0014386177062988281, -0.0013310909271240234, -0.0012235641479492188, -0.001116037368774414, -0.0010085105895996094, -0.0009009838104248047, -0.00079345703125, -0.0006859302520751953, -0.0005784034729003906, -0.00047087669372558594, -0.00036334991455078125, -0.00025582313537597656, -0.00014829635620117188, -4.076957702636719e-05, 6.67572021484375e-05, 0.0001742839813232422, 0.0002818107604980469, 0.00038933753967285156, 0.0004968643188476562, 0.0006043910980224609, 0.0007119178771972656, 0.0008194446563720703, 0.000926971435546875, 0.0010344982147216797, 0.0011420249938964844, 0.001249551773071289, 0.0013570785522460938, 0.0014646053314208984, 0.0015721321105957031, 0.0016796588897705078, 0.0017871856689453125, 0.0018947124481201172, 0.002002239227294922, 0.0021097660064697266, 0.0022172927856445312, 0.002324819564819336, 0.0024323463439941406, 0.0025398731231689453, 0.00264739990234375, 0.0027549266815185547, 0.0028624534606933594, 0.002969980239868164, 0.0030775070190429688, 0.0031850337982177734, 0.003292560577392578, 0.003400087356567383, 0.0035076141357421875]}, "gradients/encoder.adapter.layers.0.conv.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 0.0, 1.0, 3.0, 3.0, 2.0, 6.0, 5.0, 5.0, 10.0, 15.0, 18.0, 30.0, 20.0, 30.0, 36.0, 56.0, 86.0, 134.0, 248.0, 639.0, 276.0, 104.0, 75.0, 56.0, 38.0, 37.0, 27.0, 13.0, 14.0, 13.0, 6.0, 11.0, 5.0, 1.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.004688262939453125, -0.004547834396362305, -0.004407405853271484, -0.004266977310180664, -0.004126548767089844, -0.0039861202239990234, -0.003845691680908203, -0.003705263137817383, -0.0035648345947265625, -0.003424406051635742, -0.003283977508544922, -0.0031435489654541016, -0.0030031204223632812, -0.002862691879272461, -0.0027222633361816406, -0.0025818347930908203, -0.00244140625, -0.0023009777069091797, -0.0021605491638183594, -0.002020120620727539, -0.0018796920776367188, -0.0017392635345458984, -0.0015988349914550781, -0.0014584064483642578, -0.0013179779052734375, -0.0011775493621826172, -0.0010371208190917969, -0.0008966922760009766, -0.0007562637329101562, -0.0006158351898193359, -0.0004754066467285156, -0.0003349781036376953, -0.000194549560546875, -5.412101745605469e-05, 8.630752563476562e-05, 0.00022673606872558594, 0.00036716461181640625, 0.0005075931549072266, 0.0006480216979980469, 0.0007884502410888672, 0.0009288787841796875, 0.0010693073272705078, 0.0012097358703613281, 0.0013501644134521484, 0.0014905929565429688, 0.001631021499633789, 0.0017714500427246094, 0.0019118785858154297, 0.00205230712890625, 0.0021927356719970703, 0.0023331642150878906, 0.002473592758178711, 0.0026140213012695312, 0.0027544498443603516, 0.002894878387451172, 0.003035306930541992, 0.0031757354736328125, 0.003316164016723633, 0.003456592559814453, 0.0035970211029052734, 0.0037374496459960938, 0.003877878189086914, 0.004018306732177734, 0.004158735275268555, 0.004299163818359375]}, "gradients/encoder.encoder.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 5.0, 8.0, 3.0, 7.0, 5.0, 7.0, 11.0, 12.0, 18.0, 12.0, 32.0, 31.0, 32.0, 47.0, 80.0, 91.0, 159.0, 146.0, 98.0, 51.0, 33.0, 36.0, 25.0, 13.0, 7.0, 6.0, 7.0, 10.0, 6.0, 6.0, 1.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.010306143201887608, -0.01003542821854353, -0.009764712303876877, -0.009493997320532799, -0.009223281405866146, -0.008952566422522068, -0.008681850507855415, -0.008411135524511337, -0.00814042054116726, -0.007869705557823181, -0.0075989896431565285, -0.00732827465981245, -0.007057559210807085, -0.00678684376180172, -0.006516128312796354, -0.006245412863790989, -0.0059746974147856236, -0.005703981965780258, -0.005433266516774893, -0.0051625510677695274, -0.004891836084425449, -0.004621120635420084, -0.004350405186414719, -0.004079689737409353, -0.0038089745212346315, -0.003538259072229266, -0.0032675438560545444, -0.002996828407049179, -0.0027261129580438137, -0.002455397741869092, -0.0021846822928637266, -0.001913966960273683, -0.0016432520933449268, -0.0013725367607548833, -0.0011018214281648397, -0.0008311059791594744, -0.0005603906465694308, -0.0002896753139793873, -1.895986497402191e-05, 0.00025175546761602163, 0.0005224708002060652, 0.0007931861327961087, 0.0010639014653861523, 0.0013346169143915176, 0.0016053322469815612, 0.0018760475795716047, 0.00214676302857697, 0.002417478244751692, 0.002688193693757057, 0.0029589091427624226, 0.0032296243589371443, 0.0035003398079425097, 0.0037710550241172314, 0.004041770473122597, 0.004312485922127962, 0.0045832013711333275, 0.0048539163544774055, 0.005124631803482771, 0.005395347252488136, 0.005666062235832214, 0.00593677768483758, 0.006207493133842945, 0.0064782085828483105, 0.006748924031853676, 0.007019639480859041]}, "gradients/encoder.encoder.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 3.0, 0.0, 0.0, 2.0, 2.0, 2.0, 3.0, 1.0, 1.0, 4.0, 6.0, 8.0, 11.0, 7.0, 6.0, 13.0, 19.0, 19.0, 18.0, 30.0, 33.0, 27.0, 36.0, 38.0, 32.0, 43.0, 42.0, 44.0, 39.0, 38.0, 42.0, 37.0, 49.0, 34.0, 29.0, 38.0, 39.0, 31.0, 25.0, 21.0, 17.0, 24.0, 17.0, 14.0, 17.0, 12.0, 7.0, 8.0, 9.0, 4.0, 4.0, 4.0, 4.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.005668580532073975, -0.005494388751685619, -0.005320196971297264, -0.005146005190908909, -0.004971813410520554, -0.004797621630132198, -0.004623429849743843, -0.004449238069355488, -0.004275046288967133, -0.004100854508578777, -0.003926662728190422, -0.003752470947802067, -0.0035782791674137115, -0.0034040873870253563, -0.003229895606637001, -0.0030557038262486458, -0.0028815120458602905, -0.0027073202654719353, -0.00253312848508358, -0.0023589367046952248, -0.0021847449243068695, -0.0020105531439185143, -0.001836361363530159, -0.0016621695831418037, -0.0014879778027534485, -0.0013137860223650932, -0.001139594241976738, -0.0009654024615883827, -0.0007912106812000275, -0.0006170189008116722, -0.00044282712042331696, -0.0002686353400349617, -9.444355964660645e-05, 7.974822074174881e-05, 0.00025394000113010406, 0.0004281317815184593, 0.0006023235619068146, 0.0007765153422951698, 0.0009507071226835251, 0.0011248989030718803, 0.0012990906834602356, 0.0014732824638485909, 0.001647474244236946, 0.0018216660246253014, 0.0019958578050136566, 0.002170049585402012, 0.002344241365790367, 0.0025184331461787224, 0.0026926249265670776, 0.002866816706955433, 0.003041008487343788, 0.0032152002677321434, 0.0033893920481204987, 0.003563583828508854, 0.003737775608897209, 0.003911967389285564, 0.00408615916967392, 0.004260350950062275, 0.00443454273045063, 0.0046087345108389854, 0.004782926291227341, 0.004957118071615696, 0.005131309852004051, 0.0053055016323924065, 0.005479693412780762]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 3.0, 0.0, 1.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0, 8.0, 10.0, 10.0, 28.0, 60.0, 87.0, 182.0, 307.0, 477.0, 772.0, 1273.0, 1919.0, 3370.0, 7050.0, 18691.0, 53677.0, 167609.0, 3344517.0, 445275.0, 90162.0, 32745.0, 13531.0, 6641.0, 3016.0, 1468.0, 726.0, 302.0, 156.0, 90.0, 33.0, 23.0, 11.0, 12.0, 12.0, 8.0, 5.0, 4.0, 2.0, 3.0, 3.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-6.693601608276367e-05, -6.506498903036118e-05, -6.319396197795868e-05, -6.132293492555618e-05, -5.9451907873153687e-05, -5.758088082075119e-05, -5.5709853768348694e-05, -5.38388267159462e-05, -5.19677996635437e-05, -5.0096772611141205e-05, -4.822574555873871e-05, -4.635471850633621e-05, -4.4483691453933716e-05, -4.261266440153122e-05, -4.074163734912872e-05, -3.887061029672623e-05, -3.699958324432373e-05, -3.5128556191921234e-05, -3.325752913951874e-05, -3.138650208711624e-05, -2.9515475034713745e-05, -2.764444798231125e-05, -2.5773420929908752e-05, -2.3902393877506256e-05, -2.203136682510376e-05, -2.0160339772701263e-05, -1.8289312720298767e-05, -1.641828566789627e-05, -1.4547258615493774e-05, -1.2676231563091278e-05, -1.0805204510688782e-05, -8.934177458286285e-06, -7.063150405883789e-06, -5.192123353481293e-06, -3.3210963010787964e-06, -1.4500692486763e-06, 4.209578037261963e-07, 2.2919848561286926e-06, 4.163011908531189e-06, 6.034038960933685e-06, 7.905066013336182e-06, 9.776093065738678e-06, 1.1647120118141174e-05, 1.351814717054367e-05, 1.5389174222946167e-05, 1.7260201275348663e-05, 1.913122832775116e-05, 2.1002255380153656e-05, 2.2873282432556152e-05, 2.474430948495865e-05, 2.6615336537361145e-05, 2.848636358976364e-05, 3.0357390642166138e-05, 3.2228417694568634e-05, 3.409944474697113e-05, 3.597047179937363e-05, 3.784149885177612e-05, 3.971252590417862e-05, 4.1583552956581116e-05, 4.345458000898361e-05, 4.532560706138611e-05, 4.7196634113788605e-05, 4.90676611661911e-05, 5.09386882185936e-05, 5.2809715270996094e-05]}, "gradients/encoder.encoder.layers.23.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 6.0, 2.0, 13.0, 11.0, 11.0, 15.0, 12.0, 36.0, 26.0, 32.0, 33.0, 53.0, 64.0, 78.0, 141.0, 82.0, 69.0, 80.0, 41.0, 39.0, 34.0, 30.0, 22.0, 10.0, 11.0, 13.0, 7.0, 7.0, 6.0, 2.0, 8.0, 3.0, 3.0, 2.0, 1.0, 2.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-4.589557647705078e-06, -4.4619664549827576e-06, -4.334375262260437e-06, -4.2067840695381165e-06, -4.079192876815796e-06, -3.951601684093475e-06, -3.824010491371155e-06, -3.6964192986488342e-06, -3.5688281059265137e-06, -3.441236913204193e-06, -3.3136457204818726e-06, -3.186054527759552e-06, -3.0584633350372314e-06, -2.930872142314911e-06, -2.8032809495925903e-06, -2.6756897568702698e-06, -2.5480985641479492e-06, -2.4205073714256287e-06, -2.292916178703308e-06, -2.1653249859809875e-06, -2.037733793258667e-06, -1.9101426005363464e-06, -1.7825514078140259e-06, -1.6549602150917053e-06, -1.5273690223693848e-06, -1.3997778296470642e-06, -1.2721866369247437e-06, -1.144595444202423e-06, -1.0170042514801025e-06, -8.89413058757782e-07, -7.618218660354614e-07, -6.342306733131409e-07, -5.066394805908203e-07, -3.7904828786849976e-07, -2.514570951461792e-07, -1.2386590242385864e-07, 3.725290298461914e-09, 1.3131648302078247e-07, 2.5890767574310303e-07, 3.864988684654236e-07, 5.140900611877441e-07, 6.416812539100647e-07, 7.692724466323853e-07, 8.968636393547058e-07, 1.0244548320770264e-06, 1.152046024799347e-06, 1.2796372175216675e-06, 1.407228410243988e-06, 1.5348196029663086e-06, 1.6624107956886292e-06, 1.7900019884109497e-06, 1.9175931811332703e-06, 2.045184373855591e-06, 2.1727755665779114e-06, 2.300366759300232e-06, 2.4279579520225525e-06, 2.555549144744873e-06, 2.6831403374671936e-06, 2.810731530189514e-06, 2.9383227229118347e-06, 3.0659139156341553e-06, 3.193505108356476e-06, 3.3210963010787964e-06, 3.448687493801117e-06, 3.5762786865234375e-06]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 3.0, 0.0, 3.0, 0.0, 4.0, 5.0, 8.0, 3.0, 14.0, 13.0, 15.0, 16.0, 18.0, 30.0, 37.0, 49.0, 96.0, 132.0, 280.0, 426.0, 799.0, 1651.0, 2913.0, 6727.0, 13585.0, 37180.0, 96605.0, 374306.0, 3187072.0, 327690.0, 90092.0, 29012.0, 13412.0, 5639.0, 2999.0, 1496.0, 765.0, 463.0, 262.0, 158.0, 100.0, 66.0, 36.0, 39.0, 25.0, 12.0, 9.0, 9.0, 8.0, 3.0, 4.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.2113323211669922e-05, -2.143159508705139e-05, -2.074986696243286e-05, -2.006813883781433e-05, -1.93864107131958e-05, -1.870468258857727e-05, -1.802295446395874e-05, -1.734122633934021e-05, -1.665949821472168e-05, -1.597777009010315e-05, -1.529604196548462e-05, -1.4614313840866089e-05, -1.3932585716247559e-05, -1.3250857591629028e-05, -1.2569129467010498e-05, -1.1887401342391968e-05, -1.1205673217773438e-05, -1.0523945093154907e-05, -9.842216968536377e-06, -9.160488843917847e-06, -8.478760719299316e-06, -7.797032594680786e-06, -7.115304470062256e-06, -6.433576345443726e-06, -5.751848220825195e-06, -5.070120096206665e-06, -4.388391971588135e-06, -3.7066638469696045e-06, -3.0249357223510742e-06, -2.343207597732544e-06, -1.6614794731140137e-06, -9.797513484954834e-07, -2.980232238769531e-07, 3.8370490074157715e-07, 1.0654330253601074e-06, 1.7471611499786377e-06, 2.428889274597168e-06, 3.1106173992156982e-06, 3.7923455238342285e-06, 4.474073648452759e-06, 5.155801773071289e-06, 5.837529897689819e-06, 6.51925802230835e-06, 7.20098614692688e-06, 7.88271427154541e-06, 8.56444239616394e-06, 9.24617052078247e-06, 9.927898645401001e-06, 1.0609626770019531e-05, 1.1291354894638062e-05, 1.1973083019256592e-05, 1.2654811143875122e-05, 1.3336539268493652e-05, 1.4018267393112183e-05, 1.4699995517730713e-05, 1.5381723642349243e-05, 1.6063451766967773e-05, 1.6745179891586304e-05, 1.7426908016204834e-05, 1.8108636140823364e-05, 1.8790364265441895e-05, 1.9472092390060425e-05, 2.0153820514678955e-05, 2.0835548639297485e-05, 2.1517276763916016e-05]}, "gradients/encoder.encoder.layers.23.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 5.0, 0.0, 2.0, 7.0, 6.0, 6.0, 10.0, 7.0, 17.0, 22.0, 19.0, 21.0, 32.0, 65.0, 38.0, 58.0, 75.0, 95.0, 135.0, 116.0, 126.0, 176.0, 185.0, 350.0, 423.0, 742.0, 433.0, 156.0, 150.0, 72.0, 86.0, 72.0, 52.0, 52.0, 42.0, 28.0, 30.0, 20.0, 14.0, 27.0, 21.0, 29.0, 9.0, 7.0, 11.0, 5.0, 12.0, 7.0, 5.0, 2.0, 3.0, 0.0, 3.0, 1.0, 4.0, 0.0, 2.0], "bins": [-8.463859558105469e-06, -8.20215791463852e-06, -7.94045627117157e-06, -7.67875462770462e-06, -7.417052984237671e-06, -7.1553513407707214e-06, -6.893649697303772e-06, -6.6319480538368225e-06, -6.370246410369873e-06, -6.108544766902924e-06, -5.846843123435974e-06, -5.585141479969025e-06, -5.323439836502075e-06, -5.061738193035126e-06, -4.800036549568176e-06, -4.538334906101227e-06, -4.276633262634277e-06, -4.014931619167328e-06, -3.7532299757003784e-06, -3.491528332233429e-06, -3.2298266887664795e-06, -2.96812504529953e-06, -2.7064234018325806e-06, -2.444721758365631e-06, -2.1830201148986816e-06, -1.921318471431732e-06, -1.6596168279647827e-06, -1.3979151844978333e-06, -1.1362135410308838e-06, -8.745118975639343e-07, -6.128102540969849e-07, -3.511086106300354e-07, -8.940696716308594e-08, 1.7229467630386353e-07, 4.33996319770813e-07, 6.956979632377625e-07, 9.57399606704712e-07, 1.2191012501716614e-06, 1.4808028936386108e-06, 1.7425045371055603e-06, 2.0042061805725098e-06, 2.2659078240394592e-06, 2.5276094675064087e-06, 2.789311110973358e-06, 3.0510127544403076e-06, 3.312714397907257e-06, 3.5744160413742065e-06, 3.836117684841156e-06, 4.0978193283081055e-06, 4.359520971775055e-06, 4.621222615242004e-06, 4.882924258708954e-06, 5.144625902175903e-06, 5.406327545642853e-06, 5.668029189109802e-06, 5.929730832576752e-06, 6.191432476043701e-06, 6.453134119510651e-06, 6.7148357629776e-06, 6.9765374064445496e-06, 7.238239049911499e-06, 7.4999406933784485e-06, 7.761642336845398e-06, 8.023343980312347e-06, 8.285045623779297e-06]}, "gradients/encoder.encoder.layers.23.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 3.0, 6.0, 3.0, 7.0, 10.0, 21.0, 36.0, 32.0, 59.0, 107.0, 232.0, 323.0, 109.0, 32.0, 16.0, 4.0, 7.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0005411957972683012, -0.0005253359558992088, -0.0005094760563224554, -0.0004936162149533629, -0.00047775634448044, -0.0004618964740075171, -0.00044603663263842463, -0.0004301767621655017, -0.0004143168916925788, -0.00039845702121965587, -0.00038259715074673295, -0.0003667373093776405, -0.00035087743890471756, -0.00033501756843179464, -0.0003191577270627022, -0.00030329785658977926, -0.00028743798611685634, -0.0002715781156439334, -0.0002557182451710105, -0.00023985840380191803, -0.0002239985333289951, -0.0002081386628560722, -0.0001922788069350645, -0.0001764189510140568, -0.00016055908054113388, -0.00014469921006821096, -0.00012883935414720327, -0.00011297949095023796, -9.711962775327265e-05, -8.125976455630735e-05, -6.539990135934204e-05, -4.954003816237673e-05, -3.368023317307234e-05, -1.782036997610703e-05, -1.960506779141724e-06, 1.3899356417823583e-05, 2.975921961478889e-05, 4.56190828117542e-05, 6.14789460087195e-05, 7.733880920568481e-05, 9.319867240265012e-05, 0.00010905853559961542, 0.00012491839879658073, 0.00014077825471758842, 0.00015663812519051135, 0.00017249799566343427, 0.00018835785158444196, 0.00020421770750544965, 0.00022007757797837257, 0.0002359374484512955, 0.0002517973189242184, 0.0002676571602933109, 0.0002835170307662338, 0.0002993769012391567, 0.0003152367426082492, 0.0003310966130811721, 0.00034695648355409503, 0.00036281635402701795, 0.00037867622449994087, 0.00039453606586903334, 0.00041039593634195626, 0.0004262558068148792, 0.00044211564818397164, 0.00045797551865689456, 0.0004738353891298175]}, "gradients/encoder.encoder.layers.23.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 2.0, 2.0, 3.0, 6.0, 13.0, 6.0, 15.0, 12.0, 21.0, 32.0, 27.0, 31.0, 41.0, 43.0, 43.0, 59.0, 53.0, 43.0, 54.0, 65.0, 64.0, 38.0, 48.0, 36.0, 49.0, 42.0, 32.0, 37.0, 17.0, 18.0, 9.0, 13.0, 15.0, 5.0, 4.0, 2.0, 2.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001500844955444336, -0.00014451798051595688, -0.00013895146548748016, -0.00013338495045900345, -0.00012781843543052673, -0.00012225192040205002, -0.0001166854053735733, -0.00011111889034509659, -0.00010555237531661987, -9.998586028814316e-05, -9.441934525966644e-05, -8.885283023118973e-05, -8.328631520271301e-05, -7.77198001742363e-05, -7.215328514575958e-05, -6.658677011728287e-05, -6.102025508880615e-05, -5.545374006032944e-05, -4.988722503185272e-05, -4.432071000337601e-05, -3.875419497489929e-05, -3.318767994642258e-05, -2.7621164917945862e-05, -2.2054649889469147e-05, -1.648813486099243e-05, -1.0921619832515717e-05, -5.3551048040390015e-06, 2.1141022443771362e-07, 5.777925252914429e-06, 1.1344440281391144e-05, 1.691095530986786e-05, 2.2477470338344574e-05, 2.804398536682129e-05, 3.3610500395298004e-05, 3.917701542377472e-05, 4.4743530452251434e-05, 5.031004548072815e-05, 5.5876560509204865e-05, 6.144307553768158e-05, 6.70095905661583e-05, 7.257610559463501e-05, 7.814262062311172e-05, 8.370913565158844e-05, 8.927565068006516e-05, 9.484216570854187e-05, 0.00010040868073701859, 0.0001059751957654953, 0.00011154171079397202, 0.00011710822582244873, 0.00012267474085092545, 0.00012824125587940216, 0.00013380777090787888, 0.0001393742859363556, 0.0001449408009648323, 0.00015050731599330902, 0.00015607383102178574, 0.00016164034605026245, 0.00016720686107873917, 0.00017277337610721588, 0.0001783398911356926, 0.0001839064061641693, 0.00018947292119264603, 0.00019503943622112274, 0.00020060595124959946, 0.00020617246627807617]}, "gradients/encoder.encoder.layers.23.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 0.0, 4.0, 6.0, 9.0, 3.0, 12.0, 23.0, 23.0, 35.0, 45.0, 40.0, 83.0, 95.0, 118.0, 189.0, 282.0, 401.0, 660.0, 1171.0, 2199.0, 4280.0, 9747.0, 27752.0, 136895.0, 729926.0, 95164.0, 22440.0, 8266.0, 3671.0, 1958.0, 1106.0, 694.0, 435.0, 266.0, 159.0, 122.0, 78.0, 50.0, 35.0, 23.0, 27.0, 12.0, 10.0, 13.0, 10.0, 4.0, 7.0, 5.0, 3.0, 2.0, 2.0, 4.0, 0.0, 1.0, 1.0, 0.0, 3.0], "bins": [-0.00011408329010009766, -0.00011045113205909729, -0.00010681897401809692, -0.00010318681597709656, -9.955465793609619e-05, -9.592249989509583e-05, -9.229034185409546e-05, -8.865818381309509e-05, -8.502602577209473e-05, -8.139386773109436e-05, -7.7761709690094e-05, -7.412955164909363e-05, -7.049739360809326e-05, -6.68652355670929e-05, -6.323307752609253e-05, -5.960091948509216e-05, -5.59687614440918e-05, -5.233660340309143e-05, -4.8704445362091064e-05, -4.50722873210907e-05, -4.144012928009033e-05, -3.7807971239089966e-05, -3.41758131980896e-05, -3.0543655157089233e-05, -2.6911497116088867e-05, -2.32793390750885e-05, -1.9647181034088135e-05, -1.601502299308777e-05, -1.2382864952087402e-05, -8.750706911087036e-06, -5.11854887008667e-06, -1.4863908290863037e-06, 2.1457672119140625e-06, 5.777925252914429e-06, 9.410083293914795e-06, 1.3042241334915161e-05, 1.6674399375915527e-05, 2.0306557416915894e-05, 2.393871545791626e-05, 2.7570873498916626e-05, 3.120303153991699e-05, 3.483518958091736e-05, 3.8467347621917725e-05, 4.209950566291809e-05, 4.573166370391846e-05, 4.936382174491882e-05, 5.299597978591919e-05, 5.6628137826919556e-05, 6.026029586791992e-05, 6.389245390892029e-05, 6.752461194992065e-05, 7.115676999092102e-05, 7.478892803192139e-05, 7.842108607292175e-05, 8.205324411392212e-05, 8.568540215492249e-05, 8.931756019592285e-05, 9.294971823692322e-05, 9.658187627792358e-05, 0.00010021403431892395, 0.00010384619235992432, 0.00010747835040092468, 0.00011111050844192505, 0.00011474266648292542, 0.00011837482452392578]}, "gradients/encoder.encoder.layers.23.attention.out_proj.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 4.0, 1.0, 4.0, 5.0, 8.0, 12.0, 13.0, 14.0, 17.0, 22.0, 31.0, 29.0, 40.0, 57.0, 59.0, 120.0, 86.0, 81.0, 74.0, 60.0, 54.0, 45.0, 42.0, 29.0, 17.0, 13.0, 11.0, 7.0, 9.0, 8.0, 9.0, 3.0, 1.0, 3.0, 2.0, 4.0, 2.0, 3.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-4.112720489501953e-06, -3.991648554801941e-06, -3.870576620101929e-06, -3.7495046854019165e-06, -3.6284327507019043e-06, -3.507360816001892e-06, -3.38628888130188e-06, -3.2652169466018677e-06, -3.1441450119018555e-06, -3.0230730772018433e-06, -2.902001142501831e-06, -2.780929207801819e-06, -2.6598572731018066e-06, -2.5387853384017944e-06, -2.4177134037017822e-06, -2.29664146900177e-06, -2.175569534301758e-06, -2.0544975996017456e-06, -1.9334256649017334e-06, -1.8123537302017212e-06, -1.691281795501709e-06, -1.5702098608016968e-06, -1.4491379261016846e-06, -1.3280659914016724e-06, -1.2069940567016602e-06, -1.085922122001648e-06, -9.648501873016357e-07, -8.437782526016235e-07, -7.227063179016113e-07, -6.016343832015991e-07, -4.805624485015869e-07, -3.594905138015747e-07, -2.384185791015625e-07, -1.1734664440155029e-07, 3.725290298461914e-09, 1.2479722499847412e-07, 2.4586915969848633e-07, 3.6694109439849854e-07, 4.880130290985107e-07, 6.09084963798523e-07, 7.301568984985352e-07, 8.512288331985474e-07, 9.723007678985596e-07, 1.0933727025985718e-06, 1.214444637298584e-06, 1.3355165719985962e-06, 1.4565885066986084e-06, 1.5776604413986206e-06, 1.6987323760986328e-06, 1.819804310798645e-06, 1.9408762454986572e-06, 2.0619481801986694e-06, 2.1830201148986816e-06, 2.304092049598694e-06, 2.425163984298706e-06, 2.5462359189987183e-06, 2.6673078536987305e-06, 2.7883797883987427e-06, 2.909451723098755e-06, 3.030523657798767e-06, 3.1515955924987793e-06, 3.2726675271987915e-06, 3.3937394618988037e-06, 3.514811396598816e-06, 3.635883331298828e-06]}, "gradients/encoder.encoder.layers.23.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 5.0, 3.0, 8.0, 8.0, 7.0, 24.0, 33.0, 34.0, 71.0, 109.0, 138.0, 201.0, 330.0, 406.0, 622.0, 1015.0, 1417.0, 2088.0, 3812.0, 5243.0, 8293.0, 15630.0, 24242.0, 42949.0, 99478.0, 265077.0, 354135.0, 109080.0, 46131.0, 25995.0, 16835.0, 8957.0, 5484.0, 3940.0, 2221.0, 1502.0, 1062.0, 558.0, 420.0, 367.0, 185.0, 138.0, 100.0, 64.0, 44.0, 32.0, 24.0, 20.0, 11.0, 5.0, 2.0, 5.0, 3.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.4424324035644531e-05, -1.3927929103374481e-05, -1.3431534171104431e-05, -1.2935139238834381e-05, -1.2438744306564331e-05, -1.1942349374294281e-05, -1.1445954442024231e-05, -1.0949559509754181e-05, -1.0453164577484131e-05, -9.95676964521408e-06, -9.46037471294403e-06, -8.96397978067398e-06, -8.46758484840393e-06, -7.97118991613388e-06, -7.4747949838638306e-06, -6.9784000515937805e-06, -6.4820051193237305e-06, -5.98561018705368e-06, -5.48921525478363e-06, -4.99282032251358e-06, -4.49642539024353e-06, -4.00003045797348e-06, -3.50363552570343e-06, -3.00724059343338e-06, -2.51084566116333e-06, -2.01445072889328e-06, -1.51805579662323e-06, -1.02166086435318e-06, -5.252659320831299e-07, -2.8870999813079834e-08, 4.675239324569702e-07, 9.639188647270203e-07, 1.4603137969970703e-06, 1.9567087292671204e-06, 2.4531036615371704e-06, 2.9494985938072205e-06, 3.4458935260772705e-06, 3.9422884583473206e-06, 4.438683390617371e-06, 4.935078322887421e-06, 5.431473255157471e-06, 5.927868187427521e-06, 6.424263119697571e-06, 6.920658051967621e-06, 7.417052984237671e-06, 7.913447916507721e-06, 8.409842848777771e-06, 8.906237781047821e-06, 9.402632713317871e-06, 9.899027645587921e-06, 1.0395422577857971e-05, 1.0891817510128021e-05, 1.1388212442398071e-05, 1.1884607374668121e-05, 1.2381002306938171e-05, 1.2877397239208221e-05, 1.3373792171478271e-05, 1.3870187103748322e-05, 1.4366582036018372e-05, 1.4862976968288422e-05, 1.535937190055847e-05, 1.5855766832828522e-05, 1.6352161765098572e-05, 1.6848556697368622e-05, 1.7344951629638672e-05]}, "gradients/encoder.encoder.layers.23.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 3.0, 3.0, 3.0, 3.0, 6.0, 5.0, 12.0, 6.0, 12.0, 10.0, 9.0, 25.0, 26.0, 26.0, 28.0, 27.0, 26.0, 25.0, 36.0, 45.0, 35.0, 42.0, 44.0, 74.0, 50.0, 25.0, 49.0, 43.0, 25.0, 42.0, 36.0, 24.0, 24.0, 43.0, 25.0, 19.0, 18.0, 11.0, 8.0, 8.0, 11.0, 9.0, 3.0, 5.0, 5.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0], "bins": [-1.1324882507324219e-05, -1.1011958122253418e-05, -1.0699033737182617e-05, -1.0386109352111816e-05, -1.0073184967041016e-05, -9.760260581970215e-06, -9.447336196899414e-06, -9.134411811828613e-06, -8.821487426757812e-06, -8.508563041687012e-06, -8.195638656616211e-06, -7.88271427154541e-06, -7.569789886474609e-06, -7.256865501403809e-06, -6.943941116333008e-06, -6.631016731262207e-06, -6.318092346191406e-06, -6.0051679611206055e-06, -5.692243576049805e-06, -5.379319190979004e-06, -5.066394805908203e-06, -4.753470420837402e-06, -4.4405460357666016e-06, -4.127621650695801e-06, -3.814697265625e-06, -3.5017728805541992e-06, -3.1888484954833984e-06, -2.8759241104125977e-06, -2.562999725341797e-06, -2.250075340270996e-06, -1.9371509552001953e-06, -1.6242265701293945e-06, -1.3113021850585938e-06, -9.98377799987793e-07, -6.854534149169922e-07, -3.725290298461914e-07, -5.960464477539063e-08, 2.5331974029541016e-07, 5.662441253662109e-07, 8.791685104370117e-07, 1.1920928955078125e-06, 1.5050172805786133e-06, 1.817941665649414e-06, 2.130866050720215e-06, 2.4437904357910156e-06, 2.7567148208618164e-06, 3.069639205932617e-06, 3.382563591003418e-06, 3.6954879760742188e-06, 4.0084123611450195e-06, 4.32133674621582e-06, 4.634261131286621e-06, 4.947185516357422e-06, 5.260109901428223e-06, 5.5730342864990234e-06, 5.885958671569824e-06, 6.198883056640625e-06, 6.511807441711426e-06, 6.8247318267822266e-06, 7.137656211853027e-06, 7.450580596923828e-06, 7.763504981994629e-06, 8.07642936706543e-06, 8.38935375213623e-06, 8.702278137207031e-06]}, "gradients/encoder.encoder.layers.23.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 4.0, 0.0, 2.0, 1.0, 3.0, 0.0, 2.0, 5.0, 3.0, 2.0, 5.0, 7.0, 16.0, 15.0, 12.0, 22.0, 31.0, 25.0, 50.0, 76.0, 112.0, 196.0, 280.0, 418.0, 784.0, 1403.0, 2733.0, 6641.0, 47496.0, 970077.0, 10156.0, 3654.0, 1825.0, 942.0, 577.0, 324.0, 213.0, 140.0, 88.0, 58.0, 35.0, 31.0, 26.0, 19.0, 13.0, 9.0, 14.0, 6.0, 1.0, 2.0, 3.0, 3.0, 3.0, 2.0, 1.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0], "bins": [-0.0004177093505859375, -0.00040472671389579773, -0.00039174407720565796, -0.0003787614405155182, -0.0003657788038253784, -0.00035279616713523865, -0.0003398135304450989, -0.0003268308937549591, -0.00031384825706481934, -0.00030086562037467957, -0.0002878829836845398, -0.0002749003469944, -0.00026191771030426025, -0.0002489350736141205, -0.0002359524369239807, -0.00022296980023384094, -0.00020998716354370117, -0.0001970045268535614, -0.00018402189016342163, -0.00017103925347328186, -0.0001580566167831421, -0.00014507398009300232, -0.00013209134340286255, -0.00011910870671272278, -0.00010612607002258301, -9.314343333244324e-05, -8.016079664230347e-05, -6.71781599521637e-05, -5.4195523262023926e-05, -4.1212886571884155e-05, -2.8230249881744385e-05, -1.5247613191604614e-05, -2.2649765014648438e-06, 1.0717660188674927e-05, 2.3700296878814697e-05, 3.668293356895447e-05, 4.966557025909424e-05, 6.264820694923401e-05, 7.563084363937378e-05, 8.861348032951355e-05, 0.00010159611701965332, 0.00011457875370979309, 0.00012756139039993286, 0.00014054402709007263, 0.0001535266637802124, 0.00016650930047035217, 0.00017949193716049194, 0.00019247457385063171, 0.00020545721054077148, 0.00021843984723091125, 0.00023142248392105103, 0.0002444051206111908, 0.00025738775730133057, 0.00027037039399147034, 0.0002833530306816101, 0.0002963356673717499, 0.00030931830406188965, 0.0003223009407520294, 0.0003352835774421692, 0.00034826621413230896, 0.00036124885082244873, 0.0003742314875125885, 0.00038721412420272827, 0.00040019676089286804, 0.0004131793975830078]}, "gradients/encoder.encoder.layers.23.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 4.0, 4.0, 2.0, 5.0, 7.0, 2.0, 6.0, 4.0, 5.0, 11.0, 6.0, 21.0, 13.0, 9.0, 22.0, 24.0, 24.0, 35.0, 43.0, 45.0, 83.0, 62.0, 93.0, 101.0, 67.0, 62.0, 37.0, 21.0, 39.0, 25.0, 14.0, 23.0, 8.0, 14.0, 9.0, 6.0, 6.0, 11.0, 5.0, 6.0, 7.0, 1.0, 5.0, 8.0, 4.0, 5.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.5299530029296875e-06, -4.372559487819672e-06, -4.215165972709656e-06, -4.05777245759964e-06, -3.900378942489624e-06, -3.742985427379608e-06, -3.5855919122695923e-06, -3.4281983971595764e-06, -3.2708048820495605e-06, -3.1134113669395447e-06, -2.956017851829529e-06, -2.798624336719513e-06, -2.641230821609497e-06, -2.483837306499481e-06, -2.3264437913894653e-06, -2.1690502762794495e-06, -2.0116567611694336e-06, -1.8542632460594177e-06, -1.6968697309494019e-06, -1.539476215839386e-06, -1.3820827007293701e-06, -1.2246891856193542e-06, -1.0672956705093384e-06, -9.099021553993225e-07, -7.525086402893066e-07, -5.951151251792908e-07, -4.377216100692749e-07, -2.8032809495925903e-07, -1.2293457984924316e-07, 3.4458935260772705e-08, 1.9185245037078857e-07, 3.4924596548080444e-07, 5.066394805908203e-07, 6.640329957008362e-07, 8.21426510810852e-07, 9.78820025920868e-07, 1.1362135410308838e-06, 1.2936070561408997e-06, 1.4510005712509155e-06, 1.6083940863609314e-06, 1.7657876014709473e-06, 1.923181116580963e-06, 2.080574631690979e-06, 2.237968146800995e-06, 2.3953616619110107e-06, 2.5527551770210266e-06, 2.7101486921310425e-06, 2.8675422072410583e-06, 3.0249357223510742e-06, 3.18232923746109e-06, 3.339722752571106e-06, 3.497116267681122e-06, 3.6545097827911377e-06, 3.8119032979011536e-06, 3.9692968130111694e-06, 4.126690328121185e-06, 4.284083843231201e-06, 4.441477358341217e-06, 4.598870873451233e-06, 4.756264388561249e-06, 4.913657903671265e-06, 5.0710514187812805e-06, 5.228444933891296e-06, 5.385838449001312e-06, 5.543231964111328e-06]}, "gradients/encoder.encoder.layers.23.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 1.0, 2.0, 5.0, 9.0, 9.0, 14.0, 22.0, 21.0, 39.0, 47.0, 66.0, 87.0, 102.0, 185.0, 269.0, 367.0, 570.0, 799.0, 1313.0, 2270.0, 4436.0, 21216.0, 866971.0, 132359.0, 9042.0, 3239.0, 1807.0, 1085.0, 691.0, 440.0, 319.0, 205.0, 151.0, 94.0, 80.0, 53.0, 45.0, 33.0, 24.0, 21.0, 11.0, 10.0, 8.0, 6.0, 4.0, 4.0, 2.0, 4.0, 0.0, 3.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-6.252527236938477e-05, -6.035342812538147e-05, -5.8181583881378174e-05, -5.600973963737488e-05, -5.383789539337158e-05, -5.1666051149368286e-05, -4.949420690536499e-05, -4.7322362661361694e-05, -4.51505184173584e-05, -4.29786741733551e-05, -4.080682992935181e-05, -3.863498568534851e-05, -3.6463141441345215e-05, -3.429129719734192e-05, -3.211945295333862e-05, -2.9947608709335327e-05, -2.777576446533203e-05, -2.5603920221328735e-05, -2.343207597732544e-05, -2.1260231733322144e-05, -1.9088387489318848e-05, -1.6916543245315552e-05, -1.4744699001312256e-05, -1.257285475730896e-05, -1.0401010513305664e-05, -8.229166269302368e-06, -6.057322025299072e-06, -3.885477781295776e-06, -1.7136335372924805e-06, 4.5821070671081543e-07, 2.6300549507141113e-06, 4.801899194717407e-06, 6.973743438720703e-06, 9.145587682723999e-06, 1.1317431926727295e-05, 1.348927617073059e-05, 1.5661120414733887e-05, 1.7832964658737183e-05, 2.000480890274048e-05, 2.2176653146743774e-05, 2.434849739074707e-05, 2.6520341634750366e-05, 2.8692185878753662e-05, 3.086403012275696e-05, 3.3035874366760254e-05, 3.520771861076355e-05, 3.7379562854766846e-05, 3.955140709877014e-05, 4.172325134277344e-05, 4.3895095586776733e-05, 4.606693983078003e-05, 4.8238784074783325e-05, 5.041062831878662e-05, 5.258247256278992e-05, 5.475431680679321e-05, 5.692616105079651e-05, 5.9098005294799805e-05, 6.12698495388031e-05, 6.34416937828064e-05, 6.561353802680969e-05, 6.778538227081299e-05, 6.995722651481628e-05, 7.212907075881958e-05, 7.430091500282288e-05, 7.647275924682617e-05]}, "gradients/encoder.encoder.layers.23.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 0.0, 3.0, 3.0, 0.0, 1.0, 3.0, 4.0, 13.0, 37.0, 143.0, 305.0, 273.0, 153.0, 34.0, 10.0, 5.0, 5.0, 2.0, 1.0, 1.0, 3.0, 1.0, 2.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.762411117553711e-05, -4.6368688344955444e-05, -4.511326551437378e-05, -4.3857842683792114e-05, -4.260241985321045e-05, -4.1346997022628784e-05, -4.009157419204712e-05, -3.8836151361465454e-05, -3.758072853088379e-05, -3.6325305700302124e-05, -3.506988286972046e-05, -3.3814460039138794e-05, -3.255903720855713e-05, -3.1303614377975464e-05, -3.00481915473938e-05, -2.8792768716812134e-05, -2.753734588623047e-05, -2.6281923055648804e-05, -2.502650022506714e-05, -2.3771077394485474e-05, -2.251565456390381e-05, -2.1260231733322144e-05, -2.000480890274048e-05, -1.8749386072158813e-05, -1.749396324157715e-05, -1.6238540410995483e-05, -1.4983117580413818e-05, -1.3727694749832153e-05, -1.2472271919250488e-05, -1.1216849088668823e-05, -9.961426258087158e-06, -8.706003427505493e-06, -7.450580596923828e-06, -6.195157766342163e-06, -4.939734935760498e-06, -3.684312105178833e-06, -2.428889274597168e-06, -1.173466444015503e-06, 8.195638656616211e-08, 1.3373792171478271e-06, 2.592802047729492e-06, 3.848224878311157e-06, 5.103647708892822e-06, 6.359070539474487e-06, 7.614493370056152e-06, 8.869916200637817e-06, 1.0125339031219482e-05, 1.1380761861801147e-05, 1.2636184692382812e-05, 1.3891607522964478e-05, 1.5147030353546143e-05, 1.6402453184127808e-05, 1.7657876014709473e-05, 1.8913298845291138e-05, 2.0168721675872803e-05, 2.1424144506454468e-05, 2.2679567337036133e-05, 2.3934990167617798e-05, 2.5190412998199463e-05, 2.6445835828781128e-05, 2.7701258659362793e-05, 2.8956681489944458e-05, 3.0212104320526123e-05, 3.146752715110779e-05, 3.272294998168945e-05]}, "gradients/encoder.encoder.layers.23.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 6.0, 3.0, 6.0, 7.0, 8.0, 13.0, 14.0, 34.0, 48.0, 65.0, 130.0, 191.0, 212.0, 111.0, 56.0, 40.0, 26.0, 14.0, 8.0, 7.0, 1.0, 3.0, 3.0, 4.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0006255885818973184, -0.0005929894396103919, -0.0005603902973234653, -0.0005277911550365388, -0.0004951920127496123, -0.0004625928995665163, -0.00042999378638342023, -0.0003973946440964937, -0.0003647955018095672, -0.0003321963595226407, -0.0002995972172357142, -0.00026699810405261815, -0.00023439896176569164, -0.00020179981947876513, -0.00016920069174375385, -0.00013660156400874257, -0.00010400242172181606, -7.140328671084717e-05, -3.8804151699878275e-05, -6.205016688909382e-06, 2.6394118322059512e-05, 5.899326060898602e-05, 9.15923883439973e-05, 0.00012419151607900858, 0.0001567906583659351, 0.0001893898006528616, 0.00022198892838787287, 0.00025458805612288415, 0.00028718719840981066, 0.00031978634069673717, 0.0003523854538798332, 0.00038498459616675973, 0.0004175836220383644, 0.0004501827643252909, 0.0004827819066122174, 0.0005153810488991439, 0.0005479801911860704, 0.000580579275265336, 0.0006131784175522625, 0.000645777559839189, 0.0006783767021261156, 0.0007109758444130421, 0.0007435749866999686, 0.0007761741289868951, 0.0008087732130661607, 0.0008413724135607481, 0.0008739714976400137, 0.0009065706399269402, 0.0009391697822138667, 0.0009717689245007932, 0.0010043680667877197, 0.0010369671508669853, 0.0010695663513615727, 0.0011021654354408383, 0.0011347646359354258, 0.0011673637200146914, 0.001199962804093957, 0.0012325618881732225, 0.00126516108866781, 0.0012977601727470756, 0.001330359373241663, 0.0013629584573209286, 0.001395557657815516, 0.0014281567418947816, 0.001460755942389369]}, "gradients/encoder.encoder.layers.23.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 3.0, 3.0, 3.0, 6.0, 8.0, 7.0, 7.0, 18.0, 19.0, 24.0, 36.0, 35.0, 43.0, 50.0, 47.0, 65.0, 72.0, 73.0, 53.0, 56.0, 69.0, 55.0, 48.0, 42.0, 37.0, 35.0, 26.0, 16.0, 19.0, 22.0, 9.0, 5.0, 3.0, 2.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.407499313354492e-05, -6.115250289440155e-05, -5.823001265525818e-05, -5.530752241611481e-05, -5.2385032176971436e-05, -4.9462541937828064e-05, -4.654005169868469e-05, -4.361756145954132e-05, -4.069507122039795e-05, -3.777258098125458e-05, -3.4850090742111206e-05, -3.1927600502967834e-05, -2.9005110263824463e-05, -2.608262002468109e-05, -2.316012978553772e-05, -2.0237639546394348e-05, -1.7315149307250977e-05, -1.4392659068107605e-05, -1.1470168828964233e-05, -8.547678589820862e-06, -5.62518835067749e-06, -2.7026981115341187e-06, 2.1979212760925293e-07, 3.1422823667526245e-06, 6.064772605895996e-06, 8.987262845039368e-06, 1.190975308418274e-05, 1.483224332332611e-05, 1.7754733562469482e-05, 2.0677223801612854e-05, 2.3599714040756226e-05, 2.6522204279899597e-05, 2.944469451904297e-05, 3.236718475818634e-05, 3.528967499732971e-05, 3.8212165236473083e-05, 4.1134655475616455e-05, 4.405714571475983e-05, 4.69796359539032e-05, 4.990212619304657e-05, 5.282461643218994e-05, 5.574710667133331e-05, 5.8669596910476685e-05, 6.159208714962006e-05, 6.451457738876343e-05, 6.74370676279068e-05, 7.035955786705017e-05, 7.328204810619354e-05, 7.620453834533691e-05, 7.912702858448029e-05, 8.204951882362366e-05, 8.497200906276703e-05, 8.78944993019104e-05, 9.081698954105377e-05, 9.373947978019714e-05, 9.666197001934052e-05, 9.958446025848389e-05, 0.00010250695049762726, 0.00010542944073677063, 0.000108351930975914, 0.00011127442121505737, 0.00011419691145420074, 0.00011711940169334412, 0.00012004189193248749, 0.00012296438217163086]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 5.0, 2.0, 5.0, 4.0, 8.0, 12.0, 20.0, 22.0, 33.0, 38.0, 57.0, 101.0, 174.0, 265.0, 449.0, 748.0, 1328.0, 2571.0, 5147.0, 12597.0, 38422.0, 156552.0, 3574198.0, 305506.0, 61588.0, 19481.0, 7652.0, 3570.0, 1730.0, 894.0, 472.0, 231.0, 160.0, 82.0, 62.0, 32.0, 23.0, 16.0, 8.0, 7.0, 7.0, 3.0, 4.0, 2.0, 2.0, 2.0, 0.0, 3.0, 1.0, 0.0, 1.0], "bins": [-0.00012958049774169922, -0.00012594833970069885, -0.00012231618165969849, -0.00011868402361869812, -0.00011505186557769775, -0.00011141970753669739, -0.00010778754949569702, -0.00010415539145469666, -0.00010052323341369629, -9.689107537269592e-05, -9.325891733169556e-05, -8.962675929069519e-05, -8.599460124969482e-05, -8.236244320869446e-05, -7.873028516769409e-05, -7.509812712669373e-05, -7.146596908569336e-05, -6.783381104469299e-05, -6.420165300369263e-05, -6.056949496269226e-05, -5.6937336921691895e-05, -5.330517888069153e-05, -4.967302083969116e-05, -4.6040862798690796e-05, -4.240870475769043e-05, -3.8776546716690063e-05, -3.51443886756897e-05, -3.151223063468933e-05, -2.7880072593688965e-05, -2.42479145526886e-05, -2.0615756511688232e-05, -1.6983598470687866e-05, -1.33514404296875e-05, -9.719282388687134e-06, -6.087124347686768e-06, -2.4549663066864014e-06, 1.1771917343139648e-06, 4.809349775314331e-06, 8.441507816314697e-06, 1.2073665857315063e-05, 1.570582389831543e-05, 1.9337981939315796e-05, 2.2970139980316162e-05, 2.660229802131653e-05, 3.0234456062316895e-05, 3.386661410331726e-05, 3.749877214431763e-05, 4.113093018531799e-05, 4.476308822631836e-05, 4.8395246267318726e-05, 5.202740430831909e-05, 5.565956234931946e-05, 5.9291720390319824e-05, 6.292387843132019e-05, 6.655603647232056e-05, 7.018819451332092e-05, 7.382035255432129e-05, 7.745251059532166e-05, 8.108466863632202e-05, 8.471682667732239e-05, 8.834898471832275e-05, 9.198114275932312e-05, 9.561330080032349e-05, 9.924545884132385e-05, 0.00010287761688232422]}, "gradients/encoder.encoder.layers.22.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 2.0, 2.0, 3.0, 2.0, 1.0, 4.0, 4.0, 4.0, 15.0, 10.0, 16.0, 29.0, 23.0, 53.0, 48.0, 64.0, 75.0, 65.0, 101.0, 103.0, 64.0, 83.0, 35.0, 60.0, 38.0, 30.0, 18.0, 8.0, 11.0, 8.0, 9.0, 6.0, 2.0, 3.0, 6.0, 2.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-5.9604644775390625e-06, -5.793757736682892e-06, -5.627050995826721e-06, -5.4603442549705505e-06, -5.29363751411438e-06, -5.126930773258209e-06, -4.9602240324020386e-06, -4.793517291545868e-06, -4.626810550689697e-06, -4.460103809833527e-06, -4.293397068977356e-06, -4.126690328121185e-06, -3.959983587265015e-06, -3.793276846408844e-06, -3.6265701055526733e-06, -3.4598633646965027e-06, -3.293156623840332e-06, -3.1264498829841614e-06, -2.9597431421279907e-06, -2.79303640127182e-06, -2.6263296604156494e-06, -2.4596229195594788e-06, -2.292916178703308e-06, -2.1262094378471375e-06, -1.959502696990967e-06, -1.7927959561347961e-06, -1.6260892152786255e-06, -1.4593824744224548e-06, -1.2926757335662842e-06, -1.1259689927101135e-06, -9.592622518539429e-07, -7.925555109977722e-07, -6.258487701416016e-07, -4.591420292854309e-07, -2.9243528842926025e-07, -1.257285475730896e-07, 4.0978193283081055e-08, 2.076849341392517e-07, 3.7439167499542236e-07, 5.41098415851593e-07, 7.078051567077637e-07, 8.745118975639343e-07, 1.041218638420105e-06, 1.2079253792762756e-06, 1.3746321201324463e-06, 1.541338860988617e-06, 1.7080456018447876e-06, 1.8747523427009583e-06, 2.041459083557129e-06, 2.2081658244132996e-06, 2.3748725652694702e-06, 2.541579306125641e-06, 2.7082860469818115e-06, 2.874992787837982e-06, 3.041699528694153e-06, 3.2084062695503235e-06, 3.375113010406494e-06, 3.541819751262665e-06, 3.7085264921188354e-06, 3.875233232975006e-06, 4.041939973831177e-06, 4.208646714687347e-06, 4.375353455543518e-06, 4.542060196399689e-06, 4.708766937255859e-06]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 4.0, 7.0, 8.0, 8.0, 13.0, 25.0, 22.0, 32.0, 49.0, 65.0, 81.0, 135.0, 208.0, 262.0, 397.0, 638.0, 898.0, 1395.0, 2310.0, 3212.0, 5476.0, 9629.0, 16109.0, 32168.0, 68120.0, 160176.0, 874158.0, 2597435.0, 246873.0, 86503.0, 37806.0, 20928.0, 11400.0, 6300.0, 3988.0, 2453.0, 1559.0, 1169.0, 732.0, 454.0, 293.0, 207.0, 149.0, 108.0, 100.0, 53.0, 39.0, 45.0, 31.0, 29.0, 7.0, 12.0, 3.0, 6.0, 1.0, 2.0, 1.0, 6.0, 2.0, 3.0], "bins": [-3.2782554626464844e-05, -3.173016011714935e-05, -3.067776560783386e-05, -2.962537109851837e-05, -2.857297658920288e-05, -2.752058207988739e-05, -2.64681875705719e-05, -2.541579306125641e-05, -2.4363398551940918e-05, -2.3311004042625427e-05, -2.2258609533309937e-05, -2.1206215023994446e-05, -2.0153820514678955e-05, -1.9101426005363464e-05, -1.8049031496047974e-05, -1.6996636986732483e-05, -1.5944242477416992e-05, -1.4891847968101501e-05, -1.383945345878601e-05, -1.278705894947052e-05, -1.173466444015503e-05, -1.0682269930839539e-05, -9.629875421524048e-06, -8.577480912208557e-06, -7.525086402893066e-06, -6.472691893577576e-06, -5.420297384262085e-06, -4.367902874946594e-06, -3.3155083656311035e-06, -2.263113856315613e-06, -1.210719347000122e-06, -1.5832483768463135e-07, 8.940696716308594e-07, 1.94646418094635e-06, 2.998858690261841e-06, 4.0512531995773315e-06, 5.103647708892822e-06, 6.156042218208313e-06, 7.208436727523804e-06, 8.260831236839294e-06, 9.313225746154785e-06, 1.0365620255470276e-05, 1.1418014764785767e-05, 1.2470409274101257e-05, 1.3522803783416748e-05, 1.4575198292732239e-05, 1.562759280204773e-05, 1.667998731136322e-05, 1.773238182067871e-05, 1.87847763299942e-05, 1.9837170839309692e-05, 2.0889565348625183e-05, 2.1941959857940674e-05, 2.2994354367256165e-05, 2.4046748876571655e-05, 2.5099143385887146e-05, 2.6151537895202637e-05, 2.7203932404518127e-05, 2.8256326913833618e-05, 2.930872142314911e-05, 3.03611159324646e-05, 3.141351044178009e-05, 3.246590495109558e-05, 3.351829946041107e-05, 3.457069396972656e-05]}, "gradients/encoder.encoder.layers.22.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 3.0, 1.0, 2.0, 4.0, 4.0, 6.0, 5.0, 10.0, 7.0, 16.0, 11.0, 13.0, 24.0, 33.0, 33.0, 42.0, 38.0, 74.0, 77.0, 99.0, 101.0, 141.0, 222.0, 398.0, 1053.0, 573.0, 287.0, 175.0, 123.0, 116.0, 72.0, 73.0, 52.0, 47.0, 33.0, 19.0, 21.0, 16.0, 13.0, 23.0, 9.0, 8.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-1.4424324035644531e-05, -1.4020130038261414e-05, -1.3615936040878296e-05, -1.3211742043495178e-05, -1.280754804611206e-05, -1.2403354048728943e-05, -1.1999160051345825e-05, -1.1594966053962708e-05, -1.119077205657959e-05, -1.0786578059196472e-05, -1.0382384061813354e-05, -9.978190064430237e-06, -9.573996067047119e-06, -9.169802069664001e-06, -8.765608072280884e-06, -8.361414074897766e-06, -7.957220077514648e-06, -7.553026080131531e-06, -7.148832082748413e-06, -6.744638085365295e-06, -6.340444087982178e-06, -5.93625009059906e-06, -5.532056093215942e-06, -5.127862095832825e-06, -4.723668098449707e-06, -4.319474101066589e-06, -3.915280103683472e-06, -3.511086106300354e-06, -3.1068921089172363e-06, -2.7026981115341187e-06, -2.298504114151001e-06, -1.8943101167678833e-06, -1.4901161193847656e-06, -1.085922122001648e-06, -6.817281246185303e-07, -2.775341272354126e-07, 1.2665987014770508e-07, 5.308538675308228e-07, 9.350478649139404e-07, 1.339241862297058e-06, 1.7434358596801758e-06, 2.1476298570632935e-06, 2.551823854446411e-06, 2.956017851829529e-06, 3.3602118492126465e-06, 3.764405846595764e-06, 4.168599843978882e-06, 4.5727938413619995e-06, 4.976987838745117e-06, 5.381181836128235e-06, 5.7853758335113525e-06, 6.18956983089447e-06, 6.593763828277588e-06, 6.9979578256607056e-06, 7.402151823043823e-06, 7.806345820426941e-06, 8.210539817810059e-06, 8.614733815193176e-06, 9.018927812576294e-06, 9.423121809959412e-06, 9.82731580734253e-06, 1.0231509804725647e-05, 1.0635703802108765e-05, 1.1039897799491882e-05, 1.1444091796875e-05]}, "gradients/encoder.encoder.layers.22.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 3.0, 0.0, 2.0, 1.0, 2.0, 5.0, 6.0, 13.0, 8.0, 22.0, 18.0, 47.0, 40.0, 70.0, 103.0, 215.0, 205.0, 108.0, 57.0, 37.0, 16.0, 20.0, 5.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00022551811707671732, -0.00022016007278580219, -0.00021480201394297183, -0.0002094439696520567, -0.00020408592536114156, -0.0001987278665183112, -0.00019336982222739607, -0.0001880117633845657, -0.00018265371909365058, -0.00017729567480273545, -0.0001719376159599051, -0.00016657957166898996, -0.00016122152737807482, -0.00015586346853524446, -0.00015050542424432933, -0.0001451473799534142, -0.00013978933566249907, -0.00013443129137158394, -0.00012907323252875358, -0.00012371518823783845, -0.0001183571366709657, -0.00011299908510409296, -0.00010764104081317782, -0.00010228298924630508, -9.692493767943233e-05, -9.156688611255959e-05, -8.620884182164446e-05, -8.085079025477171e-05, -7.549273868789896e-05, -7.013468712102622e-05, -6.477664283011109e-05, -5.941859126323834e-05, -5.406054697232321e-05, -4.870249904342927e-05, -4.3344447476556525e-05, -3.7986399547662586e-05, -3.262834798078984e-05, -2.72703000518959e-05, -2.1912252123001963e-05, -1.6554200556129217e-05, -1.1196152627235278e-05, -5.838103334099287e-06, -4.800540409632958e-07, 4.877994797425345e-06, 1.0236044545308687e-05, 1.559409429319203e-05, 2.0952142222085968e-05, 2.6310193788958713e-05, 3.166824171785265e-05, 3.702628964674659e-05, 4.2384341213619336e-05, 4.7742389142513275e-05, 5.310044070938602e-05, 5.845848863827996e-05, 6.38165365671739e-05, 6.917458813404664e-05, 7.453263970091939e-05, 7.989069126779214e-05, 8.524873555870727e-05, 9.060678712558001e-05, 9.596483869245276e-05, 0.0001013228902593255, 0.00010668093455024064, 0.00011203898611711338, 0.00011739703040802851]}, "gradients/encoder.encoder.layers.22.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0, 3.0, 4.0, 3.0, 7.0, 7.0, 8.0, 10.0, 12.0, 15.0, 13.0, 16.0, 31.0, 27.0, 28.0, 35.0, 29.0, 40.0, 31.0, 48.0, 45.0, 50.0, 47.0, 48.0, 45.0, 36.0, 49.0, 43.0, 35.0, 36.0, 27.0, 31.0, 25.0, 24.0, 19.0, 19.0, 16.0, 7.0, 7.0, 6.0, 6.0, 7.0, 5.0, 2.0, 4.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-7.534027099609375e-05, -7.326062768697739e-05, -7.118098437786102e-05, -6.910134106874466e-05, -6.70216977596283e-05, -6.494205445051193e-05, -6.286241114139557e-05, -6.0782767832279205e-05, -5.870312452316284e-05, -5.662348121404648e-05, -5.4543837904930115e-05, -5.246419459581375e-05, -5.038455128669739e-05, -4.8304907977581024e-05, -4.622526466846466e-05, -4.41456213593483e-05, -4.2065978050231934e-05, -3.998633474111557e-05, -3.7906691431999207e-05, -3.582704812288284e-05, -3.374740481376648e-05, -3.1667761504650116e-05, -2.9588118195533752e-05, -2.750847488641739e-05, -2.5428831577301025e-05, -2.3349188268184662e-05, -2.12695449590683e-05, -1.9189901649951935e-05, -1.711025834083557e-05, -1.5030615031719208e-05, -1.2950971722602844e-05, -1.087132841348648e-05, -8.791685104370117e-06, -6.712041795253754e-06, -4.63239848613739e-06, -2.5527551770210266e-06, -4.731118679046631e-07, 1.6065314412117004e-06, 3.686174750328064e-06, 5.7658180594444275e-06, 7.845461368560791e-06, 9.925104677677155e-06, 1.2004747986793518e-05, 1.4084391295909882e-05, 1.6164034605026245e-05, 1.824367791414261e-05, 2.0323321223258972e-05, 2.2402964532375336e-05, 2.44826078414917e-05, 2.6562251150608063e-05, 2.8641894459724426e-05, 3.072153776884079e-05, 3.280118107795715e-05, 3.488082438707352e-05, 3.696046769618988e-05, 3.9040111005306244e-05, 4.111975431442261e-05, 4.319939762353897e-05, 4.5279040932655334e-05, 4.73586842417717e-05, 4.943832755088806e-05, 5.1517970860004425e-05, 5.359761416912079e-05, 5.567725747823715e-05, 5.7756900787353516e-05]}, "gradients/encoder.encoder.layers.22.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 3.0, 3.0, 4.0, 12.0, 13.0, 11.0, 20.0, 37.0, 51.0, 63.0, 83.0, 115.0, 159.0, 210.0, 295.0, 412.0, 562.0, 769.0, 1086.0, 1601.0, 2133.0, 3295.0, 5025.0, 7871.0, 12510.0, 22359.0, 39919.0, 88082.0, 237685.0, 401681.0, 106098.0, 50111.0, 25880.0, 14190.0, 8873.0, 5285.0, 3669.0, 2410.0, 1746.0, 1180.0, 810.0, 625.0, 481.0, 309.0, 253.0, 171.0, 120.0, 72.0, 47.0, 48.0, 38.0, 30.0, 19.0, 13.0, 10.0, 6.0, 4.0, 1.0, 4.0, 0.0, 0.0, 2.0, 1.0], "bins": [-4.404783248901367e-05, -4.258565604686737e-05, -4.112347960472107e-05, -3.966130316257477e-05, -3.819912672042847e-05, -3.6736950278282166e-05, -3.5274773836135864e-05, -3.381259739398956e-05, -3.235042095184326e-05, -3.088824450969696e-05, -2.942606806755066e-05, -2.7963891625404358e-05, -2.6501715183258057e-05, -2.5039538741111755e-05, -2.3577362298965454e-05, -2.2115185856819153e-05, -2.065300941467285e-05, -1.919083297252655e-05, -1.772865653038025e-05, -1.6266480088233948e-05, -1.4804303646087646e-05, -1.3342127203941345e-05, -1.1879950761795044e-05, -1.0417774319648743e-05, -8.955597877502441e-06, -7.49342143535614e-06, -6.031244993209839e-06, -4.569068551063538e-06, -3.1068921089172363e-06, -1.644715666770935e-06, -1.825392246246338e-07, 1.2796372175216675e-06, 2.7418136596679688e-06, 4.20399010181427e-06, 5.666166543960571e-06, 7.1283429861068726e-06, 8.590519428253174e-06, 1.0052695870399475e-05, 1.1514872312545776e-05, 1.2977048754692078e-05, 1.4439225196838379e-05, 1.590140163898468e-05, 1.736357808113098e-05, 1.8825754523277283e-05, 2.0287930965423584e-05, 2.1750107407569885e-05, 2.3212283849716187e-05, 2.4674460291862488e-05, 2.613663673400879e-05, 2.759881317615509e-05, 2.906098961830139e-05, 3.052316606044769e-05, 3.1985342502593994e-05, 3.3447518944740295e-05, 3.49096953868866e-05, 3.63718718290329e-05, 3.78340482711792e-05, 3.92962247133255e-05, 4.07584011554718e-05, 4.22205775976181e-05, 4.3682754039764404e-05, 4.5144930481910706e-05, 4.660710692405701e-05, 4.806928336620331e-05, 4.953145980834961e-05]}, "gradients/encoder.encoder.layers.22.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 6.0, 6.0, 5.0, 5.0, 7.0, 8.0, 5.0, 15.0, 6.0, 20.0, 24.0, 25.0, 42.0, 41.0, 48.0, 80.0, 58.0, 55.0, 109.0, 53.0, 95.0, 55.0, 59.0, 32.0, 32.0, 26.0, 21.0, 14.0, 7.0, 11.0, 6.0, 6.0, 5.0, 7.0, 4.0, 2.0, 1.0, 2.0, 3.0, 1.0, 3.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.887580871582031e-06, -4.741363227367401e-06, -4.595145583152771e-06, -4.448927938938141e-06, -4.302710294723511e-06, -4.156492650508881e-06, -4.0102750062942505e-06, -3.86405736207962e-06, -3.7178397178649902e-06, -3.57162207365036e-06, -3.42540442943573e-06, -3.2791867852211e-06, -3.1329691410064697e-06, -2.9867514967918396e-06, -2.8405338525772095e-06, -2.6943162083625793e-06, -2.5480985641479492e-06, -2.401880919933319e-06, -2.255663275718689e-06, -2.109445631504059e-06, -1.9632279872894287e-06, -1.8170103430747986e-06, -1.6707926988601685e-06, -1.5245750546455383e-06, -1.3783574104309082e-06, -1.232139766216278e-06, -1.085922122001648e-06, -9.397044777870178e-07, -7.934868335723877e-07, -6.472691893577576e-07, -5.010515451431274e-07, -3.548339009284973e-07, -2.086162567138672e-07, -6.239861249923706e-08, 8.381903171539307e-08, 2.300366759300232e-07, 3.762543201446533e-07, 5.224719643592834e-07, 6.686896085739136e-07, 8.149072527885437e-07, 9.611248970031738e-07, 1.107342541217804e-06, 1.253560185432434e-06, 1.3997778296470642e-06, 1.5459954738616943e-06, 1.6922131180763245e-06, 1.8384307622909546e-06, 1.9846484065055847e-06, 2.130866050720215e-06, 2.277083694934845e-06, 2.423301339149475e-06, 2.5695189833641052e-06, 2.7157366275787354e-06, 2.8619542717933655e-06, 3.0081719160079956e-06, 3.1543895602226257e-06, 3.300607204437256e-06, 3.446824848651886e-06, 3.593042492866516e-06, 3.7392601370811462e-06, 3.885477781295776e-06, 4.0316954255104065e-06, 4.177913069725037e-06, 4.324130713939667e-06, 4.470348358154297e-06]}, "gradients/encoder.encoder.layers.22.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 5.0, 5.0, 4.0, 6.0, 12.0, 14.0, 16.0, 44.0, 48.0, 51.0, 132.0, 165.0, 310.0, 524.0, 855.0, 1775.0, 3211.0, 7095.0, 15196.0, 41862.0, 151814.0, 617248.0, 139985.0, 39719.0, 15112.0, 6354.0, 3178.0, 1654.0, 886.0, 492.0, 295.0, 157.0, 123.0, 68.0, 45.0, 27.0, 21.0, 18.0, 11.0, 8.0, 7.0, 3.0, 3.0, 2.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-4.13060188293457e-05, -4.0072016417980194e-05, -3.8838014006614685e-05, -3.7604011595249176e-05, -3.637000918388367e-05, -3.513600677251816e-05, -3.390200436115265e-05, -3.266800194978714e-05, -3.143399953842163e-05, -3.0199997127056122e-05, -2.8965994715690613e-05, -2.7731992304325104e-05, -2.6497989892959595e-05, -2.5263987481594086e-05, -2.4029985070228577e-05, -2.2795982658863068e-05, -2.156198024749756e-05, -2.032797783613205e-05, -1.909397542476654e-05, -1.785997301340103e-05, -1.6625970602035522e-05, -1.5391968190670013e-05, -1.4157965779304504e-05, -1.2923963367938995e-05, -1.1689960956573486e-05, -1.0455958545207977e-05, -9.221956133842468e-06, -7.98795372247696e-06, -6.75395131111145e-06, -5.519948899745941e-06, -4.285946488380432e-06, -3.051944077014923e-06, -1.817941665649414e-06, -5.83939254283905e-07, 6.50063157081604e-07, 1.884065568447113e-06, 3.118067979812622e-06, 4.352070391178131e-06, 5.58607280254364e-06, 6.820075213909149e-06, 8.054077625274658e-06, 9.288080036640167e-06, 1.0522082448005676e-05, 1.1756084859371185e-05, 1.2990087270736694e-05, 1.4224089682102203e-05, 1.5458092093467712e-05, 1.669209450483322e-05, 1.792609691619873e-05, 1.916009932756424e-05, 2.039410173892975e-05, 2.1628104150295258e-05, 2.2862106561660767e-05, 2.4096108973026276e-05, 2.5330111384391785e-05, 2.6564113795757294e-05, 2.7798116207122803e-05, 2.9032118618488312e-05, 3.026612102985382e-05, 3.150012344121933e-05, 3.273412585258484e-05, 3.396812826395035e-05, 3.520213067531586e-05, 3.6436133086681366e-05, 3.7670135498046875e-05]}, "gradients/encoder.encoder.layers.22.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 4.0, 3.0, 1.0, 4.0, 3.0, 10.0, 13.0, 12.0, 13.0, 5.0, 18.0, 23.0, 22.0, 21.0, 33.0, 42.0, 41.0, 38.0, 46.0, 57.0, 40.0, 57.0, 43.0, 49.0, 42.0, 57.0, 40.0, 19.0, 34.0, 33.0, 37.0, 27.0, 22.0, 15.0, 14.0, 16.0, 11.0, 7.0, 10.0, 9.0, 3.0, 4.0, 6.0, 2.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.0013580322265625e-05, -9.709969162940979e-06, -9.406358003616333e-06, -9.102746844291687e-06, -8.799135684967041e-06, -8.495524525642395e-06, -8.191913366317749e-06, -7.888302206993103e-06, -7.584691047668457e-06, -7.281079888343811e-06, -6.977468729019165e-06, -6.673857569694519e-06, -6.370246410369873e-06, -6.066635251045227e-06, -5.763024091720581e-06, -5.459412932395935e-06, -5.155801773071289e-06, -4.852190613746643e-06, -4.548579454421997e-06, -4.244968295097351e-06, -3.941357135772705e-06, -3.637745976448059e-06, -3.334134817123413e-06, -3.030523657798767e-06, -2.726912498474121e-06, -2.423301339149475e-06, -2.119690179824829e-06, -1.816079020500183e-06, -1.5124678611755371e-06, -1.2088567018508911e-06, -9.052455425262451e-07, -6.016343832015991e-07, -2.980232238769531e-07, 5.587935447692871e-09, 3.0919909477233887e-07, 6.128102540969849e-07, 9.164214134216309e-07, 1.2200325727462769e-06, 1.5236437320709229e-06, 1.8272548913955688e-06, 2.130866050720215e-06, 2.434477210044861e-06, 2.738088369369507e-06, 3.041699528694153e-06, 3.345310688018799e-06, 3.648921847343445e-06, 3.952533006668091e-06, 4.256144165992737e-06, 4.559755325317383e-06, 4.863366484642029e-06, 5.166977643966675e-06, 5.470588803291321e-06, 5.774199962615967e-06, 6.077811121940613e-06, 6.381422281265259e-06, 6.685033440589905e-06, 6.988644599914551e-06, 7.292255759239197e-06, 7.595866918563843e-06, 7.899478077888489e-06, 8.203089237213135e-06, 8.50670039653778e-06, 8.810311555862427e-06, 9.113922715187073e-06, 9.417533874511719e-06]}, "gradients/encoder.encoder.layers.22.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 3.0, 2.0, 4.0, 13.0, 9.0, 20.0, 14.0, 33.0, 34.0, 67.0, 89.0, 162.0, 276.0, 455.0, 910.0, 1859.0, 4676.0, 15186.0, 176365.0, 812540.0, 24754.0, 6250.0, 2285.0, 1105.0, 608.0, 343.0, 186.0, 102.0, 75.0, 47.0, 27.0, 13.0, 13.0, 11.0, 9.0, 6.0, 6.0, 4.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00014650821685791016, -0.00014221668243408203, -0.0001379251480102539, -0.00013363361358642578, -0.00012934207916259766, -0.00012505054473876953, -0.0001207590103149414, -0.00011646747589111328, -0.00011217594146728516, -0.00010788440704345703, -0.0001035928726196289, -9.930133819580078e-05, -9.500980377197266e-05, -9.071826934814453e-05, -8.64267349243164e-05, -8.213520050048828e-05, -7.784366607666016e-05, -7.355213165283203e-05, -6.92605972290039e-05, -6.496906280517578e-05, -6.0677528381347656e-05, -5.638599395751953e-05, -5.2094459533691406e-05, -4.780292510986328e-05, -4.3511390686035156e-05, -3.921985626220703e-05, -3.4928321838378906e-05, -3.063678741455078e-05, -2.6345252990722656e-05, -2.205371856689453e-05, -1.7762184143066406e-05, -1.3470649719238281e-05, -9.179115295410156e-06, -4.887580871582031e-06, -5.960464477539062e-07, 3.6954879760742188e-06, 7.987022399902344e-06, 1.2278556823730469e-05, 1.6570091247558594e-05, 2.086162567138672e-05, 2.5153160095214844e-05, 2.944469451904297e-05, 3.3736228942871094e-05, 3.802776336669922e-05, 4.2319297790527344e-05, 4.661083221435547e-05, 5.0902366638183594e-05, 5.519390106201172e-05, 5.9485435485839844e-05, 6.377696990966797e-05, 6.80685043334961e-05, 7.236003875732422e-05, 7.665157318115234e-05, 8.094310760498047e-05, 8.52346420288086e-05, 8.952617645263672e-05, 9.381771087646484e-05, 9.810924530029297e-05, 0.0001024007797241211, 0.00010669231414794922, 0.00011098384857177734, 0.00011527538299560547, 0.0001195669174194336, 0.00012385845184326172, 0.00012814998626708984]}, "gradients/encoder.encoder.layers.22.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 0.0, 0.0, 6.0, 4.0, 4.0, 5.0, 11.0, 4.0, 6.0, 11.0, 12.0, 11.0, 15.0, 15.0, 38.0, 57.0, 86.0, 146.0, 125.0, 146.0, 82.0, 43.0, 37.0, 34.0, 29.0, 15.0, 7.0, 9.0, 9.0, 3.0, 5.0, 5.0, 5.0, 5.0, 3.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 4.0, 2.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-6.020069122314453e-06, -5.792826414108276e-06, -5.5655837059021e-06, -5.338340997695923e-06, -5.111098289489746e-06, -4.883855581283569e-06, -4.656612873077393e-06, -4.429370164871216e-06, -4.202127456665039e-06, -3.974884748458862e-06, -3.7476420402526855e-06, -3.520399332046509e-06, -3.293156623840332e-06, -3.0659139156341553e-06, -2.8386712074279785e-06, -2.6114284992218018e-06, -2.384185791015625e-06, -2.1569430828094482e-06, -1.9297003746032715e-06, -1.7024576663970947e-06, -1.475214958190918e-06, -1.2479722499847412e-06, -1.0207295417785645e-06, -7.934868335723877e-07, -5.662441253662109e-07, -3.390014171600342e-07, -1.1175870895385742e-07, 1.1548399925231934e-07, 3.427267074584961e-07, 5.699694156646729e-07, 7.972121238708496e-07, 1.0244548320770264e-06, 1.2516975402832031e-06, 1.4789402484893799e-06, 1.7061829566955566e-06, 1.9334256649017334e-06, 2.16066837310791e-06, 2.387911081314087e-06, 2.6151537895202637e-06, 2.8423964977264404e-06, 3.069639205932617e-06, 3.296881914138794e-06, 3.5241246223449707e-06, 3.7513673305511475e-06, 3.978610038757324e-06, 4.205852746963501e-06, 4.433095455169678e-06, 4.6603381633758545e-06, 4.887580871582031e-06, 5.114823579788208e-06, 5.342066287994385e-06, 5.5693089962005615e-06, 5.796551704406738e-06, 6.023794412612915e-06, 6.251037120819092e-06, 6.4782798290252686e-06, 6.705522537231445e-06, 6.932765245437622e-06, 7.160007953643799e-06, 7.387250661849976e-06, 7.614493370056152e-06, 7.841736078262329e-06, 8.068978786468506e-06, 8.296221494674683e-06, 8.52346420288086e-06]}, "gradients/encoder.encoder.layers.22.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 5.0, 4.0, 10.0, 11.0, 28.0, 20.0, 45.0, 64.0, 80.0, 140.0, 191.0, 355.0, 505.0, 977.0, 1599.0, 3518.0, 7037.0, 17384.0, 55451.0, 627262.0, 261299.0, 44727.0, 15525.0, 5784.0, 2814.0, 1513.0, 862.0, 487.0, 290.0, 195.0, 121.0, 77.0, 54.0, 46.0, 21.0, 12.0, 7.0, 10.0, 6.0, 10.0, 3.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.2590160369873047e-05, -2.1859072148799896e-05, -2.1127983927726746e-05, -2.0396895706653595e-05, -1.9665807485580444e-05, -1.8934719264507294e-05, -1.8203631043434143e-05, -1.7472542822360992e-05, -1.6741454601287842e-05, -1.601036638021469e-05, -1.527927815914154e-05, -1.454818993806839e-05, -1.381710171699524e-05, -1.3086013495922089e-05, -1.2354925274848938e-05, -1.1623837053775787e-05, -1.0892748832702637e-05, -1.0161660611629486e-05, -9.430572390556335e-06, -8.699484169483185e-06, -7.968395948410034e-06, -7.2373077273368835e-06, -6.506219506263733e-06, -5.775131285190582e-06, -5.044043064117432e-06, -4.312954843044281e-06, -3.5818666219711304e-06, -2.8507784008979797e-06, -2.119690179824829e-06, -1.3886019587516785e-06, -6.575137376785278e-07, 7.35744833946228e-08, 8.046627044677734e-07, 1.535750925540924e-06, 2.2668391466140747e-06, 2.9979273676872253e-06, 3.729015588760376e-06, 4.460103809833527e-06, 5.191192030906677e-06, 5.922280251979828e-06, 6.6533684730529785e-06, 7.384456694126129e-06, 8.11554491519928e-06, 8.84663313627243e-06, 9.577721357345581e-06, 1.0308809578418732e-05, 1.1039897799491882e-05, 1.1770986020565033e-05, 1.2502074241638184e-05, 1.3233162462711334e-05, 1.3964250683784485e-05, 1.4695338904857635e-05, 1.5426427125930786e-05, 1.6157515347003937e-05, 1.6888603568077087e-05, 1.7619691789150238e-05, 1.835078001022339e-05, 1.908186823129654e-05, 1.981295645236969e-05, 2.054404467344284e-05, 2.127513289451599e-05, 2.2006221115589142e-05, 2.2737309336662292e-05, 2.3468397557735443e-05, 2.4199485778808594e-05]}, "gradients/encoder.encoder.layers.22.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 3.0, 3.0, 0.0, 3.0, 5.0, 6.0, 4.0, 8.0, 9.0, 5.0, 14.0, 9.0, 23.0, 32.0, 28.0, 38.0, 31.0, 40.0, 49.0, 97.0, 114.0, 94.0, 65.0, 52.0, 63.0, 48.0, 25.0, 23.0, 26.0, 17.0, 17.0, 13.0, 10.0, 3.0, 7.0, 5.0, 2.0, 4.0, 1.0, 3.0, 4.0, 3.0, 2.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.781650543212891e-06, -5.5925920605659485e-06, -5.403533577919006e-06, -5.214475095272064e-06, -5.025416612625122e-06, -4.83635812997818e-06, -4.647299647331238e-06, -4.458241164684296e-06, -4.2691826820373535e-06, -4.080124199390411e-06, -3.891065716743469e-06, -3.702007234096527e-06, -3.512948751449585e-06, -3.323890268802643e-06, -3.1348317861557007e-06, -2.9457733035087585e-06, -2.7567148208618164e-06, -2.5676563382148743e-06, -2.378597855567932e-06, -2.18953937292099e-06, -2.000480890274048e-06, -1.8114224076271057e-06, -1.6223639249801636e-06, -1.4333054423332214e-06, -1.2442469596862793e-06, -1.0551884770393372e-06, -8.66129994392395e-07, -6.770715117454529e-07, -4.880130290985107e-07, -2.989545464515686e-07, -1.0989606380462646e-07, 7.916241884231567e-08, 2.682209014892578e-07, 4.5727938413619995e-07, 6.463378667831421e-07, 8.353963494300842e-07, 1.0244548320770264e-06, 1.2135133147239685e-06, 1.4025717973709106e-06, 1.5916302800178528e-06, 1.780688762664795e-06, 1.969747245311737e-06, 2.158805727958679e-06, 2.3478642106056213e-06, 2.5369226932525635e-06, 2.7259811758995056e-06, 2.9150396585464478e-06, 3.10409814119339e-06, 3.293156623840332e-06, 3.482215106487274e-06, 3.6712735891342163e-06, 3.8603320717811584e-06, 4.049390554428101e-06, 4.238449037075043e-06, 4.427507519721985e-06, 4.616566002368927e-06, 4.805624485015869e-06, 4.994682967662811e-06, 5.183741450309753e-06, 5.3727999329566956e-06, 5.561858415603638e-06, 5.75091689825058e-06, 5.939975380897522e-06, 6.129033863544464e-06, 6.318092346191406e-06]}, "gradients/encoder.encoder.layers.22.layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 12.0, 100.0, 687.0, 202.0, 16.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002141746081179008, -0.0001763053733156994, -0.000138436138513498, -0.00010056690371129662, -6.269766890909523e-05, -2.4828434106893837e-05, 1.3040800695307553e-05, 5.091003549750894e-05, 8.877927029971033e-05, 0.00012664850510191172, 0.00016451773990411311, 0.0002023869747063145, 0.0002402562095085159, 0.0002781254588626325, 0.00031599466456100345, 0.0003538639284670353, 0.00039173313416540623, 0.0004296023689676076, 0.000467471603769809, 0.0005053408676758409, 0.0005432100733742118, 0.0005810792790725827, 0.0006189485429786146, 0.0006568178068846464, 0.0006946870125830173, 0.0007325562182813883, 0.0007704254821874201, 0.000808294746093452, 0.0008461639517918229, 0.0008840331574901938, 0.0009219024213962257, 0.0009597716853022575, 0.0009976408910006285, 0.0010355100966989994, 0.0010733793023973703, 0.001111248624511063, 0.001149117830209434, 0.001186987035907805, 0.0012248563580214977, 0.0012627255637198687, 0.0013005947694182396, 0.0013384639751166105, 0.0013763331808149815, 0.0014142025029286742, 0.0014520717086270452, 0.001489940914325416, 0.0015278102364391088, 0.0015656794421374798, 0.0016035486478358507, 0.0016414178535342216, 0.0016792870592325926, 0.0017171563813462853, 0.0017550255870446563, 0.0017928947927430272, 0.00183076411485672, 0.001868633320555091, 0.0019065025262534618, 0.0019443717319518328, 0.0019822409376502037, 0.0020201101433485746, 0.0020579793490469456, 0.00209584878757596, 0.002133717993274331, 0.002171587198972702, 0.002209456404671073]}, "gradients/encoder.encoder.layers.22.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 1.0, 6.0, 6.0, 4.0, 1.0, 14.0, 18.0, 25.0, 23.0, 21.0, 22.0, 41.0, 37.0, 42.0, 47.0, 43.0, 50.0, 56.0, 42.0, 49.0, 51.0, 44.0, 42.0, 39.0, 37.0, 36.0, 31.0, 27.0, 24.0, 18.0, 25.0, 14.0, 13.0, 7.0, 13.0, 8.0, 5.0, 5.0, 7.0, 2.0, 4.0, 3.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-4.5180320739746094e-05, -4.3635256588459015e-05, -4.2090192437171936e-05, -4.054512828588486e-05, -3.900006413459778e-05, -3.74549999833107e-05, -3.590993583202362e-05, -3.436487168073654e-05, -3.281980752944946e-05, -3.1274743378162384e-05, -2.9729679226875305e-05, -2.8184615075588226e-05, -2.6639550924301147e-05, -2.509448677301407e-05, -2.354942262172699e-05, -2.200435847043991e-05, -2.0459294319152832e-05, -1.8914230167865753e-05, -1.7369166016578674e-05, -1.5824101865291595e-05, -1.4279037714004517e-05, -1.2733973562717438e-05, -1.1188909411430359e-05, -9.64384526014328e-06, -8.098781108856201e-06, -6.553716957569122e-06, -5.0086528062820435e-06, -3.4635886549949646e-06, -1.9185245037078857e-06, -3.734603524208069e-07, 1.171603798866272e-06, 2.716667950153351e-06, 4.26173210144043e-06, 5.8067962527275085e-06, 7.351860404014587e-06, 8.896924555301666e-06, 1.0441988706588745e-05, 1.1987052857875824e-05, 1.3532117009162903e-05, 1.5077181160449982e-05, 1.662224531173706e-05, 1.816730946302414e-05, 1.9712373614311218e-05, 2.1257437765598297e-05, 2.2802501916885376e-05, 2.4347566068172455e-05, 2.5892630219459534e-05, 2.7437694370746613e-05, 2.898275852203369e-05, 3.052782267332077e-05, 3.207288682460785e-05, 3.361795097589493e-05, 3.516301512718201e-05, 3.6708079278469086e-05, 3.8253143429756165e-05, 3.9798207581043243e-05, 4.134327173233032e-05, 4.28883358836174e-05, 4.443340003490448e-05, 4.597846418619156e-05, 4.752352833747864e-05, 4.9068592488765717e-05, 5.0613656640052795e-05, 5.2158720791339874e-05, 5.370378494262695e-05]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.weight": {"_type": "histogram", "values": [2.0, 2.0, 4.0, 3.0, 5.0, 9.0, 14.0, 17.0, 24.0, 28.0, 29.0, 55.0, 75.0, 116.0, 140.0, 251.0, 415.0, 737.0, 1405.0, 2713.0, 5382.0, 10790.0, 24015.0, 57330.0, 159320.0, 3277275.0, 479471.0, 105230.0, 37507.0, 15495.0, 7350.0, 3723.0, 2091.0, 1200.0, 737.0, 457.0, 265.0, 189.0, 128.0, 78.0, 51.0, 43.0, 31.0, 26.0, 17.0, 10.0, 10.0, 12.0, 7.0, 2.0, 2.0, 3.0, 1.0, 3.0, 0.0, 2.0, 4.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-6.61015510559082e-05, -6.35441392660141e-05, -6.0986727476119995e-05, -5.842931568622589e-05, -5.587190389633179e-05, -5.331449210643768e-05, -5.075708031654358e-05, -4.8199668526649475e-05, -4.564225673675537e-05, -4.308484494686127e-05, -4.052743315696716e-05, -3.797002136707306e-05, -3.5412609577178955e-05, -3.285519778728485e-05, -3.0297785997390747e-05, -2.7740374207496643e-05, -2.518296241760254e-05, -2.2625550627708435e-05, -2.006813883781433e-05, -1.7510727047920227e-05, -1.4953315258026123e-05, -1.2395903468132019e-05, -9.838491678237915e-06, -7.281079888343811e-06, -4.723668098449707e-06, -2.166256308555603e-06, 3.91155481338501e-07, 2.948567271232605e-06, 5.505979061126709e-06, 8.063390851020813e-06, 1.0620802640914917e-05, 1.3178214430809021e-05, 1.5735626220703125e-05, 1.829303801059723e-05, 2.0850449800491333e-05, 2.3407861590385437e-05, 2.596527338027954e-05, 2.8522685170173645e-05, 3.108009696006775e-05, 3.363750874996185e-05, 3.619492053985596e-05, 3.875233232975006e-05, 4.1309744119644165e-05, 4.386715590953827e-05, 4.642456769943237e-05, 4.898197948932648e-05, 5.153939127922058e-05, 5.4096803069114685e-05, 5.665421485900879e-05, 5.921162664890289e-05, 6.1769038438797e-05, 6.43264502286911e-05, 6.68838620185852e-05, 6.944127380847931e-05, 7.199868559837341e-05, 7.455609738826752e-05, 7.711350917816162e-05, 7.967092096805573e-05, 8.222833275794983e-05, 8.478574454784393e-05, 8.734315633773804e-05, 8.990056812763214e-05, 9.245797991752625e-05, 9.501539170742035e-05, 9.757280349731445e-05]}, "gradients/encoder.encoder.layers.21.feed_forward.output_dense.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 0.0, 3.0, 2.0, 2.0, 5.0, 7.0, 6.0, 5.0, 9.0, 11.0, 12.0, 12.0, 15.0, 18.0, 36.0, 35.0, 24.0, 34.0, 59.0, 57.0, 56.0, 68.0, 93.0, 57.0, 63.0, 44.0, 67.0, 28.0, 37.0, 31.0, 25.0, 17.0, 15.0, 13.0, 8.0, 15.0, 2.0, 3.0, 3.0, 6.0, 2.0, 1.0, 1.0, 2.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.3974647521972656e-06, -3.264285624027252e-06, -3.1311064958572388e-06, -2.9979273676872253e-06, -2.864748239517212e-06, -2.7315691113471985e-06, -2.598389983177185e-06, -2.4652108550071716e-06, -2.332031726837158e-06, -2.1988525986671448e-06, -2.0656734704971313e-06, -1.932494342327118e-06, -1.7993152141571045e-06, -1.666136085987091e-06, -1.5329569578170776e-06, -1.3997778296470642e-06, -1.2665987014770508e-06, -1.1334195733070374e-06, -1.000240445137024e-06, -8.670613169670105e-07, -7.338821887969971e-07, -6.007030606269836e-07, -4.675239324569702e-07, -3.343448042869568e-07, -2.0116567611694336e-07, -6.798654794692993e-08, 6.51925802230835e-08, 1.9837170839309692e-07, 3.3155083656311035e-07, 4.647299647331238e-07, 5.979090929031372e-07, 7.310882210731506e-07, 8.642673492431641e-07, 9.974464774131775e-07, 1.130625605583191e-06, 1.2638047337532043e-06, 1.3969838619232178e-06, 1.5301629900932312e-06, 1.6633421182632446e-06, 1.796521246433258e-06, 1.9297003746032715e-06, 2.062879502773285e-06, 2.1960586309432983e-06, 2.3292377591133118e-06, 2.462416887283325e-06, 2.5955960154533386e-06, 2.728775143623352e-06, 2.8619542717933655e-06, 2.995133399963379e-06, 3.1283125281333923e-06, 3.2614916563034058e-06, 3.394670784473419e-06, 3.5278499126434326e-06, 3.661029040813446e-06, 3.7942081689834595e-06, 3.927387297153473e-06, 4.060566425323486e-06, 4.1937455534935e-06, 4.326924681663513e-06, 4.460103809833527e-06, 4.59328293800354e-06, 4.7264620661735535e-06, 4.859641194343567e-06, 4.99282032251358e-06, 5.125999450683594e-06]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 2.0, 5.0, 3.0, 11.0, 11.0, 15.0, 18.0, 18.0, 44.0, 71.0, 97.0, 124.0, 183.0, 248.0, 350.0, 513.0, 748.0, 1062.0, 1638.0, 2334.0, 3696.0, 5486.0, 9114.0, 15058.0, 25772.0, 48322.0, 97006.0, 244837.0, 2368525.0, 987090.0, 195272.0, 87360.0, 40809.0, 22865.0, 13207.0, 7942.0, 4966.0, 3302.0, 1996.0, 1317.0, 924.0, 588.0, 410.0, 282.0, 209.0, 132.0, 69.0, 67.0, 47.0, 34.0, 24.0, 19.0, 17.0, 13.0, 4.0, 12.0, 3.0, 1.0, 2.0, 1.0, 2.0, 2.0, 3.0], "bins": [-2.676248550415039e-05, -2.58665531873703e-05, -2.497062087059021e-05, -2.407468855381012e-05, -2.317875623703003e-05, -2.228282392024994e-05, -2.138689160346985e-05, -2.0490959286689758e-05, -1.9595026969909668e-05, -1.8699094653129578e-05, -1.7803162336349487e-05, -1.6907230019569397e-05, -1.6011297702789307e-05, -1.5115365386009216e-05, -1.4219433069229126e-05, -1.3323500752449036e-05, -1.2427568435668945e-05, -1.1531636118888855e-05, -1.0635703802108765e-05, -9.739771485328674e-06, -8.843839168548584e-06, -7.947906851768494e-06, -7.051974534988403e-06, -6.156042218208313e-06, -5.260109901428223e-06, -4.364177584648132e-06, -3.468245267868042e-06, -2.5723129510879517e-06, -1.6763806343078613e-06, -7.80448317527771e-07, 1.1548399925231934e-07, 1.0114163160324097e-06, 1.9073486328125e-06, 2.8032809495925903e-06, 3.6992132663726807e-06, 4.595145583152771e-06, 5.491077899932861e-06, 6.387010216712952e-06, 7.282942533493042e-06, 8.178874850273132e-06, 9.074807167053223e-06, 9.970739483833313e-06, 1.0866671800613403e-05, 1.1762604117393494e-05, 1.2658536434173584e-05, 1.3554468750953674e-05, 1.4450401067733765e-05, 1.5346333384513855e-05, 1.6242265701293945e-05, 1.7138198018074036e-05, 1.8034130334854126e-05, 1.8930062651634216e-05, 1.9825994968414307e-05, 2.0721927285194397e-05, 2.1617859601974487e-05, 2.2513791918754578e-05, 2.3409724235534668e-05, 2.4305656552314758e-05, 2.520158886909485e-05, 2.609752118587494e-05, 2.699345350265503e-05, 2.788938581943512e-05, 2.878531813621521e-05, 2.96812504529953e-05, 3.057718276977539e-05]}, "gradients/encoder.encoder.layers.21.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 1.0, 3.0, 5.0, 3.0, 9.0, 3.0, 8.0, 14.0, 19.0, 15.0, 24.0, 32.0, 34.0, 30.0, 44.0, 68.0, 73.0, 81.0, 103.0, 143.0, 222.0, 530.0, 960.0, 452.0, 240.0, 145.0, 140.0, 89.0, 89.0, 82.0, 69.0, 60.0, 54.0, 49.0, 43.0, 29.0, 23.0, 21.0, 15.0, 15.0, 16.0, 6.0, 10.0, 4.0, 1.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.2218952178955078e-05, -1.186411827802658e-05, -1.1509284377098083e-05, -1.1154450476169586e-05, -1.0799616575241089e-05, -1.0444782674312592e-05, -1.0089948773384094e-05, -9.735114872455597e-06, -9.3802809715271e-06, -9.025447070598602e-06, -8.670613169670105e-06, -8.315779268741608e-06, -7.96094536781311e-06, -7.606111466884613e-06, -7.251277565956116e-06, -6.896443665027618e-06, -6.541609764099121e-06, -6.186775863170624e-06, -5.8319419622421265e-06, -5.477108061313629e-06, -5.122274160385132e-06, -4.7674402594566345e-06, -4.412606358528137e-06, -4.05777245759964e-06, -3.7029385566711426e-06, -3.3481046557426453e-06, -2.993270754814148e-06, -2.6384368538856506e-06, -2.2836029529571533e-06, -1.928769052028656e-06, -1.5739351511001587e-06, -1.2191012501716614e-06, -8.642673492431641e-07, -5.094334483146667e-07, -1.5459954738616943e-07, 2.0023435354232788e-07, 5.550682544708252e-07, 9.099021553993225e-07, 1.2647360563278198e-06, 1.6195699572563171e-06, 1.9744038581848145e-06, 2.3292377591133118e-06, 2.684071660041809e-06, 3.0389055609703064e-06, 3.3937394618988037e-06, 3.748573362827301e-06, 4.103407263755798e-06, 4.458241164684296e-06, 4.813075065612793e-06, 5.16790896654129e-06, 5.522742867469788e-06, 5.877576768398285e-06, 6.232410669326782e-06, 6.5872445702552795e-06, 6.942078471183777e-06, 7.296912372112274e-06, 7.651746273040771e-06, 8.006580173969269e-06, 8.361414074897766e-06, 8.716247975826263e-06, 9.07108187675476e-06, 9.425915777683258e-06, 9.780749678611755e-06, 1.0135583579540253e-05, 1.049041748046875e-05]}, "gradients/encoder.encoder.layers.21.final_layer_norm.weight": {"_type": "histogram", "values": [3.0, 3.0, 2.0, 3.0, 11.0, 23.0, 32.0, 60.0, 137.0, 292.0, 201.0, 96.0, 61.0, 37.0, 20.0, 9.0, 7.0, 6.0, 4.0, 1.0, 4.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.52256712783128e-05, -5.851948299095966e-05, -5.1813294703606516e-05, -4.5107102778274566e-05, -3.840091449092142e-05, -3.169472620356828e-05, -2.498853427823633e-05, -1.8282345990883186e-05, -1.1576157703530043e-05, -4.8699685066821985e-06, 1.8362206901656464e-06, 8.542410796508193e-06, 1.5248599083861336e-05, 2.195478737121448e-05, 2.866097929654643e-05, 3.536716758389957e-05, 4.2073355871252716e-05, 4.877954415860586e-05, 5.5485732445959e-05, 6.219192437129095e-05, 6.889810902066529e-05, 7.560430094599724e-05, 8.231049287132919e-05, 8.901668479666114e-05, 9.572286944603547e-05, 0.00010242906137136742, 0.00010913524602074176, 0.00011584143794607371, 0.00012254762987140566, 0.00012925380724482238, 0.00013595999917015433, 0.00014266619109548628, 0.00014937238302081823, 0.00015607857494615018, 0.00016278476687148213, 0.00016949095879681408, 0.0001761971361702308, 0.00018290332809556276, 0.0001896095200208947, 0.00019631571194622666, 0.00020302188931964338, 0.00020972808124497533, 0.00021643427317030728, 0.00022314046509563923, 0.00022984664246905595, 0.0002365528343943879, 0.00024325902631971985, 0.00024996520369313657, 0.0002566713956184685, 0.0002633775875438005, 0.0002700837794691324, 0.0002767899713944644, 0.0002834961633197963, 0.0002902023261412978, 0.0002969085471704602, 0.0003036147099919617, 0.0003103209310211241, 0.0003170271229464561, 0.000323733314871788, 0.00033043950679712, 0.0003371456987224519, 0.0003438518615439534, 0.0003505580825731158, 0.0003572642453946173, 0.00036397043731994927]}, "gradients/encoder.encoder.layers.21.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 4.0, 3.0, 5.0, 4.0, 4.0, 16.0, 17.0, 22.0, 32.0, 33.0, 41.0, 42.0, 45.0, 73.0, 74.0, 59.0, 59.0, 74.0, 55.0, 47.0, 64.0, 47.0, 49.0, 44.0, 27.0, 32.0, 12.0, 8.0, 9.0, 6.0, 5.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.98377799987793e-05, -9.698420763015747e-05, -9.413063526153564e-05, -9.127706289291382e-05, -8.842349052429199e-05, -8.556991815567017e-05, -8.271634578704834e-05, -7.986277341842651e-05, -7.700920104980469e-05, -7.415562868118286e-05, -7.130205631256104e-05, -6.844848394393921e-05, -6.559491157531738e-05, -6.274133920669556e-05, -5.988776683807373e-05, -5.7034194469451904e-05, -5.418062210083008e-05, -5.132704973220825e-05, -4.8473477363586426e-05, -4.56199049949646e-05, -4.2766332626342773e-05, -3.991276025772095e-05, -3.705918788909912e-05, -3.4205615520477295e-05, -3.135204315185547e-05, -2.8498470783233643e-05, -2.5644898414611816e-05, -2.279132604598999e-05, -1.9937753677368164e-05, -1.7084181308746338e-05, -1.4230608940124512e-05, -1.1377036571502686e-05, -8.52346420288086e-06, -5.669891834259033e-06, -2.816319465637207e-06, 3.725290298461914e-08, 2.8908252716064453e-06, 5.7443976402282715e-06, 8.597970008850098e-06, 1.1451542377471924e-05, 1.430511474609375e-05, 1.7158687114715576e-05, 2.0012259483337402e-05, 2.286583185195923e-05, 2.5719404220581055e-05, 2.857297658920288e-05, 3.142654895782471e-05, 3.428012132644653e-05, 3.713369369506836e-05, 3.9987266063690186e-05, 4.284083843231201e-05, 4.569441080093384e-05, 4.8547983169555664e-05, 5.140155553817749e-05, 5.4255127906799316e-05, 5.710870027542114e-05, 5.996227264404297e-05, 6.28158450126648e-05, 6.566941738128662e-05, 6.852298974990845e-05, 7.137656211853027e-05, 7.42301344871521e-05, 7.708370685577393e-05, 7.993727922439575e-05, 8.279085159301758e-05]}, "gradients/encoder.encoder.layers.21.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 4.0, 4.0, 8.0, 6.0, 9.0, 18.0, 16.0, 27.0, 24.0, 43.0, 59.0, 79.0, 132.0, 155.0, 241.0, 350.0, 498.0, 762.0, 1112.0, 1788.0, 2792.0, 4623.0, 7634.0, 13379.0, 24677.0, 49168.0, 111670.0, 395938.0, 254243.0, 87968.0, 40606.0, 21011.0, 11535.0, 6636.0, 4121.0, 2479.0, 1555.0, 1005.0, 675.0, 460.0, 312.0, 199.0, 161.0, 109.0, 82.0, 37.0, 42.0, 33.0, 26.0, 14.0, 13.0, 12.0, 5.0, 3.0, 5.0, 4.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.3795833587646484e-05, -3.266427665948868e-05, -3.153271973133087e-05, -3.0401162803173065e-05, -2.926960587501526e-05, -2.8138048946857452e-05, -2.7006492018699646e-05, -2.587493509054184e-05, -2.4743378162384033e-05, -2.3611821234226227e-05, -2.248026430606842e-05, -2.1348707377910614e-05, -2.0217150449752808e-05, -1.9085593521595e-05, -1.7954036593437195e-05, -1.682247966527939e-05, -1.5690922737121582e-05, -1.4559365808963776e-05, -1.342780888080597e-05, -1.2296251952648163e-05, -1.1164695024490356e-05, -1.003313809633255e-05, -8.901581168174744e-06, -7.770024240016937e-06, -6.638467311859131e-06, -5.5069103837013245e-06, -4.375353455543518e-06, -3.2437965273857117e-06, -2.1122395992279053e-06, -9.806826710700989e-07, 1.5087425708770752e-07, 1.282431185245514e-06, 2.4139881134033203e-06, 3.5455450415611267e-06, 4.677101969718933e-06, 5.8086588978767395e-06, 6.940215826034546e-06, 8.071772754192352e-06, 9.203329682350159e-06, 1.0334886610507965e-05, 1.1466443538665771e-05, 1.2598000466823578e-05, 1.3729557394981384e-05, 1.486111432313919e-05, 1.5992671251296997e-05, 1.7124228179454803e-05, 1.825578510761261e-05, 1.9387342035770416e-05, 2.0518898963928223e-05, 2.165045589208603e-05, 2.2782012820243835e-05, 2.3913569748401642e-05, 2.5045126676559448e-05, 2.6176683604717255e-05, 2.730824053287506e-05, 2.8439797461032867e-05, 2.9571354389190674e-05, 3.070291131734848e-05, 3.183446824550629e-05, 3.296602517366409e-05, 3.40975821018219e-05, 3.5229139029979706e-05, 3.636069595813751e-05, 3.749225288629532e-05, 3.8623809814453125e-05]}, "gradients/encoder.encoder.layers.21.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 4.0, 2.0, 6.0, 5.0, 5.0, 7.0, 14.0, 4.0, 19.0, 17.0, 26.0, 24.0, 44.0, 34.0, 53.0, 55.0, 93.0, 58.0, 52.0, 97.0, 56.0, 39.0, 52.0, 57.0, 31.0, 32.0, 26.0, 27.0, 13.0, 15.0, 5.0, 9.0, 10.0, 5.0, 4.0, 5.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.470348358154297e-06, -4.3334439396858215e-06, -4.196539521217346e-06, -4.059635102748871e-06, -3.9227306842803955e-06, -3.78582626581192e-06, -3.648921847343445e-06, -3.5120174288749695e-06, -3.375113010406494e-06, -3.238208591938019e-06, -3.1013041734695435e-06, -2.964399755001068e-06, -2.8274953365325928e-06, -2.6905909180641174e-06, -2.553686499595642e-06, -2.4167820811271667e-06, -2.2798776626586914e-06, -2.142973244190216e-06, -2.0060688257217407e-06, -1.8691644072532654e-06, -1.73225998878479e-06, -1.5953555703163147e-06, -1.4584511518478394e-06, -1.321546733379364e-06, -1.1846423149108887e-06, -1.0477378964424133e-06, -9.10833477973938e-07, -7.739290595054626e-07, -6.370246410369873e-07, -5.00120222568512e-07, -3.632158041000366e-07, -2.2631138563156128e-07, -8.940696716308594e-08, 4.7497451305389404e-08, 1.8440186977386475e-07, 3.213062882423401e-07, 4.5821070671081543e-07, 5.951151251792908e-07, 7.320195436477661e-07, 8.689239621162415e-07, 1.0058283805847168e-06, 1.1427327990531921e-06, 1.2796372175216675e-06, 1.4165416359901428e-06, 1.5534460544586182e-06, 1.6903504729270935e-06, 1.8272548913955688e-06, 1.964159309864044e-06, 2.1010637283325195e-06, 2.237968146800995e-06, 2.3748725652694702e-06, 2.5117769837379456e-06, 2.648681402206421e-06, 2.7855858206748962e-06, 2.9224902391433716e-06, 3.059394657611847e-06, 3.1962990760803223e-06, 3.3332034945487976e-06, 3.470107913017273e-06, 3.6070123314857483e-06, 3.7439167499542236e-06, 3.880821168422699e-06, 4.017725586891174e-06, 4.15463000535965e-06, 4.291534423828125e-06]}, "gradients/encoder.encoder.layers.21.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 6.0, 4.0, 10.0, 14.0, 22.0, 33.0, 40.0, 85.0, 117.0, 176.0, 244.0, 407.0, 583.0, 967.0, 1507.0, 2525.0, 4659.0, 7602.0, 13505.0, 25212.0, 49997.0, 110062.0, 404372.0, 248977.0, 87166.0, 43737.0, 19941.0, 10913.0, 6117.0, 3665.0, 2168.0, 1326.0, 815.0, 551.0, 372.0, 240.0, 146.0, 93.0, 66.0, 47.0, 25.0, 22.0, 11.0, 8.0, 2.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.2411346435546875e-05, -2.174917608499527e-05, -2.1087005734443665e-05, -2.042483538389206e-05, -1.9762665033340454e-05, -1.910049468278885e-05, -1.8438324332237244e-05, -1.777615398168564e-05, -1.7113983631134033e-05, -1.6451813280582428e-05, -1.5789642930030823e-05, -1.5127472579479218e-05, -1.4465302228927612e-05, -1.3803131878376007e-05, -1.3140961527824402e-05, -1.2478791177272797e-05, -1.1816620826721191e-05, -1.1154450476169586e-05, -1.0492280125617981e-05, -9.830109775066376e-06, -9.16793942451477e-06, -8.505769073963165e-06, -7.84359872341156e-06, -7.181428372859955e-06, -6.51925802230835e-06, -5.857087671756744e-06, -5.194917321205139e-06, -4.532746970653534e-06, -3.870576620101929e-06, -3.2084062695503235e-06, -2.5462359189987183e-06, -1.884065568447113e-06, -1.2218952178955078e-06, -5.597248673439026e-07, 1.0244548320770264e-07, 7.646158337593079e-07, 1.426786184310913e-06, 2.0889565348625183e-06, 2.7511268854141235e-06, 3.4132972359657288e-06, 4.075467586517334e-06, 4.737637937068939e-06, 5.3998082876205444e-06, 6.06197863817215e-06, 6.724148988723755e-06, 7.38631933927536e-06, 8.048489689826965e-06, 8.71066004037857e-06, 9.372830390930176e-06, 1.0035000741481781e-05, 1.0697171092033386e-05, 1.1359341442584991e-05, 1.2021511793136597e-05, 1.2683682143688202e-05, 1.3345852494239807e-05, 1.4008022844791412e-05, 1.4670193195343018e-05, 1.5332363545894623e-05, 1.5994533896446228e-05, 1.6656704246997833e-05, 1.731887459754944e-05, 1.7981044948101044e-05, 1.864321529865265e-05, 1.9305385649204254e-05, 1.996755599975586e-05]}, "gradients/encoder.encoder.layers.21.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 4.0, 7.0, 2.0, 4.0, 7.0, 7.0, 6.0, 9.0, 11.0, 19.0, 13.0, 19.0, 20.0, 20.0, 42.0, 28.0, 24.0, 46.0, 27.0, 33.0, 42.0, 50.0, 44.0, 50.0, 44.0, 59.0, 35.0, 34.0, 41.0, 26.0, 26.0, 34.0, 27.0, 27.0, 31.0, 15.0, 14.0, 14.0, 8.0, 13.0, 7.0, 7.0, 3.0, 5.0, 4.0, 3.0, 3.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.616115570068359e-06, -6.356276571750641e-06, -6.096437573432922e-06, -5.836598575115204e-06, -5.576759576797485e-06, -5.316920578479767e-06, -5.057081580162048e-06, -4.79724258184433e-06, -4.537403583526611e-06, -4.277564585208893e-06, -4.017725586891174e-06, -3.757886588573456e-06, -3.4980475902557373e-06, -3.238208591938019e-06, -2.9783695936203003e-06, -2.7185305953025818e-06, -2.4586915969848633e-06, -2.1988525986671448e-06, -1.9390136003494263e-06, -1.6791746020317078e-06, -1.4193356037139893e-06, -1.1594966053962708e-06, -8.996576070785522e-07, -6.398186087608337e-07, -3.7997961044311523e-07, -1.2014061212539673e-07, 1.3969838619232178e-07, 3.995373845100403e-07, 6.593763828277588e-07, 9.192153811454773e-07, 1.1790543794631958e-06, 1.4388933777809143e-06, 1.6987323760986328e-06, 1.9585713744163513e-06, 2.21841037273407e-06, 2.4782493710517883e-06, 2.738088369369507e-06, 2.9979273676872253e-06, 3.257766366004944e-06, 3.5176053643226624e-06, 3.777444362640381e-06, 4.037283360958099e-06, 4.297122359275818e-06, 4.556961357593536e-06, 4.816800355911255e-06, 5.076639354228973e-06, 5.336478352546692e-06, 5.59631735086441e-06, 5.856156349182129e-06, 6.115995347499847e-06, 6.375834345817566e-06, 6.6356733441352844e-06, 6.895512342453003e-06, 7.1553513407707214e-06, 7.41519033908844e-06, 7.675029337406158e-06, 7.934868335723877e-06, 8.194707334041595e-06, 8.454546332359314e-06, 8.714385330677032e-06, 8.974224328994751e-06, 9.23406332731247e-06, 9.493902325630188e-06, 9.753741323947906e-06, 1.0013580322265625e-05]}, "gradients/encoder.encoder.layers.21.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 3.0, 7.0, 3.0, 6.0, 17.0, 20.0, 31.0, 38.0, 56.0, 73.0, 113.0, 157.0, 239.0, 338.0, 598.0, 844.0, 1268.0, 2108.0, 3555.0, 6423.0, 12136.0, 26239.0, 65372.0, 241356.0, 524174.0, 93657.0, 34825.0, 15640.0, 8056.0, 4273.0, 2545.0, 1494.0, 954.0, 611.0, 429.0, 290.0, 187.0, 114.0, 84.0, 74.0, 46.0, 32.0, 16.0, 14.0, 14.0, 11.0, 11.0, 6.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.6808509826660156e-05, -1.6269274055957794e-05, -1.5730038285255432e-05, -1.519080251455307e-05, -1.4651566743850708e-05, -1.4112330973148346e-05, -1.3573095202445984e-05, -1.3033859431743622e-05, -1.249462366104126e-05, -1.1955387890338898e-05, -1.1416152119636536e-05, -1.0876916348934174e-05, -1.0337680578231812e-05, -9.79844480752945e-06, -9.259209036827087e-06, -8.719973266124725e-06, -8.180737495422363e-06, -7.641501724720001e-06, -7.102265954017639e-06, -6.563030183315277e-06, -6.023794412612915e-06, -5.484558641910553e-06, -4.945322871208191e-06, -4.406087100505829e-06, -3.866851329803467e-06, -3.3276155591011047e-06, -2.7883797883987427e-06, -2.2491440176963806e-06, -1.7099082469940186e-06, -1.1706724762916565e-06, -6.314367055892944e-07, -9.220093488693237e-08, 4.470348358154297e-07, 9.862706065177917e-07, 1.5255063772201538e-06, 2.064742147922516e-06, 2.603977918624878e-06, 3.14321368932724e-06, 3.682449460029602e-06, 4.221685230731964e-06, 4.760921001434326e-06, 5.300156772136688e-06, 5.83939254283905e-06, 6.378628313541412e-06, 6.917864084243774e-06, 7.4570998549461365e-06, 7.996335625648499e-06, 8.53557139635086e-06, 9.074807167053223e-06, 9.614042937755585e-06, 1.0153278708457947e-05, 1.0692514479160309e-05, 1.1231750249862671e-05, 1.1770986020565033e-05, 1.2310221791267395e-05, 1.2849457561969757e-05, 1.3388693332672119e-05, 1.3927929103374481e-05, 1.4467164874076843e-05, 1.5006400644779205e-05, 1.5545636415481567e-05, 1.608487218618393e-05, 1.662410795688629e-05, 1.7163343727588654e-05, 1.7702579498291016e-05]}, "gradients/encoder.encoder.layers.21.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 1.0, 1.0, 1.0, 2.0, 2.0, 9.0, 5.0, 4.0, 5.0, 6.0, 8.0, 2.0, 14.0, 13.0, 17.0, 15.0, 24.0, 32.0, 39.0, 28.0, 46.0, 76.0, 68.0, 163.0, 71.0, 76.0, 48.0, 49.0, 28.0, 32.0, 27.0, 25.0, 21.0, 8.0, 10.0, 5.0, 6.0, 4.0, 4.0, 2.0, 6.0, 3.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-7.331371307373047e-06, -7.119961082935333e-06, -6.90855085849762e-06, -6.697140634059906e-06, -6.485730409622192e-06, -6.274320185184479e-06, -6.062909960746765e-06, -5.8514997363090515e-06, -5.640089511871338e-06, -5.428679287433624e-06, -5.217269062995911e-06, -5.005858838558197e-06, -4.794448614120483e-06, -4.58303838968277e-06, -4.371628165245056e-06, -4.1602179408073425e-06, -3.948807716369629e-06, -3.7373974919319153e-06, -3.5259872674942017e-06, -3.314577043056488e-06, -3.1031668186187744e-06, -2.891756594181061e-06, -2.680346369743347e-06, -2.4689361453056335e-06, -2.25752592086792e-06, -2.0461156964302063e-06, -1.8347054719924927e-06, -1.623295247554779e-06, -1.4118850231170654e-06, -1.2004747986793518e-06, -9.890645742416382e-07, -7.776543498039246e-07, -5.662441253662109e-07, -3.548339009284973e-07, -1.434236764907837e-07, 6.798654794692993e-08, 2.7939677238464355e-07, 4.908069968223572e-07, 7.022172212600708e-07, 9.136274456977844e-07, 1.125037670135498e-06, 1.3364478945732117e-06, 1.5478581190109253e-06, 1.759268343448639e-06, 1.9706785678863525e-06, 2.182088792324066e-06, 2.3934990167617798e-06, 2.6049092411994934e-06, 2.816319465637207e-06, 3.0277296900749207e-06, 3.2391399145126343e-06, 3.450550138950348e-06, 3.6619603633880615e-06, 3.873370587825775e-06, 4.084780812263489e-06, 4.296191036701202e-06, 4.507601261138916e-06, 4.71901148557663e-06, 4.930421710014343e-06, 5.141831934452057e-06, 5.3532421588897705e-06, 5.564652383327484e-06, 5.776062607765198e-06, 5.987472832202911e-06, 6.198883056640625e-06]}, "gradients/encoder.encoder.layers.21.attention.q_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 3.0, 4.0, 5.0, 12.0, 9.0, 14.0, 24.0, 33.0, 49.0, 58.0, 98.0, 135.0, 196.0, 276.0, 432.0, 725.0, 944.0, 1758.0, 3086.0, 4970.0, 11293.0, 29567.0, 120629.0, 698835.0, 120991.0, 29952.0, 10728.0, 5841.0, 3097.0, 1801.0, 954.0, 702.0, 416.0, 267.0, 187.0, 137.0, 87.0, 71.0, 52.0, 29.0, 27.0, 17.0, 17.0, 9.0, 9.0, 5.0, 4.0, 2.0, 4.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.7642974853515625e-05, -1.7064623534679413e-05, -1.64862722158432e-05, -1.590792089700699e-05, -1.5329569578170776e-05, -1.4751218259334564e-05, -1.4172866940498352e-05, -1.359451562166214e-05, -1.3016164302825928e-05, -1.2437812983989716e-05, -1.1859461665153503e-05, -1.1281110346317291e-05, -1.0702759027481079e-05, -1.0124407708644867e-05, -9.546056389808655e-06, -8.967705070972443e-06, -8.38935375213623e-06, -7.811002433300018e-06, -7.232651114463806e-06, -6.654299795627594e-06, -6.075948476791382e-06, -5.49759715795517e-06, -4.9192458391189575e-06, -4.340894520282745e-06, -3.762543201446533e-06, -3.184191882610321e-06, -2.605840563774109e-06, -2.0274892449378967e-06, -1.4491379261016846e-06, -8.707866072654724e-07, -2.9243528842926025e-07, 2.859160304069519e-07, 8.642673492431641e-07, 1.4426186680793762e-06, 2.0209699869155884e-06, 2.5993213057518005e-06, 3.1776726245880127e-06, 3.756023943424225e-06, 4.334375262260437e-06, 4.912726581096649e-06, 5.491077899932861e-06, 6.0694292187690735e-06, 6.647780537605286e-06, 7.226131856441498e-06, 7.80448317527771e-06, 8.382834494113922e-06, 8.961185812950134e-06, 9.539537131786346e-06, 1.0117888450622559e-05, 1.069623976945877e-05, 1.1274591088294983e-05, 1.1852942407131195e-05, 1.2431293725967407e-05, 1.300964504480362e-05, 1.3587996363639832e-05, 1.4166347682476044e-05, 1.4744699001312256e-05, 1.5323050320148468e-05, 1.590140163898468e-05, 1.6479752957820892e-05, 1.7058104276657104e-05, 1.7636455595493317e-05, 1.821480691432953e-05, 1.879315823316574e-05, 1.9371509552001953e-05]}, "gradients/encoder.encoder.layers.21.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 4.0, 2.0, 0.0, 6.0, 3.0, 4.0, 3.0, 2.0, 2.0, 3.0, 7.0, 6.0, 4.0, 6.0, 5.0, 17.0, 17.0, 28.0, 40.0, 33.0, 69.0, 76.0, 137.0, 156.0, 111.0, 59.0, 54.0, 43.0, 27.0, 21.0, 15.0, 11.0, 8.0, 7.0, 7.0, 8.0, 4.0, 0.0, 2.0, 4.0, 1.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.702278137207031e-06, -8.480623364448547e-06, -8.258968591690063e-06, -8.03731381893158e-06, -7.815659046173096e-06, -7.594004273414612e-06, -7.372349500656128e-06, -7.150694727897644e-06, -6.92903995513916e-06, -6.707385182380676e-06, -6.485730409622192e-06, -6.2640756368637085e-06, -6.042420864105225e-06, -5.820766091346741e-06, -5.599111318588257e-06, -5.377456545829773e-06, -5.155801773071289e-06, -4.934147000312805e-06, -4.712492227554321e-06, -4.490837454795837e-06, -4.2691826820373535e-06, -4.04752790927887e-06, -3.825873136520386e-06, -3.604218363761902e-06, -3.382563591003418e-06, -3.160908818244934e-06, -2.93925404548645e-06, -2.7175992727279663e-06, -2.4959444999694824e-06, -2.2742897272109985e-06, -2.0526349544525146e-06, -1.8309801816940308e-06, -1.6093254089355469e-06, -1.387670636177063e-06, -1.166015863418579e-06, -9.443610906600952e-07, -7.227063179016113e-07, -5.010515451431274e-07, -2.7939677238464355e-07, -5.774199962615967e-08, 1.6391277313232422e-07, 3.855675458908081e-07, 6.07222318649292e-07, 8.288770914077759e-07, 1.0505318641662598e-06, 1.2721866369247437e-06, 1.4938414096832275e-06, 1.7154961824417114e-06, 1.9371509552001953e-06, 2.158805727958679e-06, 2.380460500717163e-06, 2.602115273475647e-06, 2.823770046234131e-06, 3.0454248189926147e-06, 3.2670795917510986e-06, 3.4887343645095825e-06, 3.7103891372680664e-06, 3.93204391002655e-06, 4.153698682785034e-06, 4.375353455543518e-06, 4.597008228302002e-06, 4.818663001060486e-06, 5.04031777381897e-06, 5.261972546577454e-06, 5.4836273193359375e-06]}, "gradients/encoder.encoder.layers.21.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 1.0, 0.0, 4.0, 2.0, 4.0, 13.0, 42.0, 67.0, 169.0, 460.0, 148.0, 52.0, 30.0, 13.0, 7.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000169057646417059, -0.00015991104010026902, -0.00015076443378347903, -0.00014161784201860428, -0.0001324712357018143, -0.0001233246293850243, -0.00011417802306823432, -0.00010503142402740195, -9.588481771061197e-05, -8.673821139382198e-05, -7.759161235298961e-05, -6.844500603619963e-05, -5.929840335738845e-05, -5.0151800678577274e-05, -4.100519436178729e-05, -3.185859532095492e-05, -2.2711989004164934e-05, -1.3565385415859055e-05, -4.418781827553175e-06, 4.727822670247406e-06, 1.3874425349058583e-05, 2.302102802786976e-05, 3.2167634344659746e-05, 4.1314233385492116e-05, 5.04608397022821e-05, 5.960744238109328e-05, 6.875404505990446e-05, 7.790065137669444e-05, 8.704725769348443e-05, 9.61938567343168e-05, 0.00010534046305110678, 0.00011448706209193915, 0.00012363368296064436, 0.00013278028927743435, 0.00014192689559422433, 0.00015107350191101432, 0.00016022009367588907, 0.00016936669999267906, 0.00017851330630946904, 0.0001876598980743438, 0.00019680650439113379, 0.00020595311070792377, 0.00021509971702471375, 0.00022424632334150374, 0.0002333929151063785, 0.00024253952142316848, 0.0002516861422918737, 0.0002608327195048332, 0.00026997935492545366, 0.00027912596124224365, 0.00028827256755903363, 0.0002974191738758236, 0.0003065657801926136, 0.00031571235740557313, 0.00032485899282619357, 0.0003340055700391531, 0.0003431521763559431, 0.00035229878267273307, 0.00036144538898952305, 0.00037059199530631304, 0.000379738601623103, 0.000388885207939893, 0.00039803178515285254, 0.0004071783914696425, 0.0004163249977864325]}, "gradients/encoder.encoder.layers.21.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 9.0, 10.0, 13.0, 15.0, 19.0, 16.0, 25.0, 42.0, 41.0, 71.0, 58.0, 66.0, 63.0, 67.0, 73.0, 71.0, 69.0, 56.0, 45.0, 46.0, 34.0, 29.0, 23.0, 18.0, 10.0, 11.0, 9.0, 2.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001043081283569336, -0.00010156631469726562, -9.882450103759766e-05, -9.608268737792969e-05, -9.334087371826172e-05, -9.059906005859375e-05, -8.785724639892578e-05, -8.511543273925781e-05, -8.237361907958984e-05, -7.963180541992188e-05, -7.68899917602539e-05, -7.414817810058594e-05, -7.140636444091797e-05, -6.866455078125e-05, -6.592273712158203e-05, -6.318092346191406e-05, -6.0439109802246094e-05, -5.7697296142578125e-05, -5.4955482482910156e-05, -5.221366882324219e-05, -4.947185516357422e-05, -4.673004150390625e-05, -4.398822784423828e-05, -4.124641418457031e-05, -3.8504600524902344e-05, -3.5762786865234375e-05, -3.3020973205566406e-05, -3.0279159545898438e-05, -2.753734588623047e-05, -2.47955322265625e-05, -2.205371856689453e-05, -1.9311904907226562e-05, -1.6570091247558594e-05, -1.3828277587890625e-05, -1.1086463928222656e-05, -8.344650268554688e-06, -5.602836608886719e-06, -2.86102294921875e-06, -1.1920928955078125e-07, 2.6226043701171875e-06, 5.364418029785156e-06, 8.106231689453125e-06, 1.0848045349121094e-05, 1.3589859008789062e-05, 1.633167266845703e-05, 1.9073486328125e-05, 2.181529998779297e-05, 2.4557113647460938e-05, 2.7298927307128906e-05, 3.0040740966796875e-05, 3.2782554626464844e-05, 3.552436828613281e-05, 3.826618194580078e-05, 4.100799560546875e-05, 4.374980926513672e-05, 4.649162292480469e-05, 4.9233436584472656e-05, 5.1975250244140625e-05, 5.4717063903808594e-05, 5.745887756347656e-05, 6.020069122314453e-05, 6.29425048828125e-05, 6.568431854248047e-05, 6.842613220214844e-05, 7.11679458618164e-05]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.weight": {"_type": "histogram", "values": [3.0, 2.0, 2.0, 5.0, 9.0, 14.0, 21.0, 42.0, 49.0, 76.0, 116.0, 182.0, 266.0, 436.0, 620.0, 928.0, 1441.0, 2412.0, 4203.0, 8059.0, 16937.0, 38770.0, 88182.0, 260255.0, 3138065.0, 417792.0, 121399.0, 47822.0, 22179.0, 10435.0, 5471.0, 2954.0, 1739.0, 1005.0, 647.0, 445.0, 312.0, 204.0, 159.0, 123.0, 111.0, 69.0, 80.0, 57.0, 50.0, 28.0, 24.0, 23.0, 18.0, 12.0, 10.0, 12.0, 7.0, 4.0, 5.0, 5.0, 1.0, 3.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.844499588012695e-05, -3.688689321279526e-05, -3.532879054546356e-05, -3.3770687878131866e-05, -3.221258521080017e-05, -3.0654482543468475e-05, -2.909637987613678e-05, -2.7538277208805084e-05, -2.598017454147339e-05, -2.4422071874141693e-05, -2.2863969206809998e-05, -2.1305866539478302e-05, -1.9747763872146606e-05, -1.818966120481491e-05, -1.6631558537483215e-05, -1.507345587015152e-05, -1.3515353202819824e-05, -1.1957250535488129e-05, -1.0399147868156433e-05, -8.841045200824738e-06, -7.282942533493042e-06, -5.7248398661613464e-06, -4.166737198829651e-06, -2.6086345314979553e-06, -1.0505318641662598e-06, 5.075708031654358e-07, 2.0656734704971313e-06, 3.623776137828827e-06, 5.1818788051605225e-06, 6.739981472492218e-06, 8.298084139823914e-06, 9.856186807155609e-06, 1.1414289474487305e-05, 1.2972392141819e-05, 1.4530494809150696e-05, 1.608859747648239e-05, 1.7646700143814087e-05, 1.9204802811145782e-05, 2.0762905478477478e-05, 2.2321008145809174e-05, 2.387911081314087e-05, 2.5437213480472565e-05, 2.699531614780426e-05, 2.8553418815135956e-05, 3.011152148246765e-05, 3.166962414979935e-05, 3.322772681713104e-05, 3.478582948446274e-05, 3.6343932151794434e-05, 3.790203481912613e-05, 3.9460137486457825e-05, 4.101824015378952e-05, 4.2576342821121216e-05, 4.413444548845291e-05, 4.569254815578461e-05, 4.72506508231163e-05, 4.8808753490448e-05, 5.0366856157779694e-05, 5.192495882511139e-05, 5.3483061492443085e-05, 5.504116415977478e-05, 5.6599266827106476e-05, 5.815736949443817e-05, 5.971547216176987e-05, 6.127357482910156e-05]}, "gradients/encoder.encoder.layers.20.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 6.0, 5.0, 17.0, 23.0, 32.0, 28.0, 36.0, 67.0, 67.0, 116.0, 91.0, 87.0, 115.0, 71.0, 72.0, 40.0, 38.0, 23.0, 24.0, 11.0, 7.0, 9.0, 5.0, 6.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.125999450683594e-06, -4.922039806842804e-06, -4.718080163002014e-06, -4.514120519161224e-06, -4.3101608753204346e-06, -4.106201231479645e-06, -3.902241587638855e-06, -3.698281943798065e-06, -3.4943222999572754e-06, -3.2903626561164856e-06, -3.086403012275696e-06, -2.882443368434906e-06, -2.678483724594116e-06, -2.4745240807533264e-06, -2.2705644369125366e-06, -2.066604793071747e-06, -1.862645149230957e-06, -1.6586855053901672e-06, -1.4547258615493774e-06, -1.2507662177085876e-06, -1.0468065738677979e-06, -8.428469300270081e-07, -6.388872861862183e-07, -4.3492764234542847e-07, -2.3096799850463867e-07, -2.7008354663848877e-08, 1.7695128917694092e-07, 3.809109330177307e-07, 5.848705768585205e-07, 7.888302206993103e-07, 9.927898645401e-07, 1.1967495083808899e-06, 1.4007091522216797e-06, 1.6046687960624695e-06, 1.8086284399032593e-06, 2.012588083744049e-06, 2.216547727584839e-06, 2.4205073714256287e-06, 2.6244670152664185e-06, 2.8284266591072083e-06, 3.032386302947998e-06, 3.236345946788788e-06, 3.4403055906295776e-06, 3.6442652344703674e-06, 3.848224878311157e-06, 4.052184522151947e-06, 4.256144165992737e-06, 4.460103809833527e-06, 4.664063453674316e-06, 4.868023097515106e-06, 5.071982741355896e-06, 5.275942385196686e-06, 5.479902029037476e-06, 5.683861672878265e-06, 5.887821316719055e-06, 6.091780960559845e-06, 6.295740604400635e-06, 6.4997002482414246e-06, 6.703659892082214e-06, 6.907619535923004e-06, 7.111579179763794e-06, 7.315538823604584e-06, 7.5194984674453735e-06, 7.723458111286163e-06, 7.927417755126953e-06]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 6.0, 6.0, 6.0, 7.0, 8.0, 21.0, 24.0, 31.0, 36.0, 77.0, 88.0, 143.0, 198.0, 264.0, 420.0, 563.0, 897.0, 1292.0, 2115.0, 3414.0, 4841.0, 8855.0, 13803.0, 26130.0, 44858.0, 97961.0, 210614.0, 1022197.0, 2243462.0, 270009.0, 117645.0, 52619.0, 30202.0, 15661.0, 10096.0, 6098.0, 3323.0, 2239.0, 1332.0, 944.0, 580.0, 408.0, 257.0, 173.0, 118.0, 74.0, 67.0, 33.0, 22.0, 18.0, 14.0, 10.0, 5.0, 4.0, 3.0, 4.0, 1.0, 2.0, 1.0], "bins": [-2.47955322265625e-05, -2.4046748876571655e-05, -2.329796552658081e-05, -2.2549182176589966e-05, -2.180039882659912e-05, -2.1051615476608276e-05, -2.030283212661743e-05, -1.9554048776626587e-05, -1.8805265426635742e-05, -1.8056482076644897e-05, -1.7307698726654053e-05, -1.6558915376663208e-05, -1.5810132026672363e-05, -1.5061348676681519e-05, -1.4312565326690674e-05, -1.3563781976699829e-05, -1.2814998626708984e-05, -1.206621527671814e-05, -1.1317431926727295e-05, -1.056864857673645e-05, -9.819865226745605e-06, -9.07108187675476e-06, -8.322298526763916e-06, -7.573515176773071e-06, -6.8247318267822266e-06, -6.075948476791382e-06, -5.327165126800537e-06, -4.578381776809692e-06, -3.829598426818848e-06, -3.080815076828003e-06, -2.332031726837158e-06, -1.5832483768463135e-06, -8.344650268554688e-07, -8.568167686462402e-08, 6.631016731262207e-07, 1.4118850231170654e-06, 2.16066837310791e-06, 2.909451723098755e-06, 3.6582350730895996e-06, 4.407018423080444e-06, 5.155801773071289e-06, 5.904585123062134e-06, 6.6533684730529785e-06, 7.402151823043823e-06, 8.150935173034668e-06, 8.899718523025513e-06, 9.648501873016357e-06, 1.0397285223007202e-05, 1.1146068572998047e-05, 1.1894851922988892e-05, 1.2643635272979736e-05, 1.3392418622970581e-05, 1.4141201972961426e-05, 1.488998532295227e-05, 1.5638768672943115e-05, 1.638755202293396e-05, 1.7136335372924805e-05, 1.788511872291565e-05, 1.8633902072906494e-05, 1.938268542289734e-05, 2.0131468772888184e-05, 2.088025212287903e-05, 2.1629035472869873e-05, 2.2377818822860718e-05, 2.3126602172851562e-05]}, "gradients/encoder.encoder.layers.20.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 0.0, 1.0, 2.0, 2.0, 4.0, 5.0, 3.0, 13.0, 6.0, 9.0, 18.0, 18.0, 27.0, 28.0, 37.0, 43.0, 47.0, 70.0, 75.0, 78.0, 101.0, 106.0, 120.0, 247.0, 422.0, 660.0, 509.0, 229.0, 193.0, 139.0, 122.0, 114.0, 95.0, 87.0, 87.0, 60.0, 42.0, 50.0, 35.0, 33.0, 37.0, 14.0, 22.0, 20.0, 18.0, 9.0, 5.0, 7.0, 1.0, 4.0, 4.0, 4.0, 1.0, 1.0, 2.0, 0.0, 1.0, 2.0], "bins": [-1.1861324310302734e-05, -1.148320734500885e-05, -1.1105090379714966e-05, -1.0726973414421082e-05, -1.0348856449127197e-05, -9.970739483833313e-06, -9.592622518539429e-06, -9.214505553245544e-06, -8.83638858795166e-06, -8.458271622657776e-06, -8.080154657363892e-06, -7.702037692070007e-06, -7.323920726776123e-06, -6.945803761482239e-06, -6.5676867961883545e-06, -6.18956983089447e-06, -5.811452865600586e-06, -5.433335900306702e-06, -5.055218935012817e-06, -4.677101969718933e-06, -4.298985004425049e-06, -3.9208680391311646e-06, -3.5427510738372803e-06, -3.164634108543396e-06, -2.7865171432495117e-06, -2.4084001779556274e-06, -2.030283212661743e-06, -1.6521662473678589e-06, -1.2740492820739746e-06, -8.959323167800903e-07, -5.178153514862061e-07, -1.3969838619232178e-07, 2.384185791015625e-07, 6.165355443954468e-07, 9.94652509689331e-07, 1.3727694749832153e-06, 1.7508864402770996e-06, 2.129003405570984e-06, 2.507120370864868e-06, 2.8852373361587524e-06, 3.2633543014526367e-06, 3.641471266746521e-06, 4.019588232040405e-06, 4.3977051973342896e-06, 4.775822162628174e-06, 5.153939127922058e-06, 5.532056093215942e-06, 5.910173058509827e-06, 6.288290023803711e-06, 6.666406989097595e-06, 7.0445239543914795e-06, 7.422640919685364e-06, 7.800757884979248e-06, 8.178874850273132e-06, 8.556991815567017e-06, 8.935108780860901e-06, 9.313225746154785e-06, 9.69134271144867e-06, 1.0069459676742554e-05, 1.0447576642036438e-05, 1.0825693607330322e-05, 1.1203810572624207e-05, 1.158192753791809e-05, 1.1960044503211975e-05, 1.233816146850586e-05]}, "gradients/encoder.encoder.layers.20.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 6.0, 8.0, 8.0, 10.0, 14.0, 13.0, 34.0, 60.0, 83.0, 196.0, 199.0, 119.0, 65.0, 59.0, 37.0, 28.0, 14.0, 11.0, 13.0, 5.0, 5.0, 5.0, 5.0, 6.0, 2.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013693243090528995, -0.00013123918324708939, -0.00012554593558888882, -0.00011985269520664588, -0.00011415944754844531, -0.00010846619989024475, -0.0001027729595080018, -9.707971184980124e-05, -9.138646419160068e-05, -8.569321653340012e-05, -7.999996887519956e-05, -7.430672849295661e-05, -6.861348083475605e-05, -6.292023317655548e-05, -5.722698915633373e-05, -5.1533745136111975e-05, -4.584049747791141e-05, -4.014724981971085e-05, -3.4454005799489096e-05, -2.8760759960277937e-05, -2.306751412106678e-05, -1.737426828185562e-05, -1.1681022442644462e-05, -5.987778422422707e-06, -2.945307642221451e-07, 5.398715074989013e-06, 1.1091960914200172e-05, 1.678520675341133e-05, 2.247845259262249e-05, 2.8171698431833647e-05, 3.3864944271044806e-05, 3.955818829126656e-05, 4.525143594946712e-05, 5.0944683607667685e-05, 5.663792762788944e-05, 6.23311716481112e-05, 6.802441930631176e-05, 7.371766696451232e-05, 7.941090734675527e-05, 8.510415500495583e-05, 9.079740266315639e-05, 9.649065032135695e-05, 0.00010218389797955751, 0.00010787713836180046, 0.00011357038602000102, 0.00011926363367820159, 0.00012495687406044453, 0.0001306501217186451, 0.00013634336937684566, 0.00014203661703504622, 0.00014772986469324678, 0.00015342311235144734, 0.00015911634545773268, 0.00016480959311593324, 0.0001705028407741338, 0.00017619608843233436, 0.00018188933609053493, 0.0001875825837487355, 0.00019327583140693605, 0.0001989690790651366, 0.00020466232672333717, 0.0002103555598296225, 0.00021604880748782307, 0.00022174205514602363, 0.0002274353028042242]}, "gradients/encoder.encoder.layers.20.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 0.0, 5.0, 5.0, 10.0, 3.0, 4.0, 12.0, 17.0, 19.0, 22.0, 21.0, 26.0, 38.0, 30.0, 41.0, 48.0, 43.0, 53.0, 51.0, 55.0, 54.0, 59.0, 54.0, 59.0, 51.0, 45.0, 36.0, 21.0, 26.0, 24.0, 13.0, 19.0, 14.0, 2.0, 10.0, 5.0, 5.0, 4.0, 5.0, 3.0, 2.0, 2.0], "bins": [-0.00012922286987304688, -0.00012611504644155502, -0.00012300722301006317, -0.00011989939957857132, -0.00011679157614707947, -0.00011368375271558762, -0.00011057592928409576, -0.00010746810585260391, -0.00010436028242111206, -0.00010125245898962021, -9.814463555812836e-05, -9.50368121266365e-05, -9.192898869514465e-05, -8.88211652636528e-05, -8.571334183216095e-05, -8.26055184006691e-05, -7.949769496917725e-05, -7.63898715376854e-05, -7.328204810619354e-05, -7.017422467470169e-05, -6.706640124320984e-05, -6.395857781171799e-05, -6.0850754380226135e-05, -5.7742930948734283e-05, -5.463510751724243e-05, -5.152728408575058e-05, -4.841946065425873e-05, -4.5311637222766876e-05, -4.2203813791275024e-05, -3.909599035978317e-05, -3.598816692829132e-05, -3.288034349679947e-05, -2.9772520065307617e-05, -2.6664696633815765e-05, -2.3556873202323914e-05, -2.0449049770832062e-05, -1.734122633934021e-05, -1.4233402907848358e-05, -1.1125579476356506e-05, -8.017756044864655e-06, -4.909932613372803e-06, -1.802109181880951e-06, 1.3057142496109009e-06, 4.413537681102753e-06, 7.5213611125946045e-06, 1.0629184544086456e-05, 1.3737007975578308e-05, 1.684483140707016e-05, 1.9952654838562012e-05, 2.3060478270053864e-05, 2.6168301701545715e-05, 2.9276125133037567e-05, 3.238394856452942e-05, 3.549177199602127e-05, 3.859959542751312e-05, 4.1707418859004974e-05, 4.4815242290496826e-05, 4.792306572198868e-05, 5.103088915348053e-05, 5.413871258497238e-05, 5.7246536016464233e-05, 6.0354359447956085e-05, 6.346218287944794e-05, 6.657000631093979e-05, 6.967782974243164e-05]}, "gradients/encoder.encoder.layers.20.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 2.0, 2.0, 9.0, 8.0, 16.0, 20.0, 27.0, 48.0, 76.0, 114.0, 133.0, 223.0, 380.0, 593.0, 889.0, 1512.0, 2658.0, 4279.0, 7556.0, 14450.0, 27246.0, 56093.0, 149646.0, 471458.0, 174907.0, 69544.0, 30085.0, 15765.0, 8477.0, 5053.0, 2726.0, 1707.0, 1091.0, 646.0, 393.0, 270.0, 153.0, 108.0, 83.0, 35.0, 26.0, 15.0, 17.0, 9.0, 7.0, 3.0, 1.0, 1.0, 1.0, 2.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.9027462005615234e-05, -2.7935951948165894e-05, -2.6844441890716553e-05, -2.5752931833267212e-05, -2.466142177581787e-05, -2.356991171836853e-05, -2.247840166091919e-05, -2.138689160346985e-05, -2.0295381546020508e-05, -1.9203871488571167e-05, -1.8112361431121826e-05, -1.7020851373672485e-05, -1.5929341316223145e-05, -1.4837831258773804e-05, -1.3746321201324463e-05, -1.2654811143875122e-05, -1.1563301086425781e-05, -1.047179102897644e-05, -9.3802809715271e-06, -8.288770914077759e-06, -7.197260856628418e-06, -6.105750799179077e-06, -5.014240741729736e-06, -3.9227306842803955e-06, -2.8312206268310547e-06, -1.7397105693817139e-06, -6.48200511932373e-07, 4.4330954551696777e-07, 1.5348196029663086e-06, 2.6263296604156494e-06, 3.7178397178649902e-06, 4.809349775314331e-06, 5.900859832763672e-06, 6.992369890213013e-06, 8.083879947662354e-06, 9.175390005111694e-06, 1.0266900062561035e-05, 1.1358410120010376e-05, 1.2449920177459717e-05, 1.3541430234909058e-05, 1.4632940292358398e-05, 1.572445034980774e-05, 1.681596040725708e-05, 1.790747046470642e-05, 1.8998980522155762e-05, 2.0090490579605103e-05, 2.1182000637054443e-05, 2.2273510694503784e-05, 2.3365020751953125e-05, 2.4456530809402466e-05, 2.5548040866851807e-05, 2.6639550924301147e-05, 2.7731060981750488e-05, 2.882257103919983e-05, 2.991408109664917e-05, 3.100559115409851e-05, 3.209710121154785e-05, 3.318861126899719e-05, 3.428012132644653e-05, 3.5371631383895874e-05, 3.6463141441345215e-05, 3.7554651498794556e-05, 3.8646161556243896e-05, 3.973767161369324e-05, 4.082918167114258e-05]}, "gradients/encoder.encoder.layers.20.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 4.0, 2.0, 4.0, 4.0, 3.0, 3.0, 10.0, 8.0, 13.0, 11.0, 22.0, 19.0, 27.0, 26.0, 38.0, 39.0, 46.0, 44.0, 63.0, 55.0, 63.0, 65.0, 67.0, 82.0, 46.0, 34.0, 45.0, 28.0, 24.0, 24.0, 18.0, 10.0, 15.0, 10.0, 4.0, 9.0, 10.0, 5.0, 2.0, 5.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-4.410743713378906e-06, -4.286877810955048e-06, -4.163011908531189e-06, -4.03914600610733e-06, -3.915280103683472e-06, -3.791414201259613e-06, -3.6675482988357544e-06, -3.5436823964118958e-06, -3.419816493988037e-06, -3.2959505915641785e-06, -3.17208468914032e-06, -3.048218786716461e-06, -2.9243528842926025e-06, -2.800486981868744e-06, -2.6766210794448853e-06, -2.5527551770210266e-06, -2.428889274597168e-06, -2.3050233721733093e-06, -2.1811574697494507e-06, -2.057291567325592e-06, -1.9334256649017334e-06, -1.8095597624778748e-06, -1.6856938600540161e-06, -1.5618279576301575e-06, -1.4379620552062988e-06, -1.3140961527824402e-06, -1.1902302503585815e-06, -1.066364347934723e-06, -9.424984455108643e-07, -8.186325430870056e-07, -6.94766640663147e-07, -5.709007382392883e-07, -4.470348358154297e-07, -3.2316893339157104e-07, -1.993030309677124e-07, -7.543712854385376e-08, 4.842877388000488e-08, 1.7229467630386353e-07, 2.9616057872772217e-07, 4.200264811515808e-07, 5.438923835754395e-07, 6.677582859992981e-07, 7.916241884231567e-07, 9.154900908470154e-07, 1.039355993270874e-06, 1.1632218956947327e-06, 1.2870877981185913e-06, 1.41095370054245e-06, 1.5348196029663086e-06, 1.6586855053901672e-06, 1.7825514078140259e-06, 1.9064173102378845e-06, 2.030283212661743e-06, 2.154149115085602e-06, 2.2780150175094604e-06, 2.401880919933319e-06, 2.5257468223571777e-06, 2.6496127247810364e-06, 2.773478627204895e-06, 2.8973445296287537e-06, 3.0212104320526123e-06, 3.145076334476471e-06, 3.2689422369003296e-06, 3.3928081393241882e-06, 3.516674041748047e-06]}, "gradients/encoder.encoder.layers.20.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 3.0, 7.0, 7.0, 6.0, 12.0, 9.0, 24.0, 24.0, 17.0, 55.0, 53.0, 79.0, 102.0, 167.0, 203.0, 278.0, 369.0, 603.0, 712.0, 1059.0, 1721.0, 2246.0, 3720.0, 5097.0, 8427.0, 12109.0, 22199.0, 32752.0, 64847.0, 113943.0, 357686.0, 217829.0, 79785.0, 49217.0, 25377.0, 17413.0, 9812.0, 7040.0, 4113.0, 2966.0, 1798.0, 1280.0, 1033.0, 649.0, 525.0, 302.0, 251.0, 171.0, 139.0, 83.0, 62.0, 45.0, 38.0, 30.0, 19.0, 20.0, 8.0, 13.0, 8.0, 6.0, 2.0, 2.0], "bins": [-1.6510486602783203e-05, -1.600664108991623e-05, -1.5502795577049255e-05, -1.4998950064182281e-05, -1.4495104551315308e-05, -1.3991259038448334e-05, -1.348741352558136e-05, -1.2983568012714386e-05, -1.2479722499847412e-05, -1.1975876986980438e-05, -1.1472031474113464e-05, -1.096818596124649e-05, -1.0464340448379517e-05, -9.960494935512543e-06, -9.456649422645569e-06, -8.952803909778595e-06, -8.448958396911621e-06, -7.945112884044647e-06, -7.441267371177673e-06, -6.9374218583106995e-06, -6.433576345443726e-06, -5.929730832576752e-06, -5.425885319709778e-06, -4.922039806842804e-06, -4.41819429397583e-06, -3.914348781108856e-06, -3.4105032682418823e-06, -2.9066577553749084e-06, -2.4028122425079346e-06, -1.8989667296409607e-06, -1.3951212167739868e-06, -8.912757039070129e-07, -3.8743019104003906e-07, 1.1641532182693481e-07, 6.202608346939087e-07, 1.1241063475608826e-06, 1.6279518604278564e-06, 2.1317973732948303e-06, 2.635642886161804e-06, 3.139488399028778e-06, 3.643333911895752e-06, 4.147179424762726e-06, 4.6510249376297e-06, 5.154870450496674e-06, 5.6587159633636475e-06, 6.162561476230621e-06, 6.666406989097595e-06, 7.170252501964569e-06, 7.674098014831543e-06, 8.177943527698517e-06, 8.68178904056549e-06, 9.185634553432465e-06, 9.689480066299438e-06, 1.0193325579166412e-05, 1.0697171092033386e-05, 1.120101660490036e-05, 1.1704862117767334e-05, 1.2208707630634308e-05, 1.2712553143501282e-05, 1.3216398656368256e-05, 1.372024416923523e-05, 1.4224089682102203e-05, 1.4727935194969177e-05, 1.5231780707836151e-05, 1.5735626220703125e-05]}, "gradients/encoder.encoder.layers.20.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 2.0, 3.0, 2.0, 0.0, 2.0, 5.0, 3.0, 5.0, 4.0, 9.0, 7.0, 10.0, 13.0, 8.0, 14.0, 18.0, 20.0, 24.0, 25.0, 27.0, 24.0, 42.0, 30.0, 21.0, 36.0, 33.0, 50.0, 46.0, 39.0, 40.0, 40.0, 38.0, 46.0, 35.0, 35.0, 31.0, 27.0, 18.0, 25.0, 34.0, 20.0, 18.0, 16.0, 18.0, 8.0, 15.0, 10.0, 3.0, 2.0, 0.0, 4.0, 1.0, 4.0, 1.0, 1.0, 2.0, 0.0, 3.0, 1.0, 1.0, 2.0], "bins": [-7.987022399902344e-06, -7.731840014457703e-06, -7.4766576290130615e-06, -7.22147524356842e-06, -6.966292858123779e-06, -6.711110472679138e-06, -6.455928087234497e-06, -6.200745701789856e-06, -5.945563316345215e-06, -5.690380930900574e-06, -5.435198545455933e-06, -5.1800161600112915e-06, -4.92483377456665e-06, -4.669651389122009e-06, -4.414469003677368e-06, -4.159286618232727e-06, -3.904104232788086e-06, -3.648921847343445e-06, -3.3937394618988037e-06, -3.1385570764541626e-06, -2.8833746910095215e-06, -2.6281923055648804e-06, -2.3730099201202393e-06, -2.117827534675598e-06, -1.862645149230957e-06, -1.607462763786316e-06, -1.3522803783416748e-06, -1.0970979928970337e-06, -8.419156074523926e-07, -5.867332220077515e-07, -3.3155083656311035e-07, -7.636845111846924e-08, 1.7881393432617188e-07, 4.33996319770813e-07, 6.891787052154541e-07, 9.443610906600952e-07, 1.1995434761047363e-06, 1.4547258615493774e-06, 1.7099082469940186e-06, 1.9650906324386597e-06, 2.2202730178833008e-06, 2.475455403327942e-06, 2.730637788772583e-06, 2.985820174217224e-06, 3.2410025596618652e-06, 3.4961849451065063e-06, 3.7513673305511475e-06, 4.0065497159957886e-06, 4.26173210144043e-06, 4.516914486885071e-06, 4.772096872329712e-06, 5.027279257774353e-06, 5.282461643218994e-06, 5.537644028663635e-06, 5.792826414108276e-06, 6.0480087995529175e-06, 6.303191184997559e-06, 6.5583735704422e-06, 6.813555955886841e-06, 7.068738341331482e-06, 7.323920726776123e-06, 7.579103112220764e-06, 7.834285497665405e-06, 8.089467883110046e-06, 8.344650268554688e-06]}, "gradients/encoder.encoder.layers.20.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 4.0, 4.0, 9.0, 6.0, 12.0, 11.0, 16.0, 31.0, 41.0, 82.0, 111.0, 203.0, 346.0, 565.0, 1063.0, 2045.0, 4020.0, 8292.0, 22342.0, 77452.0, 697416.0, 172642.0, 37666.0, 12982.0, 5239.0, 2717.0, 1433.0, 734.0, 428.0, 226.0, 160.0, 102.0, 68.0, 29.0, 27.0, 9.0, 8.0, 4.0, 8.0, 7.0, 4.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.4318695068359375e-05, -2.3552216589450836e-05, -2.2785738110542297e-05, -2.201925963163376e-05, -2.125278115272522e-05, -2.048630267381668e-05, -1.9719824194908142e-05, -1.8953345715999603e-05, -1.8186867237091064e-05, -1.7420388758182526e-05, -1.6653910279273987e-05, -1.5887431800365448e-05, -1.512095332145691e-05, -1.435447484254837e-05, -1.3587996363639832e-05, -1.2821517884731293e-05, -1.2055039405822754e-05, -1.1288560926914215e-05, -1.0522082448005676e-05, -9.755603969097137e-06, -8.989125490188599e-06, -8.22264701128006e-06, -7.456168532371521e-06, -6.689690053462982e-06, -5.923211574554443e-06, -5.1567330956459045e-06, -4.390254616737366e-06, -3.623776137828827e-06, -2.857297658920288e-06, -2.0908191800117493e-06, -1.3243407011032104e-06, -5.578622221946716e-07, 2.086162567138672e-07, 9.75094735622406e-07, 1.7415732145309448e-06, 2.5080516934394836e-06, 3.2745301723480225e-06, 4.041008651256561e-06, 4.8074871301651e-06, 5.573965609073639e-06, 6.340444087982178e-06, 7.1069225668907166e-06, 7.873401045799255e-06, 8.639879524707794e-06, 9.406358003616333e-06, 1.0172836482524872e-05, 1.093931496143341e-05, 1.170579344034195e-05, 1.2472271919250488e-05, 1.3238750398159027e-05, 1.4005228877067566e-05, 1.4771707355976105e-05, 1.5538185834884644e-05, 1.6304664313793182e-05, 1.707114279270172e-05, 1.783762127161026e-05, 1.86040997505188e-05, 1.9370578229427338e-05, 2.0137056708335876e-05, 2.0903535187244415e-05, 2.1670013666152954e-05, 2.2436492145061493e-05, 2.3202970623970032e-05, 2.396944910287857e-05, 2.473592758178711e-05]}, "gradients/encoder.encoder.layers.20.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 3.0, 5.0, 6.0, 6.0, 6.0, 10.0, 10.0, 13.0, 18.0, 29.0, 28.0, 44.0, 52.0, 59.0, 105.0, 202.0, 112.0, 55.0, 62.0, 46.0, 39.0, 30.0, 18.0, 11.0, 7.0, 6.0, 4.0, 6.0, 7.0, 4.0, 2.0, 2.0, 2.0, 5.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.715557098388672e-06, -9.415671229362488e-06, -9.115785360336304e-06, -8.81589949131012e-06, -8.516013622283936e-06, -8.216127753257751e-06, -7.916241884231567e-06, -7.616356015205383e-06, -7.316470146179199e-06, -7.016584277153015e-06, -6.716698408126831e-06, -6.416812539100647e-06, -6.116926670074463e-06, -5.817040801048279e-06, -5.517154932022095e-06, -5.217269062995911e-06, -4.9173831939697266e-06, -4.6174973249435425e-06, -4.317611455917358e-06, -4.017725586891174e-06, -3.7178397178649902e-06, -3.417953848838806e-06, -3.118067979812622e-06, -2.818182110786438e-06, -2.518296241760254e-06, -2.21841037273407e-06, -1.9185245037078857e-06, -1.6186386346817017e-06, -1.3187527656555176e-06, -1.0188668966293335e-06, -7.189810276031494e-07, -4.1909515857696533e-07, -1.1920928955078125e-07, 1.8067657947540283e-07, 4.805624485015869e-07, 7.80448317527771e-07, 1.080334186553955e-06, 1.3802200555801392e-06, 1.6801059246063232e-06, 1.9799917936325073e-06, 2.2798776626586914e-06, 2.5797635316848755e-06, 2.8796494007110596e-06, 3.1795352697372437e-06, 3.4794211387634277e-06, 3.779307007789612e-06, 4.079192876815796e-06, 4.37907874584198e-06, 4.678964614868164e-06, 4.978850483894348e-06, 5.278736352920532e-06, 5.578622221946716e-06, 5.8785080909729e-06, 6.1783939599990845e-06, 6.4782798290252686e-06, 6.778165698051453e-06, 7.078051567077637e-06, 7.377937436103821e-06, 7.677823305130005e-06, 7.977709174156189e-06, 8.277595043182373e-06, 8.577480912208557e-06, 8.877366781234741e-06, 9.177252650260925e-06, 9.47713851928711e-06]}, "gradients/encoder.encoder.layers.20.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 5.0, 4.0, 8.0, 8.0, 13.0, 17.0, 14.0, 30.0, 51.0, 62.0, 91.0, 125.0, 203.0, 261.0, 395.0, 611.0, 971.0, 1515.0, 2076.0, 3776.0, 6888.0, 12077.0, 19308.0, 47214.0, 145587.0, 605056.0, 116999.0, 41511.0, 19172.0, 9073.0, 6046.0, 3498.0, 2170.0, 1191.0, 874.0, 553.0, 373.0, 215.0, 166.0, 120.0, 60.0, 60.0, 38.0, 27.0, 14.0, 14.0, 12.0, 9.0, 3.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-1.341104507446289e-05, -1.300964504480362e-05, -1.2608245015144348e-05, -1.2206844985485077e-05, -1.1805444955825806e-05, -1.1404044926166534e-05, -1.1002644896507263e-05, -1.0601244866847992e-05, -1.019984483718872e-05, -9.79844480752945e-06, -9.397044777870178e-06, -8.995644748210907e-06, -8.594244718551636e-06, -8.192844688892365e-06, -7.791444659233093e-06, -7.390044629573822e-06, -6.988644599914551e-06, -6.5872445702552795e-06, -6.185844540596008e-06, -5.784444510936737e-06, -5.383044481277466e-06, -4.981644451618195e-06, -4.580244421958923e-06, -4.178844392299652e-06, -3.777444362640381e-06, -3.3760443329811096e-06, -2.9746443033218384e-06, -2.573244273662567e-06, -2.171844244003296e-06, -1.7704442143440247e-06, -1.3690441846847534e-06, -9.676441550254822e-07, -5.662441253662109e-07, -1.648440957069397e-07, 2.3655593395233154e-07, 6.379559636116028e-07, 1.039355993270874e-06, 1.4407560229301453e-06, 1.8421560525894165e-06, 2.2435560822486877e-06, 2.644956111907959e-06, 3.0463561415672302e-06, 3.4477561712265015e-06, 3.849156200885773e-06, 4.250556230545044e-06, 4.651956260204315e-06, 5.0533562898635864e-06, 5.454756319522858e-06, 5.856156349182129e-06, 6.2575563788414e-06, 6.658956408500671e-06, 7.060356438159943e-06, 7.461756467819214e-06, 7.863156497478485e-06, 8.264556527137756e-06, 8.665956556797028e-06, 9.067356586456299e-06, 9.46875661611557e-06, 9.870156645774841e-06, 1.0271556675434113e-05, 1.0672956705093384e-05, 1.1074356734752655e-05, 1.1475756764411926e-05, 1.1877156794071198e-05, 1.2278556823730469e-05]}, "gradients/encoder.encoder.layers.20.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 5.0, 6.0, 5.0, 6.0, 6.0, 10.0, 18.0, 11.0, 12.0, 25.0, 23.0, 20.0, 35.0, 32.0, 39.0, 61.0, 84.0, 174.0, 95.0, 54.0, 43.0, 45.0, 28.0, 27.0, 14.0, 23.0, 16.0, 16.0, 14.0, 9.0, 8.0, 7.0, 5.0, 7.0, 5.0, 4.0, 5.0, 4.0, 3.0, 2.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.364418029785156e-06, -5.182810127735138e-06, -5.00120222568512e-06, -4.819594323635101e-06, -4.637986421585083e-06, -4.456378519535065e-06, -4.274770617485046e-06, -4.093162715435028e-06, -3.91155481338501e-06, -3.7299469113349915e-06, -3.548339009284973e-06, -3.366731107234955e-06, -3.1851232051849365e-06, -3.0035153031349182e-06, -2.8219074010849e-06, -2.6402994990348816e-06, -2.4586915969848633e-06, -2.277083694934845e-06, -2.0954757928848267e-06, -1.9138678908348083e-06, -1.73225998878479e-06, -1.5506520867347717e-06, -1.3690441846847534e-06, -1.1874362826347351e-06, -1.0058283805847168e-06, -8.242204785346985e-07, -6.426125764846802e-07, -4.6100467443466187e-07, -2.7939677238464355e-07, -9.778887033462524e-08, 8.381903171539307e-08, 2.654269337654114e-07, 4.470348358154297e-07, 6.28642737865448e-07, 8.102506399154663e-07, 9.918585419654846e-07, 1.173466444015503e-06, 1.3550743460655212e-06, 1.5366822481155396e-06, 1.7182901501655579e-06, 1.8998980522155762e-06, 2.0815059542655945e-06, 2.263113856315613e-06, 2.444721758365631e-06, 2.6263296604156494e-06, 2.8079375624656677e-06, 2.989545464515686e-06, 3.1711533665657043e-06, 3.3527612686157227e-06, 3.534369170665741e-06, 3.7159770727157593e-06, 3.897584974765778e-06, 4.079192876815796e-06, 4.260800778865814e-06, 4.4424086809158325e-06, 4.624016582965851e-06, 4.805624485015869e-06, 4.9872323870658875e-06, 5.168840289115906e-06, 5.350448191165924e-06, 5.532056093215942e-06, 5.713663995265961e-06, 5.895271897315979e-06, 6.076879799365997e-06, 6.258487701416016e-06]}, "gradients/encoder.encoder.layers.20.layer_norm.weight": {"_type": "histogram", "values": [2.0, 1.0, 5.0, 5.0, 11.0, 31.0, 49.0, 110.0, 343.0, 215.0, 95.0, 58.0, 31.0, 23.0, 13.0, 9.0, 8.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.407355587929487e-05, -6.558154564118013e-05, -5.7089535403065383e-05, -4.859752516495064e-05, -4.0105514926835895e-05, -3.161350468872115e-05, -2.3121494450606406e-05, -1.4629484212491661e-05, -6.137473974376917e-06, 2.3545362637378275e-06, 1.0846546501852572e-05, 1.9338556739967316e-05, 2.783056697808206e-05, 3.6322577216196805e-05, 4.481458745431155e-05, 5.3306597692426294e-05, 6.179860793054104e-05, 7.029061816865578e-05, 7.878262840677053e-05, 8.727463864488527e-05, 9.576664888300002e-05, 0.00010425865912111476, 0.0001127506693592295, 0.00012124267959734425, 0.000129734689835459, 0.00013822669279761612, 0.00014671871031168848, 0.00015521072782576084, 0.00016370273078791797, 0.0001721947337500751, 0.00018068675126414746, 0.00018917876877821982, 0.0001976708008442074, 0.00020616280380636454, 0.0002146548213204369, 0.00022314683883450925, 0.00023163884179666638, 0.00024013084475882351, 0.00024862284772098064, 0.00025711487978696823, 0.00026560688274912536, 0.0002740988857112825, 0.0002825909177772701, 0.0002910829207394272, 0.00029957492370158434, 0.00030806692666374147, 0.0003165589296258986, 0.0003250509616918862, 0.0003335429646540433, 0.00034203496761620045, 0.00035052699968218803, 0.00035901900264434516, 0.0003675110056065023, 0.0003760030085686594, 0.00038449501153081656, 0.00039298704359680414, 0.00040147904655896127, 0.0004099710495211184, 0.000418463081587106, 0.0004269550845492631, 0.00043544708751142025, 0.0004439390904735774, 0.0004524310934357345, 0.0004609231255017221, 0.00046941512846387923]}, "gradients/encoder.encoder.layers.20.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 4.0, 2.0, 2.0, 6.0, 8.0, 7.0, 11.0, 8.0, 10.0, 14.0, 14.0, 22.0, 32.0, 18.0, 33.0, 32.0, 47.0, 29.0, 50.0, 36.0, 50.0, 44.0, 44.0, 44.0, 48.0, 40.0, 32.0, 39.0, 39.0, 28.0, 25.0, 32.0, 29.0, 18.0, 29.0, 15.0, 14.0, 16.0, 7.0, 8.0, 4.0, 5.0, 7.0, 2.0, 2.0, 2.0, 2.0], "bins": [-8.797645568847656e-05, -8.57403501868248e-05, -8.350424468517303e-05, -8.126813918352127e-05, -7.903203368186951e-05, -7.679592818021774e-05, -7.455982267856598e-05, -7.232371717691422e-05, -7.008761167526245e-05, -6.785150617361069e-05, -6.561540067195892e-05, -6.337929517030716e-05, -6.11431896686554e-05, -5.890708416700363e-05, -5.667097866535187e-05, -5.4434873163700104e-05, -5.219876766204834e-05, -4.9962662160396576e-05, -4.772655665874481e-05, -4.549045115709305e-05, -4.3254345655441284e-05, -4.101824015378952e-05, -3.8782134652137756e-05, -3.654602915048599e-05, -3.430992364883423e-05, -3.2073818147182465e-05, -2.98377126455307e-05, -2.7601607143878937e-05, -2.5365501642227173e-05, -2.312939614057541e-05, -2.0893290638923645e-05, -1.865718513727188e-05, -1.6421079635620117e-05, -1.4184974133968353e-05, -1.194886863231659e-05, -9.712763130664825e-06, -7.4766576290130615e-06, -5.240552127361298e-06, -3.0044466257095337e-06, -7.683411240577698e-07, 1.4677643775939941e-06, 3.703869879245758e-06, 5.939975380897522e-06, 8.176080882549286e-06, 1.041218638420105e-05, 1.2648291885852814e-05, 1.4884397387504578e-05, 1.712050288915634e-05, 1.9356608390808105e-05, 2.159271389245987e-05, 2.3828819394111633e-05, 2.6064924895763397e-05, 2.830103039741516e-05, 3.0537135899066925e-05, 3.277324140071869e-05, 3.500934690237045e-05, 3.724545240402222e-05, 3.948155790567398e-05, 4.1717663407325745e-05, 4.395376890897751e-05, 4.618987441062927e-05, 4.8425979912281036e-05, 5.06620854139328e-05, 5.2898190915584564e-05, 5.513429641723633e-05]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 1.0, 6.0, 3.0, 4.0, 6.0, 8.0, 14.0, 21.0, 30.0, 32.0, 60.0, 70.0, 95.0, 121.0, 167.0, 262.0, 373.0, 591.0, 995.0, 1501.0, 2910.0, 5450.0, 11176.0, 23640.0, 49609.0, 137783.0, 2271083.0, 1457316.0, 131007.0, 50488.0, 22036.0, 12227.0, 6371.0, 3474.0, 2042.0, 1211.0, 730.0, 459.0, 277.0, 196.0, 122.0, 95.0, 72.0, 51.0, 36.0, 25.0, 10.0, 15.0, 4.0, 5.0, 6.0, 1.0, 2.0, 0.0, 3.0, 2.0, 2.0], "bins": [-3.606081008911133e-05, -3.499910235404968e-05, -3.393739461898804e-05, -3.287568688392639e-05, -3.1813979148864746e-05, -3.07522714138031e-05, -2.9690563678741455e-05, -2.862885594367981e-05, -2.7567148208618164e-05, -2.650544047355652e-05, -2.5443732738494873e-05, -2.4382025003433228e-05, -2.3320317268371582e-05, -2.2258609533309937e-05, -2.119690179824829e-05, -2.0135194063186646e-05, -1.9073486328125e-05, -1.8011778593063354e-05, -1.695007085800171e-05, -1.5888363122940063e-05, -1.4826655387878418e-05, -1.3764947652816772e-05, -1.2703239917755127e-05, -1.1641532182693481e-05, -1.0579824447631836e-05, -9.51811671257019e-06, -8.456408977508545e-06, -7.394701242446899e-06, -6.332993507385254e-06, -5.271285772323608e-06, -4.209578037261963e-06, -3.1478703022003174e-06, -2.086162567138672e-06, -1.0244548320770264e-06, 3.725290298461914e-08, 1.0989606380462646e-06, 2.16066837310791e-06, 3.2223761081695557e-06, 4.284083843231201e-06, 5.345791578292847e-06, 6.407499313354492e-06, 7.469207048416138e-06, 8.530914783477783e-06, 9.592622518539429e-06, 1.0654330253601074e-05, 1.171603798866272e-05, 1.2777745723724365e-05, 1.383945345878601e-05, 1.4901161193847656e-05, 1.5962868928909302e-05, 1.7024576663970947e-05, 1.8086284399032593e-05, 1.9147992134094238e-05, 2.0209699869155884e-05, 2.127140760421753e-05, 2.2333115339279175e-05, 2.339482307434082e-05, 2.4456530809402466e-05, 2.551823854446411e-05, 2.6579946279525757e-05, 2.7641654014587402e-05, 2.8703361749649048e-05, 2.9765069484710693e-05, 3.082677721977234e-05, 3.1888484954833984e-05]}, "gradients/encoder.encoder.layers.19.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 2.0, 2.0, 6.0, 10.0, 7.0, 13.0, 17.0, 26.0, 28.0, 29.0, 46.0, 36.0, 70.0, 62.0, 101.0, 104.0, 52.0, 92.0, 50.0, 53.0, 52.0, 28.0, 22.0, 18.0, 30.0, 7.0, 8.0, 10.0, 2.0, 8.0, 10.0, 3.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-5.185604095458984e-06, -5.031004548072815e-06, -4.8764050006866455e-06, -4.721805453300476e-06, -4.567205905914307e-06, -4.412606358528137e-06, -4.258006811141968e-06, -4.103407263755798e-06, -3.948807716369629e-06, -3.7942081689834595e-06, -3.63960862159729e-06, -3.4850090742111206e-06, -3.330409526824951e-06, -3.1758099794387817e-06, -3.0212104320526123e-06, -2.866610884666443e-06, -2.7120113372802734e-06, -2.557411789894104e-06, -2.4028122425079346e-06, -2.248212695121765e-06, -2.0936131477355957e-06, -1.9390136003494263e-06, -1.7844140529632568e-06, -1.6298145055770874e-06, -1.475214958190918e-06, -1.3206154108047485e-06, -1.166015863418579e-06, -1.0114163160324097e-06, -8.568167686462402e-07, -7.022172212600708e-07, -5.476176738739014e-07, -3.9301812648773193e-07, -2.384185791015625e-07, -8.381903171539307e-08, 7.078051567077637e-08, 2.253800630569458e-07, 3.7997961044311523e-07, 5.345791578292847e-07, 6.891787052154541e-07, 8.437782526016235e-07, 9.98377799987793e-07, 1.1529773473739624e-06, 1.3075768947601318e-06, 1.4621764421463013e-06, 1.6167759895324707e-06, 1.7713755369186401e-06, 1.9259750843048096e-06, 2.080574631690979e-06, 2.2351741790771484e-06, 2.389773726463318e-06, 2.5443732738494873e-06, 2.6989728212356567e-06, 2.853572368621826e-06, 3.0081719160079956e-06, 3.162771463394165e-06, 3.3173710107803345e-06, 3.471970558166504e-06, 3.6265701055526733e-06, 3.7811696529388428e-06, 3.935769200325012e-06, 4.090368747711182e-06, 4.244968295097351e-06, 4.3995678424835205e-06, 4.55416738986969e-06, 4.708766937255859e-06]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 2.0, 6.0, 11.0, 6.0, 8.0, 14.0, 23.0, 22.0, 36.0, 60.0, 77.0, 88.0, 143.0, 195.0, 251.0, 413.0, 603.0, 910.0, 1398.0, 1983.0, 2944.0, 4920.0, 8083.0, 13774.0, 24116.0, 44599.0, 91081.0, 225283.0, 895635.0, 2369426.0, 283134.0, 107747.0, 50980.0, 27090.0, 15221.0, 8932.0, 5042.0, 3559.0, 2260.0, 1399.0, 914.0, 605.0, 428.0, 300.0, 171.0, 128.0, 76.0, 66.0, 45.0, 29.0, 19.0, 15.0, 10.0, 6.0, 4.0, 3.0, 1.0, 2.0, 0.0, 2.0, 1.0], "bins": [-1.8894672393798828e-05, -1.8306076526641846e-05, -1.7717480659484863e-05, -1.712888479232788e-05, -1.65402889251709e-05, -1.5951693058013916e-05, -1.5363097190856934e-05, -1.4774501323699951e-05, -1.4185905456542969e-05, -1.3597309589385986e-05, -1.3008713722229004e-05, -1.2420117855072021e-05, -1.1831521987915039e-05, -1.1242926120758057e-05, -1.0654330253601074e-05, -1.0065734386444092e-05, -9.47713851928711e-06, -8.888542652130127e-06, -8.299946784973145e-06, -7.711350917816162e-06, -7.12275505065918e-06, -6.534159183502197e-06, -5.945563316345215e-06, -5.356967449188232e-06, -4.76837158203125e-06, -4.179775714874268e-06, -3.591179847717285e-06, -3.0025839805603027e-06, -2.4139881134033203e-06, -1.8253922462463379e-06, -1.2367963790893555e-06, -6.48200511932373e-07, -5.960464477539063e-08, 5.289912223815918e-07, 1.1175870895385742e-06, 1.7061829566955566e-06, 2.294778823852539e-06, 2.8833746910095215e-06, 3.471970558166504e-06, 4.060566425323486e-06, 4.649162292480469e-06, 5.237758159637451e-06, 5.826354026794434e-06, 6.414949893951416e-06, 7.0035457611083984e-06, 7.592141628265381e-06, 8.180737495422363e-06, 8.769333362579346e-06, 9.357929229736328e-06, 9.94652509689331e-06, 1.0535120964050293e-05, 1.1123716831207275e-05, 1.1712312698364258e-05, 1.230090856552124e-05, 1.2889504432678223e-05, 1.3478100299835205e-05, 1.4066696166992188e-05, 1.465529203414917e-05, 1.5243887901306152e-05, 1.5832483768463135e-05, 1.6421079635620117e-05, 1.70096755027771e-05, 1.7598271369934082e-05, 1.8186867237091064e-05, 1.8775463104248047e-05]}, "gradients/encoder.encoder.layers.19.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 3.0, 3.0, 5.0, 4.0, 6.0, 8.0, 15.0, 17.0, 22.0, 20.0, 17.0, 28.0, 25.0, 38.0, 36.0, 60.0, 73.0, 72.0, 98.0, 103.0, 165.0, 229.0, 476.0, 762.0, 471.0, 269.0, 162.0, 150.0, 98.0, 126.0, 88.0, 75.0, 58.0, 52.0, 44.0, 38.0, 20.0, 17.0, 24.0, 22.0, 13.0, 18.0, 7.0, 16.0, 6.0, 5.0, 5.0, 4.0, 3.0, 2.0, 1.0, 4.0, 1.0, 1.0, 2.0], "bins": [-1.0788440704345703e-05, -1.0455958545207977e-05, -1.0123476386070251e-05, -9.790994226932526e-06, -9.4585120677948e-06, -9.126029908657074e-06, -8.793547749519348e-06, -8.461065590381622e-06, -8.128583431243896e-06, -7.79610127210617e-06, -7.463619112968445e-06, -7.131136953830719e-06, -6.798654794692993e-06, -6.466172635555267e-06, -6.1336904764175415e-06, -5.801208317279816e-06, -5.46872615814209e-06, -5.136243999004364e-06, -4.803761839866638e-06, -4.471279680728912e-06, -4.1387975215911865e-06, -3.8063153624534607e-06, -3.473833203315735e-06, -3.141351044178009e-06, -2.808868885040283e-06, -2.4763867259025574e-06, -2.1439045667648315e-06, -1.8114224076271057e-06, -1.4789402484893799e-06, -1.146458089351654e-06, -8.139759302139282e-07, -4.814937710762024e-07, -1.4901161193847656e-07, 1.8347054719924927e-07, 5.159527063369751e-07, 8.484348654747009e-07, 1.1809170246124268e-06, 1.5133991837501526e-06, 1.8458813428878784e-06, 2.1783635020256042e-06, 2.51084566116333e-06, 2.843327820301056e-06, 3.1758099794387817e-06, 3.5082921385765076e-06, 3.840774297714233e-06, 4.173256456851959e-06, 4.505738615989685e-06, 4.838220775127411e-06, 5.170702934265137e-06, 5.5031850934028625e-06, 5.835667252540588e-06, 6.168149411678314e-06, 6.50063157081604e-06, 6.833113729953766e-06, 7.165595889091492e-06, 7.4980780482292175e-06, 7.830560207366943e-06, 8.16304236650467e-06, 8.495524525642395e-06, 8.828006684780121e-06, 9.160488843917847e-06, 9.492971003055573e-06, 9.825453162193298e-06, 1.0157935321331024e-05, 1.049041748046875e-05]}, "gradients/encoder.encoder.layers.19.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 3.0, 3.0, 6.0, 3.0, 6.0, 8.0, 13.0, 13.0, 18.0, 15.0, 24.0, 35.0, 62.0, 76.0, 152.0, 144.0, 111.0, 85.0, 55.0, 38.0, 23.0, 20.0, 22.0, 15.0, 12.0, 5.0, 8.0, 6.0, 6.0, 3.0, 4.0, 2.0, 4.0, 3.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.506997594144195e-05, -9.169153054244816e-05, -8.831308514345437e-05, -8.493463974446058e-05, -8.155619434546679e-05, -7.8177748946473e-05, -7.479930354747921e-05, -7.142085814848542e-05, -6.804241274949163e-05, -6.466396735049784e-05, -6.128552195150405e-05, -5.790707655251026e-05, -5.452863115351647e-05, -5.115018575452268e-05, -4.77717439935077e-05, -4.439329859451391e-05, -4.1014856833498925e-05, -3.7636411434505135e-05, -3.4257966035511345e-05, -3.0879520636517555e-05, -2.7501077056513168e-05, -2.4122631657519378e-05, -2.074418807751499e-05, -1.73657426785212e-05, -1.3987297279527411e-05, -1.060885188053362e-05, -7.230407391034532e-06, -3.851962901535444e-06, -4.735175025416538e-07, 2.9049278964521363e-06, 6.283371476456523e-06, 9.661816875450313e-06, 1.3040262274444103e-05, 1.6418707673437893e-05, 1.9797153072431684e-05, 2.317559665243607e-05, 2.655404205142986e-05, 2.993248745042365e-05, 3.331093103042804e-05, 3.668937642942183e-05, 4.006782182841562e-05, 4.344626722740941e-05, 4.68247126264032e-05, 5.020315438741818e-05, 5.358159978641197e-05, 5.696004518540576e-05, 6.033849058439955e-05, 6.371693598339334e-05, 6.709538138238713e-05, 7.047382678138092e-05, 7.385227218037471e-05, 7.72307175793685e-05, 8.060916297836229e-05, 8.398760837735608e-05, 8.736604650039226e-05, 9.074449189938605e-05, 9.412293729837984e-05, 9.750138269737363e-05, 0.00010087982809636742, 0.00010425827349536121, 0.000107636718894355, 0.00011101516429334879, 0.00011439360969234258, 0.00011777205509133637, 0.00012115050049033016]}, "gradients/encoder.encoder.layers.19.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 4.0, 9.0, 5.0, 6.0, 14.0, 7.0, 18.0, 19.0, 9.0, 18.0, 21.0, 19.0, 21.0, 25.0, 33.0, 46.0, 40.0, 43.0, 30.0, 57.0, 40.0, 42.0, 52.0, 38.0, 34.0, 44.0, 34.0, 46.0, 31.0, 30.0, 19.0, 25.0, 23.0, 15.0, 15.0, 12.0, 10.0, 12.0, 10.0, 6.0, 8.0, 5.0, 5.0, 4.0, 4.0, 4.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-6.562471389770508e-05, -6.369221955537796e-05, -6.175972521305084e-05, -5.9827230870723724e-05, -5.7894736528396606e-05, -5.596224218606949e-05, -5.402974784374237e-05, -5.209725350141525e-05, -5.0164759159088135e-05, -4.823226481676102e-05, -4.62997704744339e-05, -4.436727613210678e-05, -4.243478178977966e-05, -4.0502287447452545e-05, -3.856979310512543e-05, -3.663729876279831e-05, -3.470480442047119e-05, -3.2772310078144073e-05, -3.0839815735816956e-05, -2.8907321393489838e-05, -2.697482705116272e-05, -2.5042332708835602e-05, -2.3109838366508484e-05, -2.1177344024181366e-05, -1.9244849681854248e-05, -1.731235533952713e-05, -1.5379860997200012e-05, -1.3447366654872894e-05, -1.1514872312545776e-05, -9.582377970218658e-06, -7.64988362789154e-06, -5.717389285564423e-06, -3.7848949432373047e-06, -1.8524006009101868e-06, 8.009374141693115e-08, 2.012588083744049e-06, 3.945082426071167e-06, 5.877576768398285e-06, 7.810071110725403e-06, 9.74256545305252e-06, 1.1675059795379639e-05, 1.3607554137706757e-05, 1.5540048480033875e-05, 1.7472542822360992e-05, 1.940503716468811e-05, 2.1337531507015228e-05, 2.3270025849342346e-05, 2.5202520191669464e-05, 2.7135014533996582e-05, 2.90675088763237e-05, 3.100000321865082e-05, 3.2932497560977936e-05, 3.4864991903305054e-05, 3.679748624563217e-05, 3.872998058795929e-05, 4.066247493028641e-05, 4.2594969272613525e-05, 4.452746361494064e-05, 4.645995795726776e-05, 4.839245229959488e-05, 5.0324946641922e-05, 5.2257440984249115e-05, 5.418993532657623e-05, 5.612242966890335e-05, 5.805492401123047e-05]}, "gradients/encoder.encoder.layers.19.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 3.0, 2.0, 2.0, 2.0, 0.0, 4.0, 4.0, 7.0, 3.0, 5.0, 12.0, 17.0, 22.0, 38.0, 44.0, 63.0, 69.0, 124.0, 173.0, 277.0, 434.0, 682.0, 1126.0, 2253.0, 3898.0, 7780.0, 18266.0, 41814.0, 119754.0, 562359.0, 185864.0, 58255.0, 23949.0, 10029.0, 5069.0, 2426.0, 1407.0, 848.0, 497.0, 322.0, 186.0, 133.0, 94.0, 71.0, 43.0, 40.0, 32.0, 20.0, 6.0, 11.0, 7.0, 4.0, 2.0, 3.0, 6.0, 3.0, 2.0, 4.0, 1.0, 1.0], "bins": [-3.6835670471191406e-05, -3.574136644601822e-05, -3.464706242084503e-05, -3.3552758395671844e-05, -3.245845437049866e-05, -3.136415034532547e-05, -3.0269846320152283e-05, -2.9175542294979095e-05, -2.8081238269805908e-05, -2.698693424463272e-05, -2.5892630219459534e-05, -2.4798326194286346e-05, -2.370402216911316e-05, -2.2609718143939972e-05, -2.1515414118766785e-05, -2.0421110093593597e-05, -1.932680606842041e-05, -1.8232502043247223e-05, -1.7138198018074036e-05, -1.604389399290085e-05, -1.4949589967727661e-05, -1.3855285942554474e-05, -1.2760981917381287e-05, -1.16666778922081e-05, -1.0572373867034912e-05, -9.478069841861725e-06, -8.383765816688538e-06, -7.28946179151535e-06, -6.195157766342163e-06, -5.100853741168976e-06, -4.0065497159957886e-06, -2.9122456908226013e-06, -1.817941665649414e-06, -7.236376404762268e-07, 3.7066638469696045e-07, 1.4649704098701477e-06, 2.559274435043335e-06, 3.6535784602165222e-06, 4.7478824853897095e-06, 5.842186510562897e-06, 6.936490535736084e-06, 8.030794560909271e-06, 9.125098586082458e-06, 1.0219402611255646e-05, 1.1313706636428833e-05, 1.240801066160202e-05, 1.3502314686775208e-05, 1.4596618711948395e-05, 1.5690922737121582e-05, 1.678522676229477e-05, 1.7879530787467957e-05, 1.8973834812641144e-05, 2.006813883781433e-05, 2.116244286298752e-05, 2.2256746888160706e-05, 2.3351050913333893e-05, 2.444535493850708e-05, 2.5539658963680267e-05, 2.6633962988853455e-05, 2.7728267014026642e-05, 2.882257103919983e-05, 2.9916875064373016e-05, 3.1011179089546204e-05, 3.210548311471939e-05, 3.319978713989258e-05]}, "gradients/encoder.encoder.layers.19.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0, 1.0, 3.0, 7.0, 10.0, 8.0, 16.0, 17.0, 17.0, 30.0, 54.0, 74.0, 57.0, 99.0, 87.0, 102.0, 122.0, 69.0, 53.0, 47.0, 37.0, 28.0, 19.0, 20.0, 8.0, 4.0, 9.0, 2.0, 5.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.5299530029296875e-06, -4.341825842857361e-06, -4.153698682785034e-06, -3.9655715227127075e-06, -3.777444362640381e-06, -3.589317202568054e-06, -3.4011900424957275e-06, -3.213062882423401e-06, -3.0249357223510742e-06, -2.8368085622787476e-06, -2.648681402206421e-06, -2.4605542421340942e-06, -2.2724270820617676e-06, -2.084299921989441e-06, -1.8961727619171143e-06, -1.7080456018447876e-06, -1.519918441772461e-06, -1.3317912817001343e-06, -1.1436641216278076e-06, -9.55536961555481e-07, -7.674098014831543e-07, -5.792826414108276e-07, -3.91155481338501e-07, -2.0302832126617432e-07, -1.4901161193847656e-08, 1.73225998878479e-07, 3.6135315895080566e-07, 5.494803190231323e-07, 7.37607479095459e-07, 9.257346391677856e-07, 1.1138617992401123e-06, 1.301988959312439e-06, 1.4901161193847656e-06, 1.6782432794570923e-06, 1.866370439529419e-06, 2.0544975996017456e-06, 2.2426247596740723e-06, 2.430751919746399e-06, 2.6188790798187256e-06, 2.8070062398910522e-06, 2.995133399963379e-06, 3.1832605600357056e-06, 3.3713877201080322e-06, 3.559514880180359e-06, 3.7476420402526855e-06, 3.935769200325012e-06, 4.123896360397339e-06, 4.3120235204696655e-06, 4.500150680541992e-06, 4.688277840614319e-06, 4.8764050006866455e-06, 5.064532160758972e-06, 5.252659320831299e-06, 5.4407864809036255e-06, 5.628913640975952e-06, 5.817040801048279e-06, 6.0051679611206055e-06, 6.193295121192932e-06, 6.381422281265259e-06, 6.5695494413375854e-06, 6.757676601409912e-06, 6.945803761482239e-06, 7.1339309215545654e-06, 7.322058081626892e-06, 7.510185241699219e-06]}, "gradients/encoder.encoder.layers.19.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 2.0, 2.0, 2.0, 5.0, 8.0, 7.0, 8.0, 28.0, 25.0, 26.0, 41.0, 77.0, 111.0, 126.0, 154.0, 256.0, 389.0, 540.0, 936.0, 1275.0, 1711.0, 3026.0, 4665.0, 7905.0, 13311.0, 23274.0, 36521.0, 76414.0, 170309.0, 421384.0, 136679.0, 60415.0, 37403.0, 20590.0, 11815.0, 6976.0, 4268.0, 2422.0, 1797.0, 1179.0, 754.0, 548.0, 360.0, 226.0, 171.0, 118.0, 87.0, 65.0, 48.0, 26.0, 24.0, 19.0, 13.0, 10.0, 4.0, 4.0, 2.0, 3.0, 3.0, 2.0, 1.0], "bins": [-1.704692840576172e-05, -1.6520731151103973e-05, -1.5994533896446228e-05, -1.5468336641788483e-05, -1.4942139387130737e-05, -1.4415942132472992e-05, -1.3889744877815247e-05, -1.3363547623157501e-05, -1.2837350368499756e-05, -1.231115311384201e-05, -1.1784955859184265e-05, -1.125875860452652e-05, -1.0732561349868774e-05, -1.0206364095211029e-05, -9.680166840553284e-06, -9.153969585895538e-06, -8.627772331237793e-06, -8.101575076580048e-06, -7.575377821922302e-06, -7.049180567264557e-06, -6.5229833126068115e-06, -5.996786057949066e-06, -5.470588803291321e-06, -4.9443915486335754e-06, -4.41819429397583e-06, -3.891997039318085e-06, -3.3657997846603394e-06, -2.839602530002594e-06, -2.3134052753448486e-06, -1.7872080206871033e-06, -1.261010766029358e-06, -7.348135113716125e-07, -2.086162567138672e-07, 3.175809979438782e-07, 8.437782526016235e-07, 1.369975507259369e-06, 1.8961727619171143e-06, 2.4223700165748596e-06, 2.948567271232605e-06, 3.4747645258903503e-06, 4.000961780548096e-06, 4.527159035205841e-06, 5.0533562898635864e-06, 5.579553544521332e-06, 6.105750799179077e-06, 6.6319480538368225e-06, 7.158145308494568e-06, 7.684342563152313e-06, 8.210539817810059e-06, 8.736737072467804e-06, 9.26293432712555e-06, 9.789131581783295e-06, 1.031532883644104e-05, 1.0841526091098785e-05, 1.136772334575653e-05, 1.1893920600414276e-05, 1.2420117855072021e-05, 1.2946315109729767e-05, 1.3472512364387512e-05, 1.3998709619045258e-05, 1.4524906873703003e-05, 1.5051104128360748e-05, 1.5577301383018494e-05, 1.610349863767624e-05, 1.6629695892333984e-05]}, "gradients/encoder.encoder.layers.19.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 3.0, 3.0, 3.0, 2.0, 2.0, 5.0, 7.0, 10.0, 10.0, 8.0, 16.0, 9.0, 20.0, 15.0, 28.0, 27.0, 28.0, 28.0, 43.0, 27.0, 32.0, 32.0, 51.0, 38.0, 57.0, 42.0, 43.0, 50.0, 33.0, 33.0, 40.0, 36.0, 49.0, 36.0, 26.0, 31.0, 19.0, 16.0, 7.0, 8.0, 7.0, 2.0, 10.0, 2.0, 6.0, 5.0, 6.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-9.775161743164062e-06, -9.465031325817108e-06, -9.154900908470154e-06, -8.8447704911232e-06, -8.534640073776245e-06, -8.22450965642929e-06, -7.914379239082336e-06, -7.604248821735382e-06, -7.294118404388428e-06, -6.983987987041473e-06, -6.673857569694519e-06, -6.363727152347565e-06, -6.05359673500061e-06, -5.743466317653656e-06, -5.433335900306702e-06, -5.123205482959747e-06, -4.813075065612793e-06, -4.502944648265839e-06, -4.192814230918884e-06, -3.88268381357193e-06, -3.5725533962249756e-06, -3.2624229788780212e-06, -2.952292561531067e-06, -2.6421621441841125e-06, -2.332031726837158e-06, -2.021901309490204e-06, -1.7117708921432495e-06, -1.4016404747962952e-06, -1.0915100574493408e-06, -7.813796401023865e-07, -4.7124922275543213e-07, -1.6111880540847778e-07, 1.4901161193847656e-07, 4.591420292854309e-07, 7.692724466323853e-07, 1.0794028639793396e-06, 1.389533281326294e-06, 1.6996636986732483e-06, 2.0097941160202026e-06, 2.319924533367157e-06, 2.6300549507141113e-06, 2.9401853680610657e-06, 3.25031578540802e-06, 3.5604462027549744e-06, 3.870576620101929e-06, 4.180707037448883e-06, 4.490837454795837e-06, 4.800967872142792e-06, 5.111098289489746e-06, 5.4212287068367004e-06, 5.731359124183655e-06, 6.041489541530609e-06, 6.3516199588775635e-06, 6.661750376224518e-06, 6.971880793571472e-06, 7.2820112109184265e-06, 7.592141628265381e-06, 7.902272045612335e-06, 8.21240246295929e-06, 8.522532880306244e-06, 8.832663297653198e-06, 9.142793715000153e-06, 9.452924132347107e-06, 9.763054549694061e-06, 1.0073184967041016e-05]}, "gradients/encoder.encoder.layers.19.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 1.0, 4.0, 4.0, 10.0, 15.0, 23.0, 16.0, 45.0, 44.0, 81.0, 88.0, 184.0, 196.0, 285.0, 545.0, 613.0, 1221.0, 1445.0, 3053.0, 3546.0, 8142.0, 10143.0, 25725.0, 41333.0, 243714.0, 549811.0, 91927.0, 25806.0, 14664.0, 10997.0, 4928.0, 3919.0, 1816.0, 1574.0, 765.0, 640.0, 346.0, 322.0, 149.0, 132.0, 78.0, 65.0, 34.0, 38.0, 21.0, 17.0, 9.0, 10.0, 7.0, 5.0, 3.0, 4.0, 5.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.841255187988281e-06, -5.634501576423645e-06, -5.427747964859009e-06, -5.2209943532943726e-06, -5.014240741729736e-06, -4.8074871301651e-06, -4.600733518600464e-06, -4.393979907035828e-06, -4.187226295471191e-06, -3.980472683906555e-06, -3.773719072341919e-06, -3.5669654607772827e-06, -3.3602118492126465e-06, -3.1534582376480103e-06, -2.946704626083374e-06, -2.739951014518738e-06, -2.5331974029541016e-06, -2.3264437913894653e-06, -2.119690179824829e-06, -1.912936568260193e-06, -1.7061829566955566e-06, -1.4994293451309204e-06, -1.2926757335662842e-06, -1.085922122001648e-06, -8.791685104370117e-07, -6.724148988723755e-07, -4.6566128730773926e-07, -2.5890767574310303e-07, -5.21540641784668e-08, 1.5459954738616943e-07, 3.6135315895080566e-07, 5.681067705154419e-07, 7.748603820800781e-07, 9.816139936447144e-07, 1.1883676052093506e-06, 1.3951212167739868e-06, 1.601874828338623e-06, 1.8086284399032593e-06, 2.0153820514678955e-06, 2.2221356630325317e-06, 2.428889274597168e-06, 2.635642886161804e-06, 2.8423964977264404e-06, 3.0491501092910767e-06, 3.255903720855713e-06, 3.462657332420349e-06, 3.6694109439849854e-06, 3.876164555549622e-06, 4.082918167114258e-06, 4.289671778678894e-06, 4.49642539024353e-06, 4.7031790018081665e-06, 4.909932613372803e-06, 5.116686224937439e-06, 5.323439836502075e-06, 5.5301934480667114e-06, 5.736947059631348e-06, 5.943700671195984e-06, 6.15045428276062e-06, 6.357207894325256e-06, 6.563961505889893e-06, 6.770715117454529e-06, 6.977468729019165e-06, 7.184222340583801e-06, 7.3909759521484375e-06]}, "gradients/encoder.encoder.layers.19.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 0.0, 1.0, 4.0, 3.0, 2.0, 6.0, 2.0, 3.0, 4.0, 7.0, 1.0, 8.0, 9.0, 6.0, 2.0, 16.0, 18.0, 11.0, 7.0, 12.0, 18.0, 22.0, 34.0, 18.0, 55.0, 66.0, 111.0, 126.0, 109.0, 86.0, 56.0, 27.0, 24.0, 27.0, 12.0, 5.0, 17.0, 15.0, 10.0, 8.0, 3.0, 12.0, 8.0, 7.0, 0.0, 2.0, 5.0, 4.0, 0.0, 2.0, 0.0, 3.0, 2.0], "bins": [-4.0531158447265625e-06, -3.9478763937950134e-06, -3.842636942863464e-06, -3.7373974919319153e-06, -3.632158041000366e-06, -3.526918590068817e-06, -3.421679139137268e-06, -3.316439688205719e-06, -3.21120023727417e-06, -3.105960786342621e-06, -3.0007213354110718e-06, -2.8954818844795227e-06, -2.7902424335479736e-06, -2.6850029826164246e-06, -2.5797635316848755e-06, -2.4745240807533264e-06, -2.3692846298217773e-06, -2.2640451788902283e-06, -2.158805727958679e-06, -2.05356627702713e-06, -1.948326826095581e-06, -1.843087375164032e-06, -1.737847924232483e-06, -1.6326084733009338e-06, -1.5273690223693848e-06, -1.4221295714378357e-06, -1.3168901205062866e-06, -1.2116506695747375e-06, -1.1064112186431885e-06, -1.0011717677116394e-06, -8.959323167800903e-07, -7.906928658485413e-07, -6.854534149169922e-07, -5.802139639854431e-07, -4.7497451305389404e-07, -3.6973506212234497e-07, -2.644956111907959e-07, -1.5925616025924683e-07, -5.4016709327697754e-08, 5.122274160385132e-08, 1.564621925354004e-07, 2.6170164346694946e-07, 3.6694109439849854e-07, 4.721805453300476e-07, 5.774199962615967e-07, 6.826594471931458e-07, 7.878988981246948e-07, 8.931383490562439e-07, 9.98377799987793e-07, 1.103617250919342e-06, 1.2088567018508911e-06, 1.3140961527824402e-06, 1.4193356037139893e-06, 1.5245750546455383e-06, 1.6298145055770874e-06, 1.7350539565086365e-06, 1.8402934074401855e-06, 1.9455328583717346e-06, 2.0507723093032837e-06, 2.1560117602348328e-06, 2.261251211166382e-06, 2.366490662097931e-06, 2.47173011302948e-06, 2.576969563961029e-06, 2.682209014892578e-06]}, "gradients/encoder.encoder.layers.19.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 0.0, 7.0, 7.0, 8.0, 7.0, 25.0, 29.0, 32.0, 44.0, 69.0, 87.0, 140.0, 238.0, 339.0, 508.0, 742.0, 1273.0, 2038.0, 3546.0, 6659.0, 12889.0, 20611.0, 60660.0, 612933.0, 233620.0, 48961.0, 20651.0, 9764.0, 5163.0, 2892.0, 1718.0, 985.0, 626.0, 403.0, 272.0, 200.0, 101.0, 81.0, 74.0, 47.0, 31.0, 19.0, 17.0, 16.0, 10.0, 4.0, 3.0, 4.0, 3.0, 1.0, 2.0, 0.0, 1.0, 3.0], "bins": [-1.0013580322265625e-05, -9.717419743537903e-06, -9.42125916481018e-06, -9.125098586082458e-06, -8.828938007354736e-06, -8.532777428627014e-06, -8.236616849899292e-06, -7.94045627117157e-06, -7.644295692443848e-06, -7.3481351137161255e-06, -7.051974534988403e-06, -6.755813956260681e-06, -6.459653377532959e-06, -6.163492798805237e-06, -5.867332220077515e-06, -5.5711716413497925e-06, -5.27501106262207e-06, -4.978850483894348e-06, -4.682689905166626e-06, -4.386529326438904e-06, -4.090368747711182e-06, -3.7942081689834595e-06, -3.4980475902557373e-06, -3.201887011528015e-06, -2.905726432800293e-06, -2.609565854072571e-06, -2.3134052753448486e-06, -2.0172446966171265e-06, -1.7210841178894043e-06, -1.4249235391616821e-06, -1.12876296043396e-06, -8.326023817062378e-07, -5.364418029785156e-07, -2.4028122425079346e-07, 5.587935447692871e-08, 3.520399332046509e-07, 6.48200511932373e-07, 9.443610906600952e-07, 1.2405216693878174e-06, 1.5366822481155396e-06, 1.8328428268432617e-06, 2.129003405570984e-06, 2.425163984298706e-06, 2.7213245630264282e-06, 3.0174851417541504e-06, 3.3136457204818726e-06, 3.6098062992095947e-06, 3.905966877937317e-06, 4.202127456665039e-06, 4.498288035392761e-06, 4.794448614120483e-06, 5.0906091928482056e-06, 5.386769771575928e-06, 5.68293035030365e-06, 5.979090929031372e-06, 6.275251507759094e-06, 6.571412086486816e-06, 6.8675726652145386e-06, 7.163733243942261e-06, 7.459893822669983e-06, 7.756054401397705e-06, 8.052214980125427e-06, 8.34837555885315e-06, 8.644536137580872e-06, 8.940696716308594e-06]}, "gradients/encoder.encoder.layers.19.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 6.0, 3.0, 5.0, 1.0, 5.0, 2.0, 8.0, 5.0, 6.0, 16.0, 18.0, 15.0, 32.0, 32.0, 34.0, 38.0, 77.0, 121.0, 293.0, 57.0, 48.0, 38.0, 30.0, 17.0, 22.0, 14.0, 13.0, 6.0, 17.0, 11.0, 6.0, 10.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.185604095458984e-06, -5.014240741729736e-06, -4.842877388000488e-06, -4.67151403427124e-06, -4.500150680541992e-06, -4.328787326812744e-06, -4.157423973083496e-06, -3.986060619354248e-06, -3.814697265625e-06, -3.643333911895752e-06, -3.471970558166504e-06, -3.300607204437256e-06, -3.129243850708008e-06, -2.9578804969787598e-06, -2.7865171432495117e-06, -2.6151537895202637e-06, -2.4437904357910156e-06, -2.2724270820617676e-06, -2.1010637283325195e-06, -1.9297003746032715e-06, -1.7583370208740234e-06, -1.5869736671447754e-06, -1.4156103134155273e-06, -1.2442469596862793e-06, -1.0728836059570312e-06, -9.015202522277832e-07, -7.301568984985352e-07, -5.587935447692871e-07, -3.8743019104003906e-07, -2.1606683731079102e-07, -4.470348358154297e-08, 1.2665987014770508e-07, 2.980232238769531e-07, 4.6938657760620117e-07, 6.407499313354492e-07, 8.121132850646973e-07, 9.834766387939453e-07, 1.1548399925231934e-06, 1.3262033462524414e-06, 1.4975666999816895e-06, 1.6689300537109375e-06, 1.8402934074401855e-06, 2.0116567611694336e-06, 2.1830201148986816e-06, 2.3543834686279297e-06, 2.5257468223571777e-06, 2.6971101760864258e-06, 2.868473529815674e-06, 3.039836883544922e-06, 3.21120023727417e-06, 3.382563591003418e-06, 3.553926944732666e-06, 3.725290298461914e-06, 3.896653652191162e-06, 4.06801700592041e-06, 4.239380359649658e-06, 4.410743713378906e-06, 4.582107067108154e-06, 4.753470420837402e-06, 4.92483377456665e-06, 5.0961971282958984e-06, 5.2675604820251465e-06, 5.4389238357543945e-06, 5.610287189483643e-06, 5.781650543212891e-06]}, "gradients/encoder.encoder.layers.19.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 0.0, 3.0, 3.0, 4.0, 4.0, 5.0, 12.0, 8.0, 15.0, 19.0, 21.0, 28.0, 31.0, 61.0, 87.0, 142.0, 200.0, 92.0, 70.0, 41.0, 40.0, 28.0, 16.0, 15.0, 13.0, 15.0, 9.0, 8.0, 6.0, 3.0, 2.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.104135925648734e-05, -4.934562457492575e-05, -4.764989353134297e-05, -4.595415884978138e-05, -4.425842416821979e-05, -4.256269312463701e-05, -4.086695844307542e-05, -3.917122376151383e-05, -3.747548907995224e-05, -3.577975439839065e-05, -3.408402335480787e-05, -3.238828867324628e-05, -3.069255399168469e-05, -2.8996821129112504e-05, -2.730108826654032e-05, -2.560535358497873e-05, -2.3909620722406544e-05, -2.2213887859834358e-05, -2.051815317827277e-05, -1.8822420315700583e-05, -1.7126685634138994e-05, -1.5430952771566808e-05, -1.373521899949992e-05, -1.2039485227433033e-05, -1.0343751455366146e-05, -8.648017683299258e-06, -6.952283911232371e-06, -5.256550593912834e-06, -3.560816821845947e-06, -1.8650835045264103e-06, -1.6934973245952278e-07, 1.5263840396073647e-06, 3.222117811674252e-06, 4.91785158374114e-06, 6.613585355808027e-06, 8.309318218380213e-06, 1.0005052899941802e-05, 1.1700785762513988e-05, 1.3396519534580875e-05, 1.5092253306647763e-05, 1.6787987988209352e-05, 1.8483720850781538e-05, 2.0179455532343127e-05, 2.1875188394915313e-05, 2.3570923076476902e-05, 2.5266655939049087e-05, 2.6962388801621273e-05, 2.8658123483182862e-05, 3.0353856345755048e-05, 3.2049589208327234e-05, 3.374532388988882e-05, 3.544105857145041e-05, 3.7136789615033194e-05, 3.8832524296594784e-05, 4.052825897815637e-05, 4.2223990021739155e-05, 4.3919724703300744e-05, 4.5615459384862334e-05, 4.7311190428445116e-05, 4.9006925110006705e-05, 5.0702659791568294e-05, 5.2398390835151076e-05, 5.4094125516712666e-05, 5.5789860198274255e-05, 5.7485594879835844e-05]}, "gradients/encoder.encoder.layers.19.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 0.0, 3.0, 2.0, 1.0, 1.0, 3.0, 3.0, 5.0, 6.0, 9.0, 11.0, 9.0, 4.0, 10.0, 16.0, 13.0, 24.0, 24.0, 34.0, 22.0, 31.0, 19.0, 41.0, 39.0, 25.0, 41.0, 33.0, 35.0, 38.0, 35.0, 48.0, 28.0, 29.0, 33.0, 38.0, 29.0, 24.0, 34.0, 31.0, 24.0, 18.0, 18.0, 20.0, 14.0, 17.0, 11.0, 12.0, 13.0, 7.0, 7.0, 3.0, 6.0, 2.0, 3.0, 5.0, 1.0, 3.0, 2.0, 0.0, 1.0, 1.0], "bins": [-2.7060508728027344e-05, -2.620834857225418e-05, -2.5356188416481018e-05, -2.4504028260707855e-05, -2.3651868104934692e-05, -2.279970794916153e-05, -2.1947547793388367e-05, -2.1095387637615204e-05, -2.024322748184204e-05, -1.9391067326068878e-05, -1.8538907170295715e-05, -1.7686747014522552e-05, -1.683458685874939e-05, -1.5982426702976227e-05, -1.5130266547203064e-05, -1.4278106391429901e-05, -1.3425946235656738e-05, -1.2573786079883575e-05, -1.1721625924110413e-05, -1.086946576833725e-05, -1.0017305612564087e-05, -9.165145456790924e-06, -8.312985301017761e-06, -7.460825145244598e-06, -6.6086649894714355e-06, -5.756504833698273e-06, -4.90434467792511e-06, -4.052184522151947e-06, -3.200024366378784e-06, -2.3478642106056213e-06, -1.4957040548324585e-06, -6.435438990592957e-07, 2.086162567138672e-07, 1.06077641248703e-06, 1.912936568260193e-06, 2.7650967240333557e-06, 3.6172568798065186e-06, 4.469417035579681e-06, 5.321577191352844e-06, 6.173737347126007e-06, 7.02589750289917e-06, 7.878057658672333e-06, 8.730217814445496e-06, 9.582377970218658e-06, 1.0434538125991821e-05, 1.1286698281764984e-05, 1.2138858437538147e-05, 1.299101859331131e-05, 1.3843178749084473e-05, 1.4695338904857635e-05, 1.55474990606308e-05, 1.639965921640396e-05, 1.7251819372177124e-05, 1.8103979527950287e-05, 1.895613968372345e-05, 1.9808299839496613e-05, 2.0660459995269775e-05, 2.1512620151042938e-05, 2.23647803068161e-05, 2.3216940462589264e-05, 2.4069100618362427e-05, 2.492126077413559e-05, 2.5773420929908752e-05, 2.6625581085681915e-05, 2.7477741241455078e-05]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 4.0, 4.0, 4.0, 3.0, 5.0, 8.0, 14.0, 26.0, 30.0, 39.0, 63.0, 132.0, 180.0, 235.0, 374.0, 660.0, 905.0, 1546.0, 2536.0, 3916.0, 6702.0, 12379.0, 24750.0, 55763.0, 168435.0, 3298340.0, 456191.0, 85969.0, 35427.0, 18145.0, 8850.0, 4888.0, 2839.0, 1746.0, 1205.0, 731.0, 428.0, 268.0, 184.0, 123.0, 86.0, 67.0, 31.0, 24.0, 11.0, 9.0, 4.0, 6.0, 3.0, 1.0, 1.0, 4.0, 2.0, 1.0, 0.0, 2.0], "bins": [-3.057718276977539e-05, -2.9671937227249146e-05, -2.87666916847229e-05, -2.7861446142196655e-05, -2.695620059967041e-05, -2.6050955057144165e-05, -2.514570951461792e-05, -2.4240463972091675e-05, -2.333521842956543e-05, -2.2429972887039185e-05, -2.152472734451294e-05, -2.0619481801986694e-05, -1.971423625946045e-05, -1.8808990716934204e-05, -1.790374517440796e-05, -1.6998499631881714e-05, -1.609325408935547e-05, -1.5188008546829224e-05, -1.4282763004302979e-05, -1.3377517461776733e-05, -1.2472271919250488e-05, -1.1567026376724243e-05, -1.0661780834197998e-05, -9.756535291671753e-06, -8.851289749145508e-06, -7.946044206619263e-06, -7.040798664093018e-06, -6.1355531215667725e-06, -5.230307579040527e-06, -4.325062036514282e-06, -3.419816493988037e-06, -2.514570951461792e-06, -1.6093254089355469e-06, -7.040798664093018e-07, 2.0116567611694336e-07, 1.1064112186431885e-06, 2.0116567611694336e-06, 2.9169023036956787e-06, 3.822147846221924e-06, 4.727393388748169e-06, 5.632638931274414e-06, 6.537884473800659e-06, 7.443130016326904e-06, 8.34837555885315e-06, 9.253621101379395e-06, 1.015886664390564e-05, 1.1064112186431885e-05, 1.196935772895813e-05, 1.2874603271484375e-05, 1.377984881401062e-05, 1.4685094356536865e-05, 1.559033989906311e-05, 1.6495585441589355e-05, 1.74008309841156e-05, 1.8306076526641846e-05, 1.921132206916809e-05, 2.0116567611694336e-05, 2.102181315422058e-05, 2.1927058696746826e-05, 2.283230423927307e-05, 2.3737549781799316e-05, 2.464279532432556e-05, 2.5548040866851807e-05, 2.6453286409378052e-05, 2.7358531951904297e-05]}, "gradients/encoder.encoder.layers.18.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 5.0, 2.0, 2.0, 0.0, 1.0, 3.0, 4.0, 5.0, 6.0, 3.0, 4.0, 9.0, 9.0, 8.0, 15.0, 21.0, 26.0, 25.0, 37.0, 38.0, 48.0, 52.0, 54.0, 60.0, 64.0, 67.0, 76.0, 58.0, 49.0, 42.0, 45.0, 24.0, 23.0, 27.0, 12.0, 21.0, 9.0, 10.0, 10.0, 7.0, 9.0, 5.0, 6.0, 0.0, 2.0, 1.0, 0.0, 1.0, 3.0, 1.0, 3.0, 1.0, 2.0, 1.0, 2.0], "bins": [-4.0531158447265625e-06, -3.933906555175781e-06, -3.814697265625e-06, -3.6954879760742188e-06, -3.5762786865234375e-06, -3.4570693969726562e-06, -3.337860107421875e-06, -3.2186508178710938e-06, -3.0994415283203125e-06, -2.9802322387695312e-06, -2.86102294921875e-06, -2.7418136596679688e-06, -2.6226043701171875e-06, -2.5033950805664062e-06, -2.384185791015625e-06, -2.2649765014648438e-06, -2.1457672119140625e-06, -2.0265579223632812e-06, -1.9073486328125e-06, -1.7881393432617188e-06, -1.6689300537109375e-06, -1.5497207641601562e-06, -1.430511474609375e-06, -1.3113021850585938e-06, -1.1920928955078125e-06, -1.0728836059570312e-06, -9.5367431640625e-07, -8.344650268554688e-07, -7.152557373046875e-07, -5.960464477539062e-07, -4.76837158203125e-07, -3.5762786865234375e-07, -2.384185791015625e-07, -1.1920928955078125e-07, 0.0, 1.1920928955078125e-07, 2.384185791015625e-07, 3.5762786865234375e-07, 4.76837158203125e-07, 5.960464477539062e-07, 7.152557373046875e-07, 8.344650268554688e-07, 9.5367431640625e-07, 1.0728836059570312e-06, 1.1920928955078125e-06, 1.3113021850585938e-06, 1.430511474609375e-06, 1.5497207641601562e-06, 1.6689300537109375e-06, 1.7881393432617188e-06, 1.9073486328125e-06, 2.0265579223632812e-06, 2.1457672119140625e-06, 2.2649765014648438e-06, 2.384185791015625e-06, 2.5033950805664062e-06, 2.6226043701171875e-06, 2.7418136596679688e-06, 2.86102294921875e-06, 2.9802322387695312e-06, 3.0994415283203125e-06, 3.2186508178710938e-06, 3.337860107421875e-06, 3.4570693969726562e-06, 3.5762786865234375e-06]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [3.0, 1.0, 2.0, 5.0, 2.0, 7.0, 6.0, 14.0, 18.0, 22.0, 19.0, 50.0, 52.0, 83.0, 135.0, 176.0, 244.0, 435.0, 520.0, 870.0, 1432.0, 2051.0, 3529.0, 6613.0, 10852.0, 19630.0, 44067.0, 90012.0, 255834.0, 2822835.0, 651599.0, 151147.0, 67574.0, 28355.0, 16158.0, 7912.0, 4473.0, 2947.0, 1628.0, 1005.0, 721.0, 389.0, 287.0, 176.0, 118.0, 83.0, 69.0, 35.0, 32.0, 22.0, 15.0, 10.0, 6.0, 2.0, 7.0, 2.0, 1.0, 3.0, 3.0, 1.0, 0.0, 3.0, 1.0, 1.0], "bins": [-1.6570091247558594e-05, -1.6013160347938538e-05, -1.545622944831848e-05, -1.4899298548698425e-05, -1.4342367649078369e-05, -1.3785436749458313e-05, -1.3228505849838257e-05, -1.26715749502182e-05, -1.2114644050598145e-05, -1.1557713150978088e-05, -1.1000782251358032e-05, -1.0443851351737976e-05, -9.88692045211792e-06, -9.329989552497864e-06, -8.773058652877808e-06, -8.216127753257751e-06, -7.659196853637695e-06, -7.102265954017639e-06, -6.545335054397583e-06, -5.988404154777527e-06, -5.431473255157471e-06, -4.8745423555374146e-06, -4.317611455917358e-06, -3.7606805562973022e-06, -3.203749656677246e-06, -2.64681875705719e-06, -2.089887857437134e-06, -1.5329569578170776e-06, -9.760260581970215e-07, -4.1909515857696533e-07, 1.3783574104309082e-07, 6.94766640663147e-07, 1.2516975402832031e-06, 1.8086284399032593e-06, 2.3655593395233154e-06, 2.9224902391433716e-06, 3.4794211387634277e-06, 4.036352038383484e-06, 4.59328293800354e-06, 5.150213837623596e-06, 5.707144737243652e-06, 6.2640756368637085e-06, 6.821006536483765e-06, 7.377937436103821e-06, 7.934868335723877e-06, 8.491799235343933e-06, 9.04873013496399e-06, 9.605661034584045e-06, 1.0162591934204102e-05, 1.0719522833824158e-05, 1.1276453733444214e-05, 1.183338463306427e-05, 1.2390315532684326e-05, 1.2947246432304382e-05, 1.3504177331924438e-05, 1.4061108231544495e-05, 1.461803913116455e-05, 1.5174970030784607e-05, 1.5731900930404663e-05, 1.628883183002472e-05, 1.6845762729644775e-05, 1.740269362926483e-05, 1.7959624528884888e-05, 1.8516555428504944e-05, 1.9073486328125e-05]}, "gradients/encoder.encoder.layers.18.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 3.0, 5.0, 5.0, 9.0, 9.0, 11.0, 18.0, 22.0, 22.0, 23.0, 50.0, 52.0, 51.0, 85.0, 104.0, 126.0, 188.0, 297.0, 620.0, 896.0, 485.0, 233.0, 142.0, 111.0, 91.0, 68.0, 64.0, 52.0, 50.0, 41.0, 32.0, 25.0, 21.0, 13.0, 12.0, 6.0, 13.0, 8.0, 4.0, 5.0, 3.0, 3.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-1.239776611328125e-05, -1.2035481631755829e-05, -1.1673197150230408e-05, -1.1310912668704987e-05, -1.0948628187179565e-05, -1.0586343705654144e-05, -1.0224059224128723e-05, -9.861774742603302e-06, -9.499490261077881e-06, -9.13720577955246e-06, -8.774921298027039e-06, -8.412636816501617e-06, -8.050352334976196e-06, -7.688067853450775e-06, -7.325783371925354e-06, -6.963498890399933e-06, -6.601214408874512e-06, -6.2389299273490906e-06, -5.8766454458236694e-06, -5.514360964298248e-06, -5.152076482772827e-06, -4.789792001247406e-06, -4.427507519721985e-06, -4.065223038196564e-06, -3.7029385566711426e-06, -3.3406540751457214e-06, -2.9783695936203003e-06, -2.616085112094879e-06, -2.253800630569458e-06, -1.8915161490440369e-06, -1.5292316675186157e-06, -1.1669471859931946e-06, -8.046627044677734e-07, -4.423782229423523e-07, -8.009374141693115e-08, 2.8219074010849e-07, 6.444752216339111e-07, 1.0067597031593323e-06, 1.3690441846847534e-06, 1.7313286662101746e-06, 2.0936131477355957e-06, 2.455897629261017e-06, 2.818182110786438e-06, 3.180466592311859e-06, 3.5427510738372803e-06, 3.905035555362701e-06, 4.2673200368881226e-06, 4.629604518413544e-06, 4.991888999938965e-06, 5.354173481464386e-06, 5.716457962989807e-06, 6.078742444515228e-06, 6.441026926040649e-06, 6.8033114075660706e-06, 7.165595889091492e-06, 7.527880370616913e-06, 7.890164852142334e-06, 8.252449333667755e-06, 8.614733815193176e-06, 8.977018296718597e-06, 9.339302778244019e-06, 9.70158725976944e-06, 1.006387174129486e-05, 1.0426156222820282e-05, 1.0788440704345703e-05]}, "gradients/encoder.encoder.layers.18.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 0.0, 4.0, 5.0, 7.0, 7.0, 10.0, 6.0, 14.0, 21.0, 31.0, 41.0, 46.0, 86.0, 147.0, 134.0, 110.0, 90.0, 53.0, 50.0, 26.0, 25.0, 25.0, 13.0, 16.0, 7.0, 5.0, 8.0, 7.0, 3.0, 3.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-7.298374111996964e-05, -7.05857528373599e-05, -6.818775727879256e-05, -6.578976899618283e-05, -6.339177343761548e-05, -6.099378515500575e-05, -5.8595793234417215e-05, -5.619780131382868e-05, -5.3799813031218946e-05, -5.140182111063041e-05, -4.900382919004187e-05, -4.660584090743214e-05, -4.42078489868436e-05, -4.180985706625506e-05, -3.9411865145666525e-05, -3.701387322507799e-05, -3.461588130448945e-05, -3.221788938390091e-05, -2.9819899282301776e-05, -2.7421907361713238e-05, -2.5023917260114104e-05, -2.2625925339525566e-05, -2.0227933418937027e-05, -1.7829943317337893e-05, -1.5431951396749355e-05, -1.3033960385655519e-05, -1.0635969374561682e-05, -8.237977453973144e-06, -5.839986442879308e-06, -3.4419954317854717e-06, -1.0440035111969337e-06, 1.3539865904022008e-06, 3.751978510990739e-06, 6.149969522084575e-06, 8.547960533178411e-06, 1.094595245376695e-05, 1.3343943464860786e-05, 1.5741934475954622e-05, 1.813992639654316e-05, 2.0537916498142295e-05, 2.2935908418730833e-05, 2.533390033931937e-05, 2.7731890440918505e-05, 3.0129882361507043e-05, 3.252787428209558e-05, 3.492586256470531e-05, 3.732385812327266e-05, 3.972184640588239e-05, 4.2119838326470926e-05, 4.4517830247059464e-05, 4.6915822167648e-05, 4.931381408823654e-05, 5.171180237084627e-05, 5.410979429143481e-05, 5.650778621202335e-05, 5.890577449463308e-05, 6.130377005320042e-05, 6.370175833581015e-05, 6.60997538943775e-05, 6.849774217698723e-05, 7.089573773555458e-05, 7.329372601816431e-05, 7.569171430077404e-05, 7.808970985934138e-05, 8.048769814195111e-05]}, "gradients/encoder.encoder.layers.18.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 0.0, 4.0, 3.0, 7.0, 8.0, 5.0, 11.0, 13.0, 17.0, 12.0, 29.0, 20.0, 22.0, 25.0, 30.0, 34.0, 36.0, 40.0, 43.0, 34.0, 52.0, 49.0, 44.0, 40.0, 42.0, 47.0, 43.0, 47.0, 38.0, 43.0, 37.0, 27.0, 21.0, 20.0, 14.0, 7.0, 16.0, 6.0, 4.0, 9.0, 6.0, 3.0, 3.0, 0.0, 0.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-4.315376281738281e-05, -4.169810563325882e-05, -4.024244844913483e-05, -3.8786791265010834e-05, -3.733113408088684e-05, -3.587547689676285e-05, -3.4419819712638855e-05, -3.296416252851486e-05, -3.150850534439087e-05, -3.0052848160266876e-05, -2.8597190976142883e-05, -2.714153379201889e-05, -2.5685876607894897e-05, -2.4230219423770905e-05, -2.277456223964691e-05, -2.131890505552292e-05, -1.9863247871398926e-05, -1.8407590687274933e-05, -1.695193350315094e-05, -1.5496276319026947e-05, -1.4040619134902954e-05, -1.2584961950778961e-05, -1.1129304766654968e-05, -9.673647582530975e-06, -8.217990398406982e-06, -6.7623332142829895e-06, -5.306676030158997e-06, -3.851018846035004e-06, -2.3953616619110107e-06, -9.397044777870178e-07, 5.159527063369751e-07, 1.971609890460968e-06, 3.427267074584961e-06, 4.882924258708954e-06, 6.338581442832947e-06, 7.79423862695694e-06, 9.249895811080933e-06, 1.0705552995204926e-05, 1.2161210179328918e-05, 1.3616867363452911e-05, 1.5072524547576904e-05, 1.6528181731700897e-05, 1.798383891582489e-05, 1.9439496099948883e-05, 2.0895153284072876e-05, 2.235081046819687e-05, 2.3806467652320862e-05, 2.5262124836444855e-05, 2.6717782020568848e-05, 2.817343920469284e-05, 2.9629096388816833e-05, 3.1084753572940826e-05, 3.254041075706482e-05, 3.399606794118881e-05, 3.5451725125312805e-05, 3.69073823094368e-05, 3.836303949356079e-05, 3.9818696677684784e-05, 4.127435386180878e-05, 4.273001104593277e-05, 4.418566823005676e-05, 4.5641325414180756e-05, 4.709698259830475e-05, 4.855263978242874e-05, 5.0008296966552734e-05]}, "gradients/encoder.encoder.layers.18.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 4.0, 11.0, 14.0, 13.0, 27.0, 40.0, 45.0, 84.0, 112.0, 177.0, 227.0, 375.0, 516.0, 858.0, 1212.0, 2036.0, 3181.0, 5683.0, 9435.0, 19134.0, 36233.0, 90348.0, 316013.0, 392845.0, 86866.0, 38380.0, 19854.0, 9728.0, 5948.0, 3208.0, 2129.0, 1253.0, 869.0, 535.0, 372.0, 253.0, 188.0, 103.0, 81.0, 55.0, 35.0, 27.0, 20.0, 13.0, 7.0, 7.0, 2.0, 5.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.676248550415039e-05, -2.5840476155281067e-05, -2.4918466806411743e-05, -2.399645745754242e-05, -2.3074448108673096e-05, -2.2152438759803772e-05, -2.1230429410934448e-05, -2.0308420062065125e-05, -1.93864107131958e-05, -1.8464401364326477e-05, -1.7542392015457153e-05, -1.662038266658783e-05, -1.5698373317718506e-05, -1.4776363968849182e-05, -1.3854354619979858e-05, -1.2932345271110535e-05, -1.2010335922241211e-05, -1.1088326573371887e-05, -1.0166317224502563e-05, -9.24430787563324e-06, -8.322298526763916e-06, -7.400289177894592e-06, -6.4782798290252686e-06, -5.556270480155945e-06, -4.634261131286621e-06, -3.7122517824172974e-06, -2.7902424335479736e-06, -1.86823308467865e-06, -9.462237358093262e-07, -2.421438694000244e-08, 8.977949619293213e-07, 1.819804310798645e-06, 2.7418136596679688e-06, 3.6638230085372925e-06, 4.585832357406616e-06, 5.50784170627594e-06, 6.429851055145264e-06, 7.351860404014587e-06, 8.273869752883911e-06, 9.195879101753235e-06, 1.0117888450622559e-05, 1.1039897799491882e-05, 1.1961907148361206e-05, 1.288391649723053e-05, 1.3805925846099854e-05, 1.4727935194969177e-05, 1.56499445438385e-05, 1.6571953892707825e-05, 1.749396324157715e-05, 1.8415972590446472e-05, 1.9337981939315796e-05, 2.025999128818512e-05, 2.1182000637054443e-05, 2.2104009985923767e-05, 2.302601933479309e-05, 2.3948028683662415e-05, 2.4870038032531738e-05, 2.5792047381401062e-05, 2.6714056730270386e-05, 2.763606607913971e-05, 2.8558075428009033e-05, 2.9480084776878357e-05, 3.040209412574768e-05, 3.1324103474617004e-05, 3.224611282348633e-05]}, "gradients/encoder.encoder.layers.18.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 3.0, 3.0, 2.0, 1.0, 1.0, 3.0, 3.0, 3.0, 8.0, 8.0, 8.0, 11.0, 6.0, 12.0, 15.0, 22.0, 31.0, 36.0, 35.0, 48.0, 44.0, 53.0, 76.0, 75.0, 69.0, 61.0, 66.0, 43.0, 43.0, 33.0, 27.0, 28.0, 34.0, 18.0, 19.0, 5.0, 16.0, 10.0, 5.0, 4.0, 1.0, 9.0, 3.0, 3.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-3.6954879760742188e-06, -3.577210009098053e-06, -3.458932042121887e-06, -3.3406540751457214e-06, -3.2223761081695557e-06, -3.10409814119339e-06, -2.985820174217224e-06, -2.8675422072410583e-06, -2.7492642402648926e-06, -2.630986273288727e-06, -2.512708306312561e-06, -2.3944303393363953e-06, -2.2761523723602295e-06, -2.1578744053840637e-06, -2.039596438407898e-06, -1.921318471431732e-06, -1.8030405044555664e-06, -1.6847625374794006e-06, -1.5664845705032349e-06, -1.448206603527069e-06, -1.3299286365509033e-06, -1.2116506695747375e-06, -1.0933727025985718e-06, -9.75094735622406e-07, -8.568167686462402e-07, -7.385388016700745e-07, -6.202608346939087e-07, -5.019828677177429e-07, -3.8370490074157715e-07, -2.654269337654114e-07, -1.471489667892456e-07, -2.8870999813079834e-08, 8.940696716308594e-08, 2.076849341392517e-07, 3.259629011154175e-07, 4.4424086809158325e-07, 5.62518835067749e-07, 6.807968020439148e-07, 7.990747690200806e-07, 9.173527359962463e-07, 1.0356307029724121e-06, 1.1539086699485779e-06, 1.2721866369247437e-06, 1.3904646039009094e-06, 1.5087425708770752e-06, 1.627020537853241e-06, 1.7452985048294067e-06, 1.8635764718055725e-06, 1.9818544387817383e-06, 2.100132405757904e-06, 2.21841037273407e-06, 2.3366883397102356e-06, 2.4549663066864014e-06, 2.573244273662567e-06, 2.691522240638733e-06, 2.8098002076148987e-06, 2.9280781745910645e-06, 3.0463561415672302e-06, 3.164634108543396e-06, 3.2829120755195618e-06, 3.4011900424957275e-06, 3.5194680094718933e-06, 3.637745976448059e-06, 3.756023943424225e-06, 3.874301910400391e-06]}, "gradients/encoder.encoder.layers.18.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 4.0, 6.0, 6.0, 2.0, 8.0, 8.0, 10.0, 18.0, 25.0, 42.0, 67.0, 89.0, 120.0, 124.0, 206.0, 326.0, 456.0, 694.0, 1118.0, 1714.0, 2619.0, 4280.0, 6926.0, 11702.0, 19778.0, 35692.0, 68151.0, 156753.0, 427633.0, 155751.0, 68282.0, 35540.0, 20179.0, 11445.0, 6837.0, 4270.0, 2655.0, 1694.0, 1045.0, 749.0, 489.0, 332.0, 200.0, 137.0, 114.0, 88.0, 53.0, 45.0, 25.0, 20.0, 8.0, 7.0, 5.0, 8.0, 4.0, 5.0, 2.0, 0.0, 3.0, 0.0, 2.0], "bins": [-1.6868114471435547e-05, -1.6332603991031647e-05, -1.5797093510627747e-05, -1.5261583030223846e-05, -1.4726072549819946e-05, -1.4190562069416046e-05, -1.3655051589012146e-05, -1.3119541108608246e-05, -1.2584030628204346e-05, -1.2048520147800446e-05, -1.1513009667396545e-05, -1.0977499186992645e-05, -1.0441988706588745e-05, -9.906478226184845e-06, -9.370967745780945e-06, -8.835457265377045e-06, -8.299946784973145e-06, -7.764436304569244e-06, -7.228925824165344e-06, -6.693415343761444e-06, -6.157904863357544e-06, -5.622394382953644e-06, -5.086883902549744e-06, -4.5513734221458435e-06, -4.015862941741943e-06, -3.4803524613380432e-06, -2.944841980934143e-06, -2.409331500530243e-06, -1.8738210201263428e-06, -1.3383105397224426e-06, -8.028000593185425e-07, -2.6728957891464233e-07, 2.682209014892578e-07, 8.03731381893158e-07, 1.339241862297058e-06, 1.8747523427009583e-06, 2.4102628231048584e-06, 2.9457733035087585e-06, 3.4812837839126587e-06, 4.016794264316559e-06, 4.552304744720459e-06, 5.087815225124359e-06, 5.623325705528259e-06, 6.1588361859321594e-06, 6.6943466663360596e-06, 7.22985714673996e-06, 7.76536762714386e-06, 8.30087810754776e-06, 8.83638858795166e-06, 9.37189906835556e-06, 9.90740954875946e-06, 1.044292002916336e-05, 1.097843050956726e-05, 1.1513940989971161e-05, 1.2049451470375061e-05, 1.2584961950778961e-05, 1.3120472431182861e-05, 1.3655982911586761e-05, 1.4191493391990662e-05, 1.4727003872394562e-05, 1.5262514352798462e-05, 1.5798024833202362e-05, 1.6333535313606262e-05, 1.6869045794010162e-05, 1.7404556274414062e-05]}, "gradients/encoder.encoder.layers.18.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 3.0, 5.0, 7.0, 8.0, 3.0, 11.0, 7.0, 18.0, 16.0, 23.0, 16.0, 21.0, 27.0, 28.0, 40.0, 19.0, 44.0, 34.0, 35.0, 45.0, 45.0, 58.0, 45.0, 55.0, 43.0, 54.0, 24.0, 43.0, 37.0, 31.0, 37.0, 24.0, 25.0, 7.0, 11.0, 13.0, 7.0, 12.0, 6.0, 10.0, 6.0, 1.0, 2.0, 4.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-1.049041748046875e-05, -1.0166317224502563e-05, -9.842216968536377e-06, -9.51811671257019e-06, -9.194016456604004e-06, -8.869916200637817e-06, -8.545815944671631e-06, -8.221715688705444e-06, -7.897615432739258e-06, -7.573515176773071e-06, -7.249414920806885e-06, -6.925314664840698e-06, -6.601214408874512e-06, -6.277114152908325e-06, -5.953013896942139e-06, -5.628913640975952e-06, -5.304813385009766e-06, -4.980713129043579e-06, -4.656612873077393e-06, -4.332512617111206e-06, -4.0084123611450195e-06, -3.684312105178833e-06, -3.3602118492126465e-06, -3.03611159324646e-06, -2.7120113372802734e-06, -2.387911081314087e-06, -2.0638108253479004e-06, -1.7397105693817139e-06, -1.4156103134155273e-06, -1.0915100574493408e-06, -7.674098014831543e-07, -4.4330954551696777e-07, -1.1920928955078125e-07, 2.0489096641540527e-07, 5.289912223815918e-07, 8.530914783477783e-07, 1.1771917343139648e-06, 1.5012919902801514e-06, 1.8253922462463379e-06, 2.1494925022125244e-06, 2.473592758178711e-06, 2.7976930141448975e-06, 3.121793270111084e-06, 3.4458935260772705e-06, 3.769993782043457e-06, 4.0940940380096436e-06, 4.41819429397583e-06, 4.742294549942017e-06, 5.066394805908203e-06, 5.39049506187439e-06, 5.714595317840576e-06, 6.038695573806763e-06, 6.362795829772949e-06, 6.686896085739136e-06, 7.010996341705322e-06, 7.335096597671509e-06, 7.659196853637695e-06, 7.983297109603882e-06, 8.307397365570068e-06, 8.631497621536255e-06, 8.955597877502441e-06, 9.279698133468628e-06, 9.603798389434814e-06, 9.927898645401001e-06, 1.0251998901367188e-05]}, "gradients/encoder.encoder.layers.18.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 4.0, 2.0, 7.0, 4.0, 17.0, 23.0, 27.0, 44.0, 43.0, 43.0, 90.0, 210.0, 243.0, 347.0, 568.0, 1199.0, 1740.0, 2715.0, 4716.0, 11944.0, 27117.0, 145057.0, 762744.0, 56279.0, 15598.0, 7199.0, 4708.0, 2137.0, 1317.0, 863.0, 615.0, 289.0, 220.0, 135.0, 102.0, 50.0, 36.0, 43.0, 25.0, 15.0, 12.0, 3.0, 7.0, 4.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-8.463859558105469e-06, -8.209608495235443e-06, -7.955357432365417e-06, -7.701106369495392e-06, -7.446855306625366e-06, -7.1926042437553406e-06, -6.938353180885315e-06, -6.684102118015289e-06, -6.429851055145264e-06, -6.175599992275238e-06, -5.921348929405212e-06, -5.667097866535187e-06, -5.412846803665161e-06, -5.1585957407951355e-06, -4.90434467792511e-06, -4.650093615055084e-06, -4.395842552185059e-06, -4.141591489315033e-06, -3.887340426445007e-06, -3.6330893635749817e-06, -3.378838300704956e-06, -3.1245872378349304e-06, -2.8703361749649048e-06, -2.616085112094879e-06, -2.3618340492248535e-06, -2.107582986354828e-06, -1.8533319234848022e-06, -1.5990808606147766e-06, -1.344829797744751e-06, -1.0905787348747253e-06, -8.363276720046997e-07, -5.820766091346741e-07, -3.2782554626464844e-07, -7.35744833946228e-08, 1.8067657947540283e-07, 4.3492764234542847e-07, 6.891787052154541e-07, 9.434297680854797e-07, 1.1976808309555054e-06, 1.451931893825531e-06, 1.7061829566955566e-06, 1.9604340195655823e-06, 2.214685082435608e-06, 2.4689361453056335e-06, 2.723187208175659e-06, 2.977438271045685e-06, 3.2316893339157104e-06, 3.485940396785736e-06, 3.7401914596557617e-06, 3.994442522525787e-06, 4.248693585395813e-06, 4.502944648265839e-06, 4.757195711135864e-06, 5.01144677400589e-06, 5.2656978368759155e-06, 5.519948899745941e-06, 5.774199962615967e-06, 6.0284510254859924e-06, 6.282702088356018e-06, 6.536953151226044e-06, 6.791204214096069e-06, 7.045455276966095e-06, 7.299706339836121e-06, 7.553957402706146e-06, 7.808208465576172e-06]}, "gradients/encoder.encoder.layers.18.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 2.0, 3.0, 1.0, 2.0, 4.0, 6.0, 4.0, 4.0, 2.0, 10.0, 8.0, 9.0, 6.0, 10.0, 22.0, 34.0, 62.0, 96.0, 111.0, 251.0, 113.0, 88.0, 55.0, 34.0, 19.0, 12.0, 4.0, 7.0, 4.0, 1.0, 7.0, 2.0, 2.0, 3.0, 1.0, 3.0, 2.0, 0.0, 5.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.4570693969726562e-06, -3.3266842365264893e-06, -3.1962990760803223e-06, -3.0659139156341553e-06, -2.9355287551879883e-06, -2.8051435947418213e-06, -2.6747584342956543e-06, -2.5443732738494873e-06, -2.4139881134033203e-06, -2.2836029529571533e-06, -2.1532177925109863e-06, -2.0228326320648193e-06, -1.8924474716186523e-06, -1.7620623111724854e-06, -1.6316771507263184e-06, -1.5012919902801514e-06, -1.3709068298339844e-06, -1.2405216693878174e-06, -1.1101365089416504e-06, -9.797513484954834e-07, -8.493661880493164e-07, -7.189810276031494e-07, -5.885958671569824e-07, -4.5821070671081543e-07, -3.2782554626464844e-07, -1.9744038581848145e-07, -6.705522537231445e-08, 6.332993507385254e-08, 1.9371509552001953e-07, 3.241002559661865e-07, 4.544854164123535e-07, 5.848705768585205e-07, 7.152557373046875e-07, 8.456408977508545e-07, 9.760260581970215e-07, 1.1064112186431885e-06, 1.2367963790893555e-06, 1.3671815395355225e-06, 1.4975666999816895e-06, 1.6279518604278564e-06, 1.7583370208740234e-06, 1.8887221813201904e-06, 2.0191073417663574e-06, 2.1494925022125244e-06, 2.2798776626586914e-06, 2.4102628231048584e-06, 2.5406479835510254e-06, 2.6710331439971924e-06, 2.8014183044433594e-06, 2.9318034648895264e-06, 3.0621886253356934e-06, 3.1925737857818604e-06, 3.3229589462280273e-06, 3.4533441066741943e-06, 3.5837292671203613e-06, 3.7141144275665283e-06, 3.844499588012695e-06, 3.974884748458862e-06, 4.105269908905029e-06, 4.235655069351196e-06, 4.366040229797363e-06, 4.49642539024353e-06, 4.626810550689697e-06, 4.757195711135864e-06, 4.887580871582031e-06]}, "gradients/encoder.encoder.layers.18.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 5.0, 17.0, 9.0, 14.0, 23.0, 11.0, 36.0, 65.0, 68.0, 114.0, 173.0, 287.0, 304.0, 567.0, 1008.0, 1070.0, 2288.0, 3986.0, 4917.0, 12150.0, 29481.0, 122768.0, 690705.0, 121862.0, 29259.0, 10146.0, 7247.0, 3988.0, 2297.0, 1094.0, 941.0, 569.0, 288.0, 274.0, 146.0, 102.0, 95.0, 48.0, 36.0, 24.0, 19.0, 15.0, 13.0, 14.0, 12.0, 2.0, 2.0, 0.0, 2.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 2.0], "bins": [-6.735324859619141e-06, -6.514601409435272e-06, -6.293877959251404e-06, -6.073154509067535e-06, -5.852431058883667e-06, -5.631707608699799e-06, -5.41098415851593e-06, -5.190260708332062e-06, -4.969537258148193e-06, -4.748813807964325e-06, -4.5280903577804565e-06, -4.307366907596588e-06, -4.08664345741272e-06, -3.865920007228851e-06, -3.645196557044983e-06, -3.4244731068611145e-06, -3.203749656677246e-06, -2.9830262064933777e-06, -2.7623027563095093e-06, -2.541579306125641e-06, -2.3208558559417725e-06, -2.100132405757904e-06, -1.8794089555740356e-06, -1.6586855053901672e-06, -1.4379620552062988e-06, -1.2172386050224304e-06, -9.96515154838562e-07, -7.757917046546936e-07, -5.550682544708252e-07, -3.343448042869568e-07, -1.1362135410308838e-07, 1.0710209608078003e-07, 3.2782554626464844e-07, 5.485489964485168e-07, 7.692724466323853e-07, 9.899958968162537e-07, 1.210719347000122e-06, 1.4314427971839905e-06, 1.6521662473678589e-06, 1.8728896975517273e-06, 2.0936131477355957e-06, 2.314336597919464e-06, 2.5350600481033325e-06, 2.755783498287201e-06, 2.9765069484710693e-06, 3.1972303986549377e-06, 3.417953848838806e-06, 3.6386772990226746e-06, 3.859400749206543e-06, 4.080124199390411e-06, 4.30084764957428e-06, 4.521571099758148e-06, 4.742294549942017e-06, 4.963018000125885e-06, 5.183741450309753e-06, 5.404464900493622e-06, 5.62518835067749e-06, 5.845911800861359e-06, 6.066635251045227e-06, 6.2873587012290955e-06, 6.508082151412964e-06, 6.728805601596832e-06, 6.949529051780701e-06, 7.170252501964569e-06, 7.3909759521484375e-06]}, "gradients/encoder.encoder.layers.18.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 0.0, 2.0, 4.0, 2.0, 3.0, 1.0, 4.0, 4.0, 3.0, 5.0, 5.0, 8.0, 6.0, 9.0, 10.0, 14.0, 20.0, 26.0, 38.0, 64.0, 113.0, 227.0, 171.0, 59.0, 45.0, 41.0, 17.0, 22.0, 13.0, 12.0, 13.0, 11.0, 4.0, 8.0, 7.0, 3.0, 3.0, 1.0, 6.0, 2.0, 1.0, 3.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0], "bins": [-4.470348358154297e-06, -4.351139068603516e-06, -4.231929779052734e-06, -4.112720489501953e-06, -3.993511199951172e-06, -3.874301910400391e-06, -3.7550926208496094e-06, -3.635883331298828e-06, -3.516674041748047e-06, -3.3974647521972656e-06, -3.2782554626464844e-06, -3.159046173095703e-06, -3.039836883544922e-06, -2.9206275939941406e-06, -2.8014183044433594e-06, -2.682209014892578e-06, -2.562999725341797e-06, -2.4437904357910156e-06, -2.3245811462402344e-06, -2.205371856689453e-06, -2.086162567138672e-06, -1.9669532775878906e-06, -1.8477439880371094e-06, -1.7285346984863281e-06, -1.6093254089355469e-06, -1.4901161193847656e-06, -1.3709068298339844e-06, -1.2516975402832031e-06, -1.1324882507324219e-06, -1.0132789611816406e-06, -8.940696716308594e-07, -7.748603820800781e-07, -6.556510925292969e-07, -5.364418029785156e-07, -4.172325134277344e-07, -2.980232238769531e-07, -1.7881393432617188e-07, -5.960464477539063e-08, 5.960464477539063e-08, 1.7881393432617188e-07, 2.980232238769531e-07, 4.172325134277344e-07, 5.364418029785156e-07, 6.556510925292969e-07, 7.748603820800781e-07, 8.940696716308594e-07, 1.0132789611816406e-06, 1.1324882507324219e-06, 1.2516975402832031e-06, 1.3709068298339844e-06, 1.4901161193847656e-06, 1.6093254089355469e-06, 1.7285346984863281e-06, 1.8477439880371094e-06, 1.9669532775878906e-06, 2.086162567138672e-06, 2.205371856689453e-06, 2.3245811462402344e-06, 2.4437904357910156e-06, 2.562999725341797e-06, 2.682209014892578e-06, 2.8014183044433594e-06, 2.9206275939941406e-06, 3.039836883544922e-06, 3.159046173095703e-06]}, "gradients/encoder.encoder.layers.18.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 3.0, 0.0, 0.0, 3.0, 6.0, 2.0, 4.0, 3.0, 7.0, 8.0, 12.0, 12.0, 17.0, 17.0, 22.0, 25.0, 35.0, 34.0, 57.0, 71.0, 114.0, 166.0, 98.0, 65.0, 35.0, 29.0, 27.0, 24.0, 17.0, 14.0, 11.0, 14.0, 10.0, 4.0, 8.0, 7.0, 5.0, 9.0, 2.0, 2.0, 3.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0], "bins": [-4.0681115933693945e-05, -3.934099368052557e-05, -3.80008714273572e-05, -3.666074917418882e-05, -3.532062692102045e-05, -3.398050102987327e-05, -3.264037877670489e-05, -3.130025652353652e-05, -2.9960134270368144e-05, -2.862001201719977e-05, -2.7279889764031395e-05, -2.5939765691873617e-05, -2.4599643438705243e-05, -2.325952118553687e-05, -2.191939711337909e-05, -2.0579274860210717e-05, -1.9239152607042342e-05, -1.7899030353873968e-05, -1.6558908100705594e-05, -1.5218784028547816e-05, -1.3878661775379442e-05, -1.2538539522211067e-05, -1.1198416359547991e-05, -9.858293196884915e-06, -8.518170943716541e-06, -7.178048235800816e-06, -5.8379255278850906e-06, -4.497802819969365e-06, -3.15768011205364e-06, -1.817557404137915e-06, -4.774346962221898e-07, 8.626884664408863e-07, 2.2028070816304535e-06, 3.5429297895461787e-06, 4.883052497461904e-06, 6.223175205377629e-06, 7.563297913293354e-06, 8.903420166461729e-06, 1.0243543329124805e-05, 1.158366649178788e-05, 1.2923788744956255e-05, 1.426391099812463e-05, 1.5604033251293004e-05, 1.694415732345078e-05, 1.8284279576619156e-05, 1.962440182978753e-05, 2.0964525901945308e-05, 2.2304648155113682e-05, 2.3644770408282056e-05, 2.498489266145043e-05, 2.6325014914618805e-05, 2.7665138986776583e-05, 2.9005261239944957e-05, 3.034538349311333e-05, 3.168550756527111e-05, 3.3025629818439484e-05, 3.436575207160786e-05, 3.570587432477623e-05, 3.7045996577944607e-05, 3.838611883111298e-05, 3.9726241084281355e-05, 4.1066366975428537e-05, 4.240648922859691e-05, 4.3746611481765285e-05, 4.508673373493366e-05]}, "gradients/encoder.encoder.layers.18.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 2.0, 2.0, 5.0, 0.0, 3.0, 5.0, 3.0, 6.0, 6.0, 8.0, 18.0, 11.0, 15.0, 17.0, 30.0, 20.0, 22.0, 30.0, 32.0, 32.0, 38.0, 41.0, 32.0, 46.0, 51.0, 40.0, 42.0, 40.0, 42.0, 40.0, 37.0, 32.0, 41.0, 26.0, 17.0, 20.0, 18.0, 26.0, 16.0, 16.0, 11.0, 14.0, 13.0, 9.0, 5.0, 7.0, 4.0, 1.0, 5.0, 5.0, 4.0, 1.0, 3.0, 2.0, 3.0, 2.0], "bins": [-3.403425216674805e-05, -3.3029355108737946e-05, -3.2024458050727844e-05, -3.101956099271774e-05, -3.001466393470764e-05, -2.900976687669754e-05, -2.800486981868744e-05, -2.6999972760677338e-05, -2.5995075702667236e-05, -2.4990178644657135e-05, -2.3985281586647034e-05, -2.2980384528636932e-05, -2.197548747062683e-05, -2.097059041261673e-05, -1.996569335460663e-05, -1.8960796296596527e-05, -1.7955899238586426e-05, -1.6951002180576324e-05, -1.5946105122566223e-05, -1.4941208064556122e-05, -1.393631100654602e-05, -1.293141394853592e-05, -1.1926516890525818e-05, -1.0921619832515717e-05, -9.916722774505615e-06, -8.911825716495514e-06, -7.906928658485413e-06, -6.902031600475311e-06, -5.89713454246521e-06, -4.892237484455109e-06, -3.887340426445007e-06, -2.882443368434906e-06, -1.8775463104248047e-06, -8.726492524147034e-07, 1.3224780559539795e-07, 1.1371448636054993e-06, 2.1420419216156006e-06, 3.146938979625702e-06, 4.151836037635803e-06, 5.1567330956459045e-06, 6.161630153656006e-06, 7.166527211666107e-06, 8.171424269676208e-06, 9.17632132768631e-06, 1.0181218385696411e-05, 1.1186115443706512e-05, 1.2191012501716614e-05, 1.3195909559726715e-05, 1.4200806617736816e-05, 1.5205703675746918e-05, 1.621060073375702e-05, 1.721549779176712e-05, 1.822039484977722e-05, 1.9225291907787323e-05, 2.0230188965797424e-05, 2.1235086023807526e-05, 2.2239983081817627e-05, 2.3244880139827728e-05, 2.424977719783783e-05, 2.525467425584793e-05, 2.6259571313858032e-05, 2.7264468371868134e-05, 2.8269365429878235e-05, 2.9274262487888336e-05, 3.0279159545898438e-05]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.weight": {"_type": "histogram", "values": [4.0, 3.0, 8.0, 16.0, 21.0, 21.0, 51.0, 53.0, 74.0, 152.0, 173.0, 331.0, 380.0, 652.0, 895.0, 1332.0, 2258.0, 3346.0, 6083.0, 9508.0, 19212.0, 33764.0, 82052.0, 305557.0, 3406262.0, 193603.0, 56834.0, 29957.0, 14547.0, 9464.0, 5355.0, 3551.0, 2547.0, 1596.0, 1306.0, 792.0, 654.0, 450.0, 361.0, 263.0, 189.0, 138.0, 102.0, 86.0, 65.0, 61.0, 38.0, 35.0, 23.0, 15.0, 14.0, 14.0, 7.0, 3.0, 2.0, 6.0, 3.0, 3.0, 2.0, 3.0, 1.0, 2.0, 3.0, 1.0], "bins": [-1.6629695892333984e-05, -1.5947967767715454e-05, -1.5266239643096924e-05, -1.4584511518478394e-05, -1.3902783393859863e-05, -1.3221055269241333e-05, -1.2539327144622803e-05, -1.1857599020004272e-05, -1.1175870895385742e-05, -1.0494142770767212e-05, -9.812414646148682e-06, -9.130686521530151e-06, -8.448958396911621e-06, -7.76723027229309e-06, -7.0855021476745605e-06, -6.40377402305603e-06, -5.7220458984375e-06, -5.04031777381897e-06, -4.3585896492004395e-06, -3.676861524581909e-06, -2.995133399963379e-06, -2.3134052753448486e-06, -1.6316771507263184e-06, -9.499490261077881e-07, -2.682209014892578e-07, 4.1350722312927246e-07, 1.0952353477478027e-06, 1.776963472366333e-06, 2.4586915969848633e-06, 3.1404197216033936e-06, 3.822147846221924e-06, 4.503875970840454e-06, 5.185604095458984e-06, 5.867332220077515e-06, 6.549060344696045e-06, 7.230788469314575e-06, 7.912516593933105e-06, 8.594244718551636e-06, 9.275972843170166e-06, 9.957700967788696e-06, 1.0639429092407227e-05, 1.1321157217025757e-05, 1.2002885341644287e-05, 1.2684613466262817e-05, 1.3366341590881348e-05, 1.4048069715499878e-05, 1.4729797840118408e-05, 1.541152596473694e-05, 1.609325408935547e-05, 1.6774982213974e-05, 1.745671033859253e-05, 1.813843846321106e-05, 1.882016658782959e-05, 1.950189471244812e-05, 2.018362283706665e-05, 2.086535096168518e-05, 2.154707908630371e-05, 2.222880721092224e-05, 2.291053533554077e-05, 2.3592263460159302e-05, 2.4273991584777832e-05, 2.4955719709396362e-05, 2.5637447834014893e-05, 2.6319175958633423e-05, 2.7000904083251953e-05]}, "gradients/encoder.encoder.layers.17.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 4.0, 1.0, 3.0, 3.0, 6.0, 6.0, 4.0, 14.0, 9.0, 13.0, 20.0, 36.0, 37.0, 53.0, 42.0, 49.0, 81.0, 56.0, 96.0, 58.0, 91.0, 51.0, 71.0, 34.0, 48.0, 24.0, 14.0, 18.0, 14.0, 12.0, 11.0, 7.0, 2.0, 7.0, 2.0, 6.0, 3.0, 1.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.635883331298828e-06, -3.489665687084198e-06, -3.343448042869568e-06, -3.1972303986549377e-06, -3.0510127544403076e-06, -2.9047951102256775e-06, -2.7585774660110474e-06, -2.6123598217964172e-06, -2.466142177581787e-06, -2.319924533367157e-06, -2.173706889152527e-06, -2.0274892449378967e-06, -1.8812716007232666e-06, -1.7350539565086365e-06, -1.5888363122940063e-06, -1.4426186680793762e-06, -1.296401023864746e-06, -1.150183379650116e-06, -1.0039657354354858e-06, -8.577480912208557e-07, -7.115304470062256e-07, -5.653128027915955e-07, -4.1909515857696533e-07, -2.728775143623352e-07, -1.2665987014770508e-07, 1.955777406692505e-08, 1.6577541828155518e-07, 3.119930624961853e-07, 4.5821070671081543e-07, 6.044283509254456e-07, 7.506459951400757e-07, 8.968636393547058e-07, 1.043081283569336e-06, 1.189298927783966e-06, 1.3355165719985962e-06, 1.4817342162132263e-06, 1.6279518604278564e-06, 1.7741695046424866e-06, 1.9203871488571167e-06, 2.066604793071747e-06, 2.212822437286377e-06, 2.359040081501007e-06, 2.505257725715637e-06, 2.6514753699302673e-06, 2.7976930141448975e-06, 2.9439106583595276e-06, 3.0901283025741577e-06, 3.236345946788788e-06, 3.382563591003418e-06, 3.528781235218048e-06, 3.6749988794326782e-06, 3.821216523647308e-06, 3.9674341678619385e-06, 4.113651812076569e-06, 4.259869456291199e-06, 4.406087100505829e-06, 4.552304744720459e-06, 4.698522388935089e-06, 4.844740033149719e-06, 4.990957677364349e-06, 5.1371753215789795e-06, 5.28339296579361e-06, 5.42961061000824e-06, 5.57582825422287e-06, 5.7220458984375e-06]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 5.0, 6.0, 6.0, 11.0, 13.0, 11.0, 8.0, 20.0, 31.0, 38.0, 58.0, 80.0, 112.0, 178.0, 228.0, 291.0, 423.0, 569.0, 984.0, 1213.0, 2291.0, 3525.0, 4735.0, 9006.0, 13064.0, 26852.0, 43673.0, 109052.0, 276501.0, 2850889.0, 585208.0, 127885.0, 63990.0, 28360.0, 18083.0, 9269.0, 6548.0, 3876.0, 2304.0, 1646.0, 956.0, 712.0, 447.0, 335.0, 218.0, 179.0, 134.0, 80.0, 71.0, 30.0, 21.0, 17.0, 13.0, 10.0, 8.0, 7.0, 6.0, 7.0, 4.0, 3.0, 1.0], "bins": [-1.4722347259521484e-05, -1.4271587133407593e-05, -1.3820827007293701e-05, -1.337006688117981e-05, -1.2919306755065918e-05, -1.2468546628952026e-05, -1.2017786502838135e-05, -1.1567026376724243e-05, -1.1116266250610352e-05, -1.066550612449646e-05, -1.0214745998382568e-05, -9.763985872268677e-06, -9.313225746154785e-06, -8.862465620040894e-06, -8.411705493927002e-06, -7.96094536781311e-06, -7.510185241699219e-06, -7.059425115585327e-06, -6.6086649894714355e-06, -6.157904863357544e-06, -5.707144737243652e-06, -5.256384611129761e-06, -4.805624485015869e-06, -4.3548643589019775e-06, -3.904104232788086e-06, -3.4533441066741943e-06, -3.0025839805603027e-06, -2.551823854446411e-06, -2.1010637283325195e-06, -1.650303602218628e-06, -1.1995434761047363e-06, -7.487833499908447e-07, -2.980232238769531e-07, 1.5273690223693848e-07, 6.034970283508301e-07, 1.0542571544647217e-06, 1.5050172805786133e-06, 1.955777406692505e-06, 2.4065375328063965e-06, 2.857297658920288e-06, 3.3080577850341797e-06, 3.7588179111480713e-06, 4.209578037261963e-06, 4.6603381633758545e-06, 5.111098289489746e-06, 5.561858415603638e-06, 6.012618541717529e-06, 6.463378667831421e-06, 6.9141387939453125e-06, 7.364898920059204e-06, 7.815659046173096e-06, 8.266419172286987e-06, 8.717179298400879e-06, 9.16793942451477e-06, 9.618699550628662e-06, 1.0069459676742554e-05, 1.0520219802856445e-05, 1.0970979928970337e-05, 1.1421740055084229e-05, 1.187250018119812e-05, 1.2323260307312012e-05, 1.2774020433425903e-05, 1.3224780559539795e-05, 1.3675540685653687e-05, 1.4126300811767578e-05]}, "gradients/encoder.encoder.layers.17.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 2.0, 7.0, 9.0, 4.0, 9.0, 13.0, 15.0, 13.0, 18.0, 26.0, 28.0, 46.0, 33.0, 52.0, 45.0, 54.0, 94.0, 104.0, 152.0, 287.0, 584.0, 993.0, 485.0, 236.0, 150.0, 123.0, 82.0, 73.0, 58.0, 43.0, 50.0, 31.0, 25.0, 18.0, 19.0, 13.0, 17.0, 13.0, 7.0, 11.0, 8.0, 5.0, 7.0, 7.0, 4.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 3.0], "bins": [-1.0073184967041016e-05, -9.762123227119446e-06, -9.451061487197876e-06, -9.139999747276306e-06, -8.828938007354736e-06, -8.517876267433167e-06, -8.206814527511597e-06, -7.895752787590027e-06, -7.584691047668457e-06, -7.273629307746887e-06, -6.962567567825317e-06, -6.6515058279037476e-06, -6.340444087982178e-06, -6.029382348060608e-06, -5.718320608139038e-06, -5.407258868217468e-06, -5.0961971282958984e-06, -4.785135388374329e-06, -4.474073648452759e-06, -4.163011908531189e-06, -3.851950168609619e-06, -3.5408884286880493e-06, -3.2298266887664795e-06, -2.9187649488449097e-06, -2.60770320892334e-06, -2.29664146900177e-06, -1.9855797290802e-06, -1.6745179891586304e-06, -1.3634562492370605e-06, -1.0523945093154907e-06, -7.413327693939209e-07, -4.302710294723511e-07, -1.1920928955078125e-07, 1.9185245037078857e-07, 5.029141902923584e-07, 8.139759302139282e-07, 1.125037670135498e-06, 1.4360994100570679e-06, 1.7471611499786377e-06, 2.0582228899002075e-06, 2.3692846298217773e-06, 2.680346369743347e-06, 2.991408109664917e-06, 3.302469849586487e-06, 3.6135315895080566e-06, 3.9245933294296265e-06, 4.235655069351196e-06, 4.546716809272766e-06, 4.857778549194336e-06, 5.168840289115906e-06, 5.479902029037476e-06, 5.790963768959045e-06, 6.102025508880615e-06, 6.413087248802185e-06, 6.724148988723755e-06, 7.035210728645325e-06, 7.3462724685668945e-06, 7.657334208488464e-06, 7.968395948410034e-06, 8.279457688331604e-06, 8.590519428253174e-06, 8.901581168174744e-06, 9.212642908096313e-06, 9.523704648017883e-06, 9.834766387939453e-06]}, "gradients/encoder.encoder.layers.17.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 1.0, 6.0, 8.0, 12.0, 22.0, 20.0, 45.0, 64.0, 75.0, 177.0, 212.0, 145.0, 66.0, 42.0, 36.0, 20.0, 18.0, 6.0, 10.0, 10.0, 6.0, 3.0, 3.0, 1.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00013299861166160554, -0.00012977646838407964, -0.00012655432510655373, -0.00012333218182902783, -0.00012011003855150193, -0.00011688789527397603, -0.00011366574472049251, -0.00011044360144296661, -0.00010722145816544071, -0.0001039993148879148, -0.0001007771716103889, -9.7555028332863e-05, -9.433287777937949e-05, -9.111073450185359e-05, -8.788859122432768e-05, -8.466644794680178e-05, -8.144430466927588e-05, -7.822216139174998e-05, -7.500001811422408e-05, -7.177787483669817e-05, -6.855573155917227e-05, -6.533358828164637e-05, -6.211143772816285e-05, -5.888929445063695e-05, -5.566715117311105e-05, -5.244500789558515e-05, -4.922286461805925e-05, -4.600071770255454e-05, -4.277857442502864e-05, -3.9556431147502735e-05, -3.6334284231998026e-05, -3.3112140954472125e-05, -2.9890004952903837e-05, -2.6667861675377935e-05, -2.344571657886263e-05, -2.0223571482347324e-05, -1.7001428204821423e-05, -1.3779284927295521e-05, -1.0557139830780216e-05, -7.33499473426491e-06, -4.1128514567390084e-06, -8.907072697184049e-07, 2.3314369173021987e-06, 5.553581104322802e-06, 8.775725291343406e-06, 1.1997868568869308e-05, 1.5220013665384613e-05, 1.844215876189992e-05, 2.166430203942582e-05, 2.4886445316951722e-05, 2.8108590413467027e-05, 3.133073550998233e-05, 3.4552878787508234e-05, 3.7775022065034136e-05, 4.0997168980538845e-05, 4.421931225806475e-05, 4.744145553559065e-05, 5.066359881311655e-05, 5.388574209064245e-05, 5.710788900614716e-05, 6.033003228367306e-05, 6.355217192322016e-05, 6.677432247670367e-05, 6.999646575422958e-05, 7.321860903175548e-05]}, "gradients/encoder.encoder.layers.17.final_layer_norm.bias": {"_type": "histogram", "values": [3.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 3.0, 5.0, 6.0, 4.0, 7.0, 5.0, 3.0, 7.0, 18.0, 11.0, 11.0, 19.0, 12.0, 23.0, 20.0, 24.0, 29.0, 32.0, 40.0, 32.0, 33.0, 29.0, 23.0, 39.0, 33.0, 42.0, 42.0, 35.0, 45.0, 39.0, 35.0, 44.0, 30.0, 23.0, 24.0, 29.0, 20.0, 17.0, 11.0, 14.0, 7.0, 22.0, 14.0, 11.0, 7.0, 6.0, 9.0, 5.0, 2.0, 2.0, 3.0, 0.0, 3.0, 1.0, 0.0, 1.0], "bins": [-3.6656856536865234e-05, -3.554951399564743e-05, -3.4442171454429626e-05, -3.333482891321182e-05, -3.222748637199402e-05, -3.1120143830776215e-05, -3.001280128955841e-05, -2.8905458748340607e-05, -2.7798116207122803e-05, -2.6690773665905e-05, -2.5583431124687195e-05, -2.447608858346939e-05, -2.3368746042251587e-05, -2.2261403501033783e-05, -2.115406095981598e-05, -2.0046718418598175e-05, -1.893937587738037e-05, -1.7832033336162567e-05, -1.6724690794944763e-05, -1.561734825372696e-05, -1.4510005712509155e-05, -1.3402663171291351e-05, -1.2295320630073547e-05, -1.1187978088855743e-05, -1.008063554763794e-05, -8.973293006420135e-06, -7.865950465202332e-06, -6.758607923984528e-06, -5.651265382766724e-06, -4.54392284154892e-06, -3.4365803003311157e-06, -2.3292377591133118e-06, -1.2218952178955078e-06, -1.1455267667770386e-07, 9.927898645401e-07, 2.100132405757904e-06, 3.207474946975708e-06, 4.314817488193512e-06, 5.422160029411316e-06, 6.52950257062912e-06, 7.636845111846924e-06, 8.744187653064728e-06, 9.851530194282532e-06, 1.0958872735500336e-05, 1.206621527671814e-05, 1.3173557817935944e-05, 1.4280900359153748e-05, 1.538824290037155e-05, 1.6495585441589355e-05, 1.760292798280716e-05, 1.8710270524024963e-05, 1.9817613065242767e-05, 2.092495560646057e-05, 2.2032298147678375e-05, 2.313964068889618e-05, 2.4246983230113983e-05, 2.5354325771331787e-05, 2.646166831254959e-05, 2.7569010853767395e-05, 2.86763533949852e-05, 2.9783695936203003e-05, 3.089103847742081e-05, 3.199838101863861e-05, 3.3105723559856415e-05, 3.421306610107422e-05]}, "gradients/encoder.encoder.layers.17.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 4.0, 4.0, 5.0, 8.0, 10.0, 27.0, 27.0, 42.0, 51.0, 77.0, 104.0, 177.0, 247.0, 411.0, 603.0, 978.0, 1450.0, 2718.0, 4258.0, 7892.0, 13540.0, 27374.0, 50670.0, 112348.0, 452433.0, 210632.0, 81722.0, 35863.0, 20020.0, 9998.0, 6034.0, 3223.0, 2142.0, 1178.0, 853.0, 452.0, 327.0, 201.0, 160.0, 95.0, 71.0, 39.0, 29.0, 23.0, 15.0, 7.0, 5.0, 5.0, 6.0, 3.0, 4.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.8252601623535156e-05, -2.7390196919441223e-05, -2.652779221534729e-05, -2.5665387511253357e-05, -2.4802982807159424e-05, -2.394057810306549e-05, -2.3078173398971558e-05, -2.2215768694877625e-05, -2.135336399078369e-05, -2.0490959286689758e-05, -1.9628554582595825e-05, -1.8766149878501892e-05, -1.790374517440796e-05, -1.7041340470314026e-05, -1.6178935766220093e-05, -1.531653106212616e-05, -1.4454126358032227e-05, -1.3591721653938293e-05, -1.272931694984436e-05, -1.1866912245750427e-05, -1.1004507541656494e-05, -1.0142102837562561e-05, -9.279698133468628e-06, -8.417293429374695e-06, -7.554888725280762e-06, -6.692484021186829e-06, -5.8300793170928955e-06, -4.967674612998962e-06, -4.105269908905029e-06, -3.242865204811096e-06, -2.380460500717163e-06, -1.51805579662323e-06, -6.556510925292969e-07, 2.0675361156463623e-07, 1.0691583156585693e-06, 1.9315630197525024e-06, 2.7939677238464355e-06, 3.6563724279403687e-06, 4.518777132034302e-06, 5.381181836128235e-06, 6.243586540222168e-06, 7.105991244316101e-06, 7.968395948410034e-06, 8.830800652503967e-06, 9.6932053565979e-06, 1.0555610060691833e-05, 1.1418014764785767e-05, 1.22804194688797e-05, 1.3142824172973633e-05, 1.4005228877067566e-05, 1.4867633581161499e-05, 1.5730038285255432e-05, 1.6592442989349365e-05, 1.74548476934433e-05, 1.831725239753723e-05, 1.9179657101631165e-05, 2.0042061805725098e-05, 2.090446650981903e-05, 2.1766871213912964e-05, 2.2629275918006897e-05, 2.349168062210083e-05, 2.4354085326194763e-05, 2.5216490030288696e-05, 2.607889473438263e-05, 2.6941299438476562e-05]}, "gradients/encoder.encoder.layers.17.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 3.0, 1.0, 2.0, 0.0, 3.0, 4.0, 12.0, 10.0, 10.0, 12.0, 18.0, 18.0, 27.0, 29.0, 30.0, 28.0, 49.0, 58.0, 53.0, 60.0, 74.0, 53.0, 68.0, 53.0, 51.0, 49.0, 33.0, 28.0, 31.0, 26.0, 22.0, 23.0, 12.0, 10.0, 11.0, 7.0, 7.0, 5.0, 5.0, 3.0, 2.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 4.0], "bins": [-4.291534423828125e-06, -4.172325134277344e-06, -4.0531158447265625e-06, -3.933906555175781e-06, -3.814697265625e-06, -3.6954879760742188e-06, -3.5762786865234375e-06, -3.4570693969726562e-06, -3.337860107421875e-06, -3.2186508178710938e-06, -3.0994415283203125e-06, -2.9802322387695312e-06, -2.86102294921875e-06, -2.7418136596679688e-06, -2.6226043701171875e-06, -2.5033950805664062e-06, -2.384185791015625e-06, -2.2649765014648438e-06, -2.1457672119140625e-06, -2.0265579223632812e-06, -1.9073486328125e-06, -1.7881393432617188e-06, -1.6689300537109375e-06, -1.5497207641601562e-06, -1.430511474609375e-06, -1.3113021850585938e-06, -1.1920928955078125e-06, -1.0728836059570312e-06, -9.5367431640625e-07, -8.344650268554688e-07, -7.152557373046875e-07, -5.960464477539062e-07, -4.76837158203125e-07, -3.5762786865234375e-07, -2.384185791015625e-07, -1.1920928955078125e-07, 0.0, 1.1920928955078125e-07, 2.384185791015625e-07, 3.5762786865234375e-07, 4.76837158203125e-07, 5.960464477539062e-07, 7.152557373046875e-07, 8.344650268554688e-07, 9.5367431640625e-07, 1.0728836059570312e-06, 1.1920928955078125e-06, 1.3113021850585938e-06, 1.430511474609375e-06, 1.5497207641601562e-06, 1.6689300537109375e-06, 1.7881393432617188e-06, 1.9073486328125e-06, 2.0265579223632812e-06, 2.1457672119140625e-06, 2.2649765014648438e-06, 2.384185791015625e-06, 2.5033950805664062e-06, 2.6226043701171875e-06, 2.7418136596679688e-06, 2.86102294921875e-06, 2.9802322387695312e-06, 3.0994415283203125e-06, 3.2186508178710938e-06, 3.337860107421875e-06]}, "gradients/encoder.encoder.layers.17.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 3.0, 4.0, 4.0, 11.0, 11.0, 17.0, 25.0, 35.0, 72.0, 84.0, 166.0, 203.0, 392.0, 690.0, 1233.0, 1986.0, 4199.0, 8097.0, 15829.0, 32607.0, 63478.0, 195150.0, 485664.0, 136020.0, 49518.0, 26130.0, 12913.0, 6485.0, 3276.0, 1721.0, 1070.0, 580.0, 315.0, 174.0, 122.0, 98.0, 66.0, 42.0, 23.0, 21.0, 9.0, 5.0, 8.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.710653305053711e-05, -1.652352511882782e-05, -1.594051718711853e-05, -1.535750925540924e-05, -1.4774501323699951e-05, -1.4191493391990662e-05, -1.3608485460281372e-05, -1.3025477528572083e-05, -1.2442469596862793e-05, -1.1859461665153503e-05, -1.1276453733444214e-05, -1.0693445801734924e-05, -1.0110437870025635e-05, -9.527429938316345e-06, -8.944422006607056e-06, -8.361414074897766e-06, -7.778406143188477e-06, -7.195398211479187e-06, -6.6123902797698975e-06, -6.029382348060608e-06, -5.446374416351318e-06, -4.863366484642029e-06, -4.280358552932739e-06, -3.6973506212234497e-06, -3.11434268951416e-06, -2.5313347578048706e-06, -1.948326826095581e-06, -1.3653188943862915e-06, -7.82310962677002e-07, -1.993030309677124e-07, 3.8370490074157715e-07, 9.667128324508667e-07, 1.5497207641601562e-06, 2.132728695869446e-06, 2.7157366275787354e-06, 3.298744559288025e-06, 3.8817524909973145e-06, 4.464760422706604e-06, 5.0477683544158936e-06, 5.630776286125183e-06, 6.213784217834473e-06, 6.796792149543762e-06, 7.379800081253052e-06, 7.962808012962341e-06, 8.545815944671631e-06, 9.12882387638092e-06, 9.71183180809021e-06, 1.02948397397995e-05, 1.0877847671508789e-05, 1.1460855603218079e-05, 1.2043863534927368e-05, 1.2626871466636658e-05, 1.3209879398345947e-05, 1.3792887330055237e-05, 1.4375895261764526e-05, 1.4958903193473816e-05, 1.5541911125183105e-05, 1.6124919056892395e-05, 1.6707926988601685e-05, 1.7290934920310974e-05, 1.7873942852020264e-05, 1.8456950783729553e-05, 1.9039958715438843e-05, 1.9622966647148132e-05, 2.0205974578857422e-05]}, "gradients/encoder.encoder.layers.17.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 3.0, 2.0, 11.0, 13.0, 7.0, 13.0, 6.0, 19.0, 19.0, 35.0, 27.0, 37.0, 21.0, 35.0, 43.0, 36.0, 62.0, 49.0, 53.0, 66.0, 45.0, 42.0, 51.0, 48.0, 48.0, 47.0, 35.0, 21.0, 27.0, 23.0, 19.0, 11.0, 11.0, 8.0, 7.0, 5.0, 3.0, 4.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2218952178955078e-05, -1.1899508535861969e-05, -1.158006489276886e-05, -1.126062124967575e-05, -1.0941177606582642e-05, -1.0621733963489532e-05, -1.0302290320396423e-05, -9.982846677303314e-06, -9.663403034210205e-06, -9.343959391117096e-06, -9.024515748023987e-06, -8.705072104930878e-06, -8.385628461837769e-06, -8.06618481874466e-06, -7.74674117565155e-06, -7.427297532558441e-06, -7.107853889465332e-06, -6.788410246372223e-06, -6.468966603279114e-06, -6.149522960186005e-06, -5.8300793170928955e-06, -5.510635673999786e-06, -5.191192030906677e-06, -4.871748387813568e-06, -4.552304744720459e-06, -4.23286110162735e-06, -3.913417458534241e-06, -3.5939738154411316e-06, -3.2745301723480225e-06, -2.9550865292549133e-06, -2.635642886161804e-06, -2.316199243068695e-06, -1.996755599975586e-06, -1.6773119568824768e-06, -1.3578683137893677e-06, -1.0384246706962585e-06, -7.189810276031494e-07, -3.995373845100403e-07, -8.009374141693115e-08, 2.39349901676178e-07, 5.587935447692871e-07, 8.782371878623962e-07, 1.1976808309555054e-06, 1.5171244740486145e-06, 1.8365681171417236e-06, 2.1560117602348328e-06, 2.475455403327942e-06, 2.794899046421051e-06, 3.11434268951416e-06, 3.4337863326072693e-06, 3.7532299757003784e-06, 4.0726736187934875e-06, 4.392117261886597e-06, 4.711560904979706e-06, 5.031004548072815e-06, 5.350448191165924e-06, 5.669891834259033e-06, 5.989335477352142e-06, 6.3087791204452515e-06, 6.628222763538361e-06, 6.94766640663147e-06, 7.267110049724579e-06, 7.586553692817688e-06, 7.905997335910797e-06, 8.225440979003906e-06]}, "gradients/encoder.encoder.layers.17.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 2.0, 1.0, 0.0, 3.0, 8.0, 7.0, 9.0, 13.0, 19.0, 20.0, 33.0, 40.0, 53.0, 85.0, 145.0, 218.0, 359.0, 745.0, 1313.0, 2614.0, 6205.0, 15739.0, 42669.0, 284533.0, 623327.0, 43050.0, 15577.0, 6014.0, 2645.0, 1287.0, 665.0, 471.0, 215.0, 153.0, 106.0, 64.0, 47.0, 36.0, 28.0, 12.0, 11.0, 6.0, 6.0, 3.0, 4.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.4901161193847656e-05, -1.4475546777248383e-05, -1.4049932360649109e-05, -1.3624317944049835e-05, -1.3198703527450562e-05, -1.2773089110851288e-05, -1.2347474694252014e-05, -1.192186027765274e-05, -1.1496245861053467e-05, -1.1070631444454193e-05, -1.064501702785492e-05, -1.0219402611255646e-05, -9.793788194656372e-06, -9.368173778057098e-06, -8.942559361457825e-06, -8.516944944858551e-06, -8.091330528259277e-06, -7.665716111660004e-06, -7.24010169506073e-06, -6.814487278461456e-06, -6.388872861862183e-06, -5.963258445262909e-06, -5.537644028663635e-06, -5.1120296120643616e-06, -4.686415195465088e-06, -4.260800778865814e-06, -3.8351863622665405e-06, -3.409571945667267e-06, -2.983957529067993e-06, -2.5583431124687195e-06, -2.132728695869446e-06, -1.7071142792701721e-06, -1.2814998626708984e-06, -8.558854460716248e-07, -4.302710294723511e-07, -4.6566128730773926e-09, 4.209578037261963e-07, 8.4657222032547e-07, 1.2721866369247437e-06, 1.6978010535240173e-06, 2.123415470123291e-06, 2.5490298867225647e-06, 2.9746443033218384e-06, 3.400258719921112e-06, 3.825873136520386e-06, 4.2514875531196594e-06, 4.677101969718933e-06, 5.102716386318207e-06, 5.5283308029174805e-06, 5.953945219516754e-06, 6.379559636116028e-06, 6.8051740527153015e-06, 7.230788469314575e-06, 7.656402885913849e-06, 8.082017302513123e-06, 8.507631719112396e-06, 8.93324613571167e-06, 9.358860552310944e-06, 9.784474968910217e-06, 1.0210089385509491e-05, 1.0635703802108765e-05, 1.1061318218708038e-05, 1.1486932635307312e-05, 1.1912547051906586e-05, 1.233816146850586e-05]}, "gradients/encoder.encoder.layers.17.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 1.0, 4.0, 18.0, 4.0, 11.0, 21.0, 25.0, 18.0, 25.0, 26.0, 36.0, 81.0, 207.0, 202.0, 104.0, 53.0, 25.0, 31.0, 26.0, 24.0, 26.0, 10.0, 10.0, 6.0, 6.0, 4.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.543231964111328e-06, -5.323439836502075e-06, -5.103647708892822e-06, -4.883855581283569e-06, -4.664063453674316e-06, -4.4442713260650635e-06, -4.2244791984558105e-06, -4.004687070846558e-06, -3.7848949432373047e-06, -3.5651028156280518e-06, -3.345310688018799e-06, -3.125518560409546e-06, -2.905726432800293e-06, -2.68593430519104e-06, -2.466142177581787e-06, -2.246350049972534e-06, -2.0265579223632812e-06, -1.8067657947540283e-06, -1.5869736671447754e-06, -1.3671815395355225e-06, -1.1473894119262695e-06, -9.275972843170166e-07, -7.078051567077637e-07, -4.880130290985107e-07, -2.682209014892578e-07, -4.842877388000488e-08, 1.7136335372924805e-07, 3.91155481338501e-07, 6.109476089477539e-07, 8.307397365570068e-07, 1.0505318641662598e-06, 1.2703239917755127e-06, 1.4901161193847656e-06, 1.7099082469940186e-06, 1.9297003746032715e-06, 2.1494925022125244e-06, 2.3692846298217773e-06, 2.5890767574310303e-06, 2.808868885040283e-06, 3.028661012649536e-06, 3.248453140258789e-06, 3.468245267868042e-06, 3.688037395477295e-06, 3.907829523086548e-06, 4.127621650695801e-06, 4.347413778305054e-06, 4.567205905914307e-06, 4.7869980335235596e-06, 5.0067901611328125e-06, 5.2265822887420654e-06, 5.446374416351318e-06, 5.666166543960571e-06, 5.885958671569824e-06, 6.105750799179077e-06, 6.32554292678833e-06, 6.545335054397583e-06, 6.765127182006836e-06, 6.984919309616089e-06, 7.204711437225342e-06, 7.424503564834595e-06, 7.644295692443848e-06, 7.8640878200531e-06, 8.083879947662354e-06, 8.303672075271606e-06, 8.52346420288086e-06]}, "gradients/encoder.encoder.layers.17.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 5.0, 4.0, 6.0, 6.0, 10.0, 13.0, 30.0, 29.0, 53.0, 46.0, 75.0, 152.0, 203.0, 324.0, 580.0, 711.0, 1063.0, 2083.0, 2805.0, 4523.0, 10200.0, 16011.0, 32051.0, 109615.0, 632427.0, 136363.0, 54199.0, 19049.0, 10016.0, 6878.0, 3036.0, 1991.0, 1546.0, 758.0, 555.0, 412.0, 222.0, 150.0, 123.0, 68.0, 54.0, 37.0, 26.0, 13.0, 12.0, 10.0, 6.0, 5.0, 6.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.165836334228516e-06, -7.907859981060028e-06, -7.64988362789154e-06, -7.391907274723053e-06, -7.1339309215545654e-06, -6.875954568386078e-06, -6.61797821521759e-06, -6.360001862049103e-06, -6.102025508880615e-06, -5.844049155712128e-06, -5.58607280254364e-06, -5.328096449375153e-06, -5.070120096206665e-06, -4.8121437430381775e-06, -4.55416738986969e-06, -4.296191036701202e-06, -4.038214683532715e-06, -3.7802383303642273e-06, -3.5222619771957397e-06, -3.264285624027252e-06, -3.0063092708587646e-06, -2.748332917690277e-06, -2.4903565645217896e-06, -2.232380211353302e-06, -1.9744038581848145e-06, -1.716427505016327e-06, -1.4584511518478394e-06, -1.2004747986793518e-06, -9.424984455108643e-07, -6.845220923423767e-07, -4.2654573917388916e-07, -1.685693860054016e-07, 8.940696716308594e-08, 3.473833203315735e-07, 6.05359673500061e-07, 8.633360266685486e-07, 1.1213123798370361e-06, 1.3792887330055237e-06, 1.6372650861740112e-06, 1.8952414393424988e-06, 2.1532177925109863e-06, 2.411194145679474e-06, 2.6691704988479614e-06, 2.927146852016449e-06, 3.1851232051849365e-06, 3.443099558353424e-06, 3.7010759115219116e-06, 3.959052264690399e-06, 4.217028617858887e-06, 4.475004971027374e-06, 4.732981324195862e-06, 4.990957677364349e-06, 5.248934030532837e-06, 5.5069103837013245e-06, 5.764886736869812e-06, 6.0228630900382996e-06, 6.280839443206787e-06, 6.538815796375275e-06, 6.796792149543762e-06, 7.05476850271225e-06, 7.312744855880737e-06, 7.570721209049225e-06, 7.828697562217712e-06, 8.0866739153862e-06, 8.344650268554688e-06]}, "gradients/encoder.encoder.layers.17.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 5.0, 0.0, 2.0, 2.0, 5.0, 3.0, 6.0, 8.0, 7.0, 6.0, 6.0, 8.0, 15.0, 12.0, 19.0, 22.0, 25.0, 35.0, 24.0, 38.0, 45.0, 125.0, 202.0, 80.0, 68.0, 26.0, 37.0, 20.0, 38.0, 25.0, 11.0, 19.0, 9.0, 15.0, 7.0, 9.0, 7.0, 3.0, 2.0, 1.0, 1.0, 2.0, 3.0, 3.0, 2.0, 4.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.5299530029296875e-06, -4.385598003864288e-06, -4.241243004798889e-06, -4.09688800573349e-06, -3.952533006668091e-06, -3.8081780076026917e-06, -3.6638230085372925e-06, -3.5194680094718933e-06, -3.375113010406494e-06, -3.230758011341095e-06, -3.086403012275696e-06, -2.9420480132102966e-06, -2.7976930141448975e-06, -2.6533380150794983e-06, -2.508983016014099e-06, -2.3646280169487e-06, -2.2202730178833008e-06, -2.0759180188179016e-06, -1.9315630197525024e-06, -1.7872080206871033e-06, -1.642853021621704e-06, -1.498498022556305e-06, -1.3541430234909058e-06, -1.2097880244255066e-06, -1.0654330253601074e-06, -9.210780262947083e-07, -7.767230272293091e-07, -6.323680281639099e-07, -4.880130290985107e-07, -3.4365803003311157e-07, -1.993030309677124e-07, -5.494803190231323e-08, 8.940696716308594e-08, 2.337619662284851e-07, 3.781169652938843e-07, 5.224719643592834e-07, 6.668269634246826e-07, 8.111819624900818e-07, 9.55536961555481e-07, 1.0998919606208801e-06, 1.2442469596862793e-06, 1.3886019587516785e-06, 1.5329569578170776e-06, 1.6773119568824768e-06, 1.821666955947876e-06, 1.966021955013275e-06, 2.1103769540786743e-06, 2.2547319531440735e-06, 2.3990869522094727e-06, 2.543441951274872e-06, 2.687796950340271e-06, 2.83215194940567e-06, 2.9765069484710693e-06, 3.1208619475364685e-06, 3.2652169466018677e-06, 3.409571945667267e-06, 3.553926944732666e-06, 3.698281943798065e-06, 3.842636942863464e-06, 3.9869919419288635e-06, 4.131346940994263e-06, 4.275701940059662e-06, 4.420056939125061e-06, 4.56441193819046e-06, 4.708766937255859e-06]}, "gradients/encoder.encoder.layers.17.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 3.0, 3.0, 9.0, 9.0, 15.0, 9.0, 21.0, 23.0, 46.0, 78.0, 186.0, 240.0, 115.0, 75.0, 47.0, 25.0, 23.0, 24.0, 13.0, 9.0, 13.0, 7.0, 9.0, 3.0, 3.0, 1.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.727049235953018e-05, -4.4658605474978685e-05, -4.204671495244838e-05, -3.943482442991808e-05, -3.6822937545366585e-05, -3.421105066081509e-05, -3.159916013828479e-05, -2.898727143474389e-05, -2.637538273120299e-05, -2.376349402766209e-05, -2.1151605324121192e-05, -1.8539716620580293e-05, -1.5927827917039394e-05, -1.3315939213498496e-05, -1.0704050509957597e-05, -8.092161806416698e-06, -5.480273102875799e-06, -2.8683843993349e-06, -2.564956957940012e-07, 2.3553930077468976e-06, 4.9672817112877965e-06, 7.579170414828695e-06, 1.0191059118369594e-05, 1.2802947821910493e-05, 1.5414836525451392e-05, 1.802672522899229e-05, 2.063861393253319e-05, 2.325050263607409e-05, 2.5862391339614987e-05, 2.8474280043155886e-05, 3.1086168746696785e-05, 3.369805926922709e-05, 3.630993887782097e-05, 3.8921825762372464e-05, 4.1533716284902766e-05, 4.414560680743307e-05, 4.6757493691984564e-05, 4.936938057653606e-05, 5.198127109906636e-05, 5.4593161621596664e-05, 5.720504850614816e-05, 5.9816935390699655e-05, 6.242882227525115e-05, 6.504071643576026e-05, 6.765260332031175e-05, 7.026449020486325e-05, 7.287638436537236e-05, 7.548827124992386e-05, 7.810015813447535e-05, 8.071204501902685e-05, 8.332393190357834e-05, 8.593582606408745e-05, 8.854771294863895e-05, 9.115959983319044e-05, 9.377149399369955e-05, 9.638338087825105e-05, 9.899526776280254e-05, 0.00010160715464735404, 0.00010421904153190553, 0.00010683093569241464, 0.00010944282257696614, 0.00011205470946151763, 0.00011466660362202674, 0.00011727849050657824, 0.00011989037739112973]}, "gradients/encoder.encoder.layers.17.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 4.0, 7.0, 8.0, 5.0, 8.0, 16.0, 13.0, 11.0, 19.0, 14.0, 12.0, 28.0, 19.0, 23.0, 29.0, 23.0, 36.0, 29.0, 29.0, 46.0, 51.0, 36.0, 44.0, 38.0, 40.0, 38.0, 35.0, 34.0, 40.0, 36.0, 34.0, 31.0, 33.0, 19.0, 18.0, 20.0, 29.0, 11.0, 15.0, 6.0, 3.0, 5.0, 2.0, 1.0, 4.0, 3.0, 1.0, 1.0, 2.0, 1.0, 4.0, 0.0, 3.0], "bins": [-3.594160079956055e-05, -3.48798930644989e-05, -3.3818185329437256e-05, -3.275647759437561e-05, -3.1694769859313965e-05, -3.063306212425232e-05, -2.9571354389190674e-05, -2.850964665412903e-05, -2.7447938919067383e-05, -2.6386231184005737e-05, -2.5324523448944092e-05, -2.4262815713882446e-05, -2.32011079788208e-05, -2.2139400243759155e-05, -2.107769250869751e-05, -2.0015984773635864e-05, -1.895427703857422e-05, -1.7892569303512573e-05, -1.6830861568450928e-05, -1.5769153833389282e-05, -1.4707446098327637e-05, -1.3645738363265991e-05, -1.2584030628204346e-05, -1.15223228931427e-05, -1.0460615158081055e-05, -9.39890742301941e-06, -8.337199687957764e-06, -7.275491952896118e-06, -6.213784217834473e-06, -5.152076482772827e-06, -4.090368747711182e-06, -3.028661012649536e-06, -1.9669532775878906e-06, -9.052455425262451e-07, 1.564621925354004e-07, 1.218169927597046e-06, 2.2798776626586914e-06, 3.341585397720337e-06, 4.403293132781982e-06, 5.465000867843628e-06, 6.5267086029052734e-06, 7.588416337966919e-06, 8.650124073028564e-06, 9.71183180809021e-06, 1.0773539543151855e-05, 1.1835247278213501e-05, 1.2896955013275146e-05, 1.3958662748336792e-05, 1.5020370483398438e-05, 1.6082078218460083e-05, 1.714378595352173e-05, 1.8205493688583374e-05, 1.926720142364502e-05, 2.0328909158706665e-05, 2.139061689376831e-05, 2.2452324628829956e-05, 2.35140323638916e-05, 2.4575740098953247e-05, 2.5637447834014893e-05, 2.6699155569076538e-05, 2.7760863304138184e-05, 2.882257103919983e-05, 2.9884278774261475e-05, 3.094598650932312e-05, 3.2007694244384766e-05]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 5.0, 9.0, 3.0, 10.0, 14.0, 18.0, 22.0, 47.0, 58.0, 99.0, 148.0, 209.0, 276.0, 464.0, 721.0, 1140.0, 1561.0, 2847.0, 4904.0, 7661.0, 15701.0, 33557.0, 76518.0, 2547081.0, 1367312.0, 68203.0, 31007.0, 14996.0, 7470.0, 4765.0, 2781.0, 1643.0, 972.0, 691.0, 437.0, 259.0, 214.0, 139.0, 86.0, 74.0, 55.0, 32.0, 20.0, 16.0, 20.0, 5.0, 7.0, 5.0, 4.0, 3.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.8775463104248047e-05, -1.807883381843567e-05, -1.738220453262329e-05, -1.6685575246810913e-05, -1.5988945960998535e-05, -1.5292316675186157e-05, -1.459568738937378e-05, -1.3899058103561401e-05, -1.3202428817749023e-05, -1.2505799531936646e-05, -1.1809170246124268e-05, -1.111254096031189e-05, -1.0415911674499512e-05, -9.719282388687134e-06, -9.022653102874756e-06, -8.326023817062378e-06, -7.62939453125e-06, -6.932765245437622e-06, -6.236135959625244e-06, -5.539506673812866e-06, -4.842877388000488e-06, -4.14624810218811e-06, -3.4496188163757324e-06, -2.7529895305633545e-06, -2.0563602447509766e-06, -1.3597309589385986e-06, -6.631016731262207e-07, 3.3527612686157227e-08, 7.301568984985352e-07, 1.426786184310913e-06, 2.123415470123291e-06, 2.820044755935669e-06, 3.516674041748047e-06, 4.213303327560425e-06, 4.909932613372803e-06, 5.606561899185181e-06, 6.303191184997559e-06, 6.9998204708099365e-06, 7.696449756622314e-06, 8.393079042434692e-06, 9.08970832824707e-06, 9.786337614059448e-06, 1.0482966899871826e-05, 1.1179596185684204e-05, 1.1876225471496582e-05, 1.257285475730896e-05, 1.3269484043121338e-05, 1.3966113328933716e-05, 1.4662742614746094e-05, 1.535937190055847e-05, 1.605600118637085e-05, 1.6752630472183228e-05, 1.7449259757995605e-05, 1.8145889043807983e-05, 1.884251832962036e-05, 1.953914761543274e-05, 2.0235776901245117e-05, 2.0932406187057495e-05, 2.1629035472869873e-05, 2.232566475868225e-05, 2.302229404449463e-05, 2.3718923330307007e-05, 2.4415552616119385e-05, 2.5112181901931763e-05, 2.580881118774414e-05]}, "gradients/encoder.encoder.layers.16.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 2.0, 0.0, 2.0, 4.0, 4.0, 4.0, 4.0, 6.0, 12.0, 11.0, 10.0, 14.0, 11.0, 19.0, 30.0, 55.0, 32.0, 40.0, 49.0, 61.0, 53.0, 63.0, 99.0, 68.0, 52.0, 49.0, 46.0, 32.0, 30.0, 39.0, 19.0, 23.0, 15.0, 9.0, 8.0, 13.0, 8.0, 4.0, 1.0, 6.0, 1.0, 1.0, 4.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.5762786865234375e-06, -3.448687493801117e-06, -3.3210963010787964e-06, -3.193505108356476e-06, -3.0659139156341553e-06, -2.9383227229118347e-06, -2.810731530189514e-06, -2.6831403374671936e-06, -2.555549144744873e-06, -2.4279579520225525e-06, -2.300366759300232e-06, -2.1727755665779114e-06, -2.045184373855591e-06, -1.9175931811332703e-06, -1.7900019884109497e-06, -1.6624107956886292e-06, -1.5348196029663086e-06, -1.407228410243988e-06, -1.2796372175216675e-06, -1.152046024799347e-06, -1.0244548320770264e-06, -8.968636393547058e-07, -7.692724466323853e-07, -6.416812539100647e-07, -5.140900611877441e-07, -3.864988684654236e-07, -2.5890767574310303e-07, -1.3131648302078247e-07, -3.725290298461914e-09, 1.2386590242385864e-07, 2.514570951461792e-07, 3.7904828786849976e-07, 5.066394805908203e-07, 6.342306733131409e-07, 7.618218660354614e-07, 8.89413058757782e-07, 1.0170042514801025e-06, 1.144595444202423e-06, 1.2721866369247437e-06, 1.3997778296470642e-06, 1.5273690223693848e-06, 1.6549602150917053e-06, 1.7825514078140259e-06, 1.9101426005363464e-06, 2.037733793258667e-06, 2.1653249859809875e-06, 2.292916178703308e-06, 2.4205073714256287e-06, 2.5480985641479492e-06, 2.6756897568702698e-06, 2.8032809495925903e-06, 2.930872142314911e-06, 3.0584633350372314e-06, 3.186054527759552e-06, 3.3136457204818726e-06, 3.441236913204193e-06, 3.5688281059265137e-06, 3.6964192986488342e-06, 3.824010491371155e-06, 3.951601684093475e-06, 4.079192876815796e-06, 4.2067840695381165e-06, 4.334375262260437e-06, 4.4619664549827576e-06, 4.589557647705078e-06]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [3.0, 4.0, 2.0, 4.0, 5.0, 6.0, 13.0, 15.0, 24.0, 34.0, 51.0, 83.0, 104.0, 187.0, 283.0, 394.0, 655.0, 936.0, 1497.0, 2333.0, 3637.0, 5841.0, 9358.0, 15529.0, 28760.0, 56102.0, 136993.0, 677981.0, 2818636.0, 257884.0, 84800.0, 39502.0, 23510.0, 11097.0, 6483.0, 4103.0, 2536.0, 1602.0, 1058.0, 713.0, 461.0, 275.0, 261.0, 158.0, 134.0, 64.0, 49.0, 29.0, 32.0, 28.0, 14.0, 19.0, 7.0, 9.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0192394256591797e-05, -9.831041097640991e-06, -9.469687938690186e-06, -9.10833477973938e-06, -8.746981620788574e-06, -8.385628461837769e-06, -8.024275302886963e-06, -7.662922143936157e-06, -7.3015689849853516e-06, -6.940215826034546e-06, -6.57886266708374e-06, -6.2175095081329346e-06, -5.856156349182129e-06, -5.494803190231323e-06, -5.133450031280518e-06, -4.772096872329712e-06, -4.410743713378906e-06, -4.049390554428101e-06, -3.688037395477295e-06, -3.3266842365264893e-06, -2.9653310775756836e-06, -2.603977918624878e-06, -2.2426247596740723e-06, -1.8812716007232666e-06, -1.519918441772461e-06, -1.1585652828216553e-06, -7.972121238708496e-07, -4.3585896492004395e-07, -7.450580596923828e-08, 2.868473529815674e-07, 6.48200511932373e-07, 1.0095536708831787e-06, 1.3709068298339844e-06, 1.73225998878479e-06, 2.0936131477355957e-06, 2.4549663066864014e-06, 2.816319465637207e-06, 3.1776726245880127e-06, 3.5390257835388184e-06, 3.900378942489624e-06, 4.26173210144043e-06, 4.623085260391235e-06, 4.984438419342041e-06, 5.345791578292847e-06, 5.707144737243652e-06, 6.068497896194458e-06, 6.429851055145264e-06, 6.791204214096069e-06, 7.152557373046875e-06, 7.513910531997681e-06, 7.875263690948486e-06, 8.236616849899292e-06, 8.597970008850098e-06, 8.959323167800903e-06, 9.320676326751709e-06, 9.682029485702515e-06, 1.004338264465332e-05, 1.0404735803604126e-05, 1.0766088962554932e-05, 1.1127442121505737e-05, 1.1488795280456543e-05, 1.1850148439407349e-05, 1.2211501598358154e-05, 1.257285475730896e-05, 1.2934207916259766e-05]}, "gradients/encoder.encoder.layers.16.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 5.0, 3.0, 1.0, 3.0, 6.0, 1.0, 4.0, 6.0, 8.0, 12.0, 12.0, 13.0, 11.0, 14.0, 12.0, 10.0, 24.0, 24.0, 34.0, 26.0, 44.0, 61.0, 63.0, 80.0, 167.0, 250.0, 428.0, 1039.0, 613.0, 416.0, 169.0, 120.0, 56.0, 68.0, 43.0, 66.0, 24.0, 29.0, 26.0, 12.0, 19.0, 13.0, 16.0, 8.0, 10.0, 4.0, 8.0, 1.0, 5.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-8.940696716308594e-06, -8.675269782543182e-06, -8.409842848777771e-06, -8.14441591501236e-06, -7.878988981246948e-06, -7.613562047481537e-06, -7.3481351137161255e-06, -7.082708179950714e-06, -6.817281246185303e-06, -6.551854312419891e-06, -6.28642737865448e-06, -6.021000444889069e-06, -5.755573511123657e-06, -5.490146577358246e-06, -5.2247196435928345e-06, -4.959292709827423e-06, -4.693865776062012e-06, -4.4284388422966e-06, -4.163011908531189e-06, -3.897584974765778e-06, -3.632158041000366e-06, -3.366731107234955e-06, -3.1013041734695435e-06, -2.835877239704132e-06, -2.5704503059387207e-06, -2.3050233721733093e-06, -2.039596438407898e-06, -1.7741695046424866e-06, -1.5087425708770752e-06, -1.2433156371116638e-06, -9.778887033462524e-07, -7.124617695808411e-07, -4.470348358154297e-07, -1.816079020500183e-07, 8.381903171539307e-08, 3.4924596548080444e-07, 6.146728992462158e-07, 8.800998330116272e-07, 1.1455267667770386e-06, 1.41095370054245e-06, 1.6763806343078613e-06, 1.9418075680732727e-06, 2.207234501838684e-06, 2.4726614356040955e-06, 2.738088369369507e-06, 3.0035153031349182e-06, 3.2689422369003296e-06, 3.534369170665741e-06, 3.7997961044311523e-06, 4.065223038196564e-06, 4.330649971961975e-06, 4.5960769057273865e-06, 4.861503839492798e-06, 5.126930773258209e-06, 5.392357707023621e-06, 5.657784640789032e-06, 5.923211574554443e-06, 6.188638508319855e-06, 6.454065442085266e-06, 6.7194923758506775e-06, 6.984919309616089e-06, 7.2503462433815e-06, 7.515773177146912e-06, 7.781200110912323e-06, 8.046627044677734e-06]}, "gradients/encoder.encoder.layers.16.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 4.0, 3.0, 2.0, 2.0, 3.0, 1.0, 6.0, 2.0, 4.0, 7.0, 11.0, 8.0, 10.0, 7.0, 10.0, 11.0, 18.0, 24.0, 33.0, 32.0, 53.0, 67.0, 78.0, 94.0, 136.0, 120.0, 84.0, 44.0, 34.0, 26.0, 12.0, 15.0, 12.0, 3.0, 7.0, 3.0, 6.0, 8.0, 1.0, 5.0, 4.0, 3.0, 1.0, 1.0, 1.0, 1.0], "bins": [-6.46421976853162e-05, -6.312001642072573e-05, -6.159782788017765e-05, -6.0075646615587175e-05, -5.8553461713017896e-05, -5.7031280448427424e-05, -5.5509095545858145e-05, -5.398691428126767e-05, -5.2464729378698394e-05, -5.0942544476129115e-05, -4.942036321153864e-05, -4.7898178308969364e-05, -4.6375993406400084e-05, -4.485381214180961e-05, -4.3331627239240333e-05, -4.1809442336671054e-05, -4.028726107208058e-05, -3.87650761695113e-05, -3.724289490492083e-05, -3.572071000235155e-05, -3.419852509978227e-05, -3.26763438351918e-05, -3.115415893262252e-05, -2.9631975849042647e-05, -2.8109789127483964e-05, -2.658760604390409e-05, -2.506542114133481e-05, -2.3543238057754934e-05, -2.2021054974175058e-05, -2.0498871890595183e-05, -1.8976686988025904e-05, -1.7454503904446028e-05, -1.5932320820866153e-05, -1.4410136827791575e-05, -1.28879537442117e-05, -1.1365769751137123e-05, -9.843586667557247e-06, -8.32140267448267e-06, -6.799218681408092e-06, -5.277035597828217e-06, -3.7548516047536395e-06, -2.232668066426413e-06, -7.104843007255113e-07, 8.116994649753906e-07, 2.333883003302617e-06, 3.856066541629843e-06, 5.378250534704421e-06, 6.900433618284296e-06, 8.422617611358874e-06, 9.944801604433451e-06, 1.1466984688013326e-05, 1.2989168681087904e-05, 1.451135176466778e-05, 1.6033536667237058e-05, 1.7555719750816934e-05, 1.907790283439681e-05, 2.060008773696609e-05, 2.2122270820545964e-05, 2.3644455723115243e-05, 2.516663880669512e-05, 2.6688821890274994e-05, 2.821100497385487e-05, 2.973318987642415e-05, 3.125537477899343e-05, 3.27775560435839e-05]}, "gradients/encoder.encoder.layers.16.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 2.0, 2.0, 1.0, 3.0, 2.0, 10.0, 4.0, 2.0, 5.0, 13.0, 7.0, 14.0, 9.0, 17.0, 11.0, 22.0, 21.0, 22.0, 19.0, 16.0, 23.0, 27.0, 29.0, 39.0, 49.0, 47.0, 46.0, 35.0, 36.0, 47.0, 32.0, 43.0, 45.0, 29.0, 33.0, 33.0, 28.0, 19.0, 20.0, 18.0, 14.0, 15.0, 20.0, 14.0, 10.0, 14.0, 12.0, 6.0, 6.0, 7.0, 5.0, 1.0, 5.0, 1.0, 2.0, 0.0, 0.0, 2.0, 3.0, 2.0], "bins": [-2.8312206268310547e-05, -2.743210643529892e-05, -2.6552006602287292e-05, -2.5671906769275665e-05, -2.4791806936264038e-05, -2.391170710325241e-05, -2.3031607270240784e-05, -2.2151507437229156e-05, -2.127140760421753e-05, -2.0391307771205902e-05, -1.9511207938194275e-05, -1.8631108105182648e-05, -1.775100827217102e-05, -1.6870908439159393e-05, -1.5990808606147766e-05, -1.5110708773136139e-05, -1.4230608940124512e-05, -1.3350509107112885e-05, -1.2470409274101257e-05, -1.159030944108963e-05, -1.0710209608078003e-05, -9.830109775066376e-06, -8.950009942054749e-06, -8.069910109043121e-06, -7.189810276031494e-06, -6.309710443019867e-06, -5.42961061000824e-06, -4.5495107769966125e-06, -3.6694109439849854e-06, -2.789311110973358e-06, -1.909211277961731e-06, -1.0291114449501038e-06, -1.4901161193847656e-07, 7.310882210731506e-07, 1.6111880540847778e-06, 2.491287887096405e-06, 3.3713877201080322e-06, 4.2514875531196594e-06, 5.131587386131287e-06, 6.011687219142914e-06, 6.891787052154541e-06, 7.771886885166168e-06, 8.651986718177795e-06, 9.532086551189423e-06, 1.041218638420105e-05, 1.1292286217212677e-05, 1.2172386050224304e-05, 1.3052485883235931e-05, 1.3932585716247559e-05, 1.4812685549259186e-05, 1.5692785382270813e-05, 1.657288521528244e-05, 1.7452985048294067e-05, 1.8333084881305695e-05, 1.9213184714317322e-05, 2.009328454732895e-05, 2.0973384380340576e-05, 2.1853484213352203e-05, 2.273358404636383e-05, 2.3613683879375458e-05, 2.4493783712387085e-05, 2.5373883545398712e-05, 2.625398337841034e-05, 2.7134083211421967e-05, 2.8014183044433594e-05]}, "gradients/encoder.encoder.layers.16.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 5.0, 5.0, 5.0, 9.0, 7.0, 6.0, 10.0, 5.0, 9.0, 12.0, 18.0, 20.0, 34.0, 38.0, 69.0, 118.0, 251.0, 485.0, 1020.0, 2499.0, 7192.0, 23888.0, 110344.0, 726393.0, 135458.0, 27572.0, 7975.0, 2792.0, 1133.0, 526.0, 252.0, 135.0, 73.0, 45.0, 36.0, 25.0, 13.0, 12.0, 14.0, 10.0, 15.0, 9.0, 9.0, 2.0, 7.0, 3.0, 1.0, 3.0, 0.0, 3.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-5.269050598144531e-05, -5.102064460515976e-05, -4.9350783228874207e-05, -4.7680921852588654e-05, -4.60110604763031e-05, -4.434119910001755e-05, -4.2671337723731995e-05, -4.100147634744644e-05, -3.933161497116089e-05, -3.7661753594875336e-05, -3.599189221858978e-05, -3.432203084230423e-05, -3.265216946601868e-05, -3.0982308089733124e-05, -2.931244671344757e-05, -2.7642585337162018e-05, -2.5972723960876465e-05, -2.4302862584590912e-05, -2.263300120830536e-05, -2.0963139832019806e-05, -1.9293278455734253e-05, -1.76234170794487e-05, -1.5953555703163147e-05, -1.4283694326877594e-05, -1.2613832950592041e-05, -1.0943971574306488e-05, -9.274110198020935e-06, -7.604248821735382e-06, -5.934387445449829e-06, -4.264526069164276e-06, -2.594664692878723e-06, -9.248033165931702e-07, 7.450580596923828e-07, 2.414919435977936e-06, 4.084780812263489e-06, 5.754642188549042e-06, 7.424503564834595e-06, 9.094364941120148e-06, 1.07642263174057e-05, 1.2434087693691254e-05, 1.4103949069976807e-05, 1.577381044626236e-05, 1.7443671822547913e-05, 1.9113533198833466e-05, 2.078339457511902e-05, 2.245325595140457e-05, 2.4123117327690125e-05, 2.5792978703975677e-05, 2.746284008026123e-05, 2.9132701456546783e-05, 3.0802562832832336e-05, 3.247242420911789e-05, 3.414228558540344e-05, 3.5812146961688995e-05, 3.748200833797455e-05, 3.91518697142601e-05, 4.0821731090545654e-05, 4.249159246683121e-05, 4.416145384311676e-05, 4.583131521940231e-05, 4.7501176595687866e-05, 4.917103797197342e-05, 5.084089934825897e-05, 5.2510760724544525e-05, 5.418062210083008e-05]}, "gradients/encoder.encoder.layers.16.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 3.0, 1.0, 3.0, 3.0, 7.0, 12.0, 20.0, 19.0, 40.0, 43.0, 59.0, 89.0, 135.0, 167.0, 115.0, 92.0, 70.0, 39.0, 33.0, 32.0, 9.0, 7.0, 7.0, 5.0, 2.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.5299530029296875e-06, -4.285015165805817e-06, -4.040077328681946e-06, -3.795139491558075e-06, -3.550201654434204e-06, -3.3052638173103333e-06, -3.0603259801864624e-06, -2.8153881430625916e-06, -2.5704503059387207e-06, -2.32551246881485e-06, -2.080574631690979e-06, -1.8356367945671082e-06, -1.5906989574432373e-06, -1.3457611203193665e-06, -1.1008232831954956e-06, -8.558854460716248e-07, -6.109476089477539e-07, -3.6600977182388306e-07, -1.210719347000122e-07, 1.2386590242385864e-07, 3.688037395477295e-07, 6.137415766716003e-07, 8.586794137954712e-07, 1.103617250919342e-06, 1.3485550880432129e-06, 1.5934929251670837e-06, 1.8384307622909546e-06, 2.0833685994148254e-06, 2.3283064365386963e-06, 2.573244273662567e-06, 2.818182110786438e-06, 3.063119947910309e-06, 3.3080577850341797e-06, 3.5529956221580505e-06, 3.7979334592819214e-06, 4.042871296405792e-06, 4.287809133529663e-06, 4.532746970653534e-06, 4.777684807777405e-06, 5.022622644901276e-06, 5.2675604820251465e-06, 5.512498319149017e-06, 5.757436156272888e-06, 6.002373993396759e-06, 6.24731183052063e-06, 6.492249667644501e-06, 6.737187504768372e-06, 6.9821253418922424e-06, 7.227063179016113e-06, 7.472001016139984e-06, 7.716938853263855e-06, 7.961876690387726e-06, 8.206814527511597e-06, 8.451752364635468e-06, 8.696690201759338e-06, 8.94162803888321e-06, 9.18656587600708e-06, 9.431503713130951e-06, 9.676441550254822e-06, 9.921379387378693e-06, 1.0166317224502563e-05, 1.0411255061626434e-05, 1.0656192898750305e-05, 1.0901130735874176e-05, 1.1146068572998047e-05]}, "gradients/encoder.encoder.layers.16.attention.v_proj.weight": {"_type": "histogram", "values": [3.0, 3.0, 2.0, 2.0, 1.0, 4.0, 4.0, 3.0, 5.0, 5.0, 24.0, 17.0, 22.0, 37.0, 47.0, 77.0, 97.0, 138.0, 180.0, 232.0, 355.0, 586.0, 853.0, 1267.0, 1844.0, 2922.0, 4425.0, 6821.0, 10995.0, 17922.0, 30666.0, 56382.0, 115246.0, 383879.0, 217125.0, 85903.0, 44310.0, 25066.0, 14779.0, 9299.0, 5830.0, 3690.0, 2506.0, 1635.0, 1071.0, 698.0, 462.0, 338.0, 239.0, 162.0, 112.0, 81.0, 47.0, 42.0, 26.0, 17.0, 18.0, 17.0, 7.0, 7.0, 9.0, 6.0, 3.0, 5.0], "bins": [-1.615285873413086e-05, -1.567509025335312e-05, -1.5197321772575378e-05, -1.4719553291797638e-05, -1.4241784811019897e-05, -1.3764016330242157e-05, -1.3286247849464417e-05, -1.2808479368686676e-05, -1.2330710887908936e-05, -1.1852942407131195e-05, -1.1375173926353455e-05, -1.0897405445575714e-05, -1.0419636964797974e-05, -9.941868484020233e-06, -9.464100003242493e-06, -8.986331522464752e-06, -8.508563041687012e-06, -8.030794560909271e-06, -7.553026080131531e-06, -7.07525759935379e-06, -6.59748911857605e-06, -6.119720637798309e-06, -5.641952157020569e-06, -5.164183676242828e-06, -4.686415195465088e-06, -4.208646714687347e-06, -3.730878233909607e-06, -3.2531097531318665e-06, -2.775341272354126e-06, -2.2975727915763855e-06, -1.819804310798645e-06, -1.3420358300209045e-06, -8.642673492431641e-07, -3.864988684654236e-07, 9.12696123123169e-08, 5.690380930900574e-07, 1.0468065738677979e-06, 1.5245750546455383e-06, 2.002343535423279e-06, 2.4801120162010193e-06, 2.9578804969787598e-06, 3.4356489777565002e-06, 3.913417458534241e-06, 4.391185939311981e-06, 4.868954420089722e-06, 5.346722900867462e-06, 5.824491381645203e-06, 6.302259862422943e-06, 6.780028343200684e-06, 7.257796823978424e-06, 7.735565304756165e-06, 8.213333785533905e-06, 8.691102266311646e-06, 9.168870747089386e-06, 9.646639227867126e-06, 1.0124407708644867e-05, 1.0602176189422607e-05, 1.1079944670200348e-05, 1.1557713150978088e-05, 1.2035481631755829e-05, 1.251325011253357e-05, 1.299101859331131e-05, 1.346878707408905e-05, 1.394655555486679e-05, 1.4424324035644531e-05]}, "gradients/encoder.encoder.layers.16.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 4.0, 1.0, 0.0, 3.0, 4.0, 1.0, 4.0, 7.0, 6.0, 7.0, 7.0, 12.0, 9.0, 13.0, 13.0, 14.0, 18.0, 34.0, 19.0, 19.0, 43.0, 42.0, 36.0, 36.0, 43.0, 40.0, 40.0, 61.0, 50.0, 41.0, 39.0, 31.0, 43.0, 34.0, 32.0, 28.0, 31.0, 25.0, 18.0, 17.0, 12.0, 13.0, 8.0, 11.0, 11.0, 4.0, 10.0, 6.0, 3.0, 4.0, 7.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-1.043081283569336e-05, -1.0087154805660248e-05, -9.743496775627136e-06, -9.399838745594025e-06, -9.056180715560913e-06, -8.712522685527802e-06, -8.36886465549469e-06, -8.025206625461578e-06, -7.681548595428467e-06, -7.337890565395355e-06, -6.994232535362244e-06, -6.650574505329132e-06, -6.3069164752960205e-06, -5.963258445262909e-06, -5.619600415229797e-06, -5.275942385196686e-06, -4.932284355163574e-06, -4.588626325130463e-06, -4.244968295097351e-06, -3.9013102650642395e-06, -3.557652235031128e-06, -3.2139942049980164e-06, -2.8703361749649048e-06, -2.5266781449317932e-06, -2.1830201148986816e-06, -1.83936208486557e-06, -1.4957040548324585e-06, -1.152046024799347e-06, -8.083879947662354e-07, -4.647299647331238e-07, -1.210719347000122e-07, 2.2258609533309937e-07, 5.662441253662109e-07, 9.099021553993225e-07, 1.253560185432434e-06, 1.5972182154655457e-06, 1.9408762454986572e-06, 2.284534275531769e-06, 2.6281923055648804e-06, 2.971850335597992e-06, 3.3155083656311035e-06, 3.659166395664215e-06, 4.002824425697327e-06, 4.346482455730438e-06, 4.69014048576355e-06, 5.033798515796661e-06, 5.377456545829773e-06, 5.7211145758628845e-06, 6.064772605895996e-06, 6.408430635929108e-06, 6.752088665962219e-06, 7.095746695995331e-06, 7.439404726028442e-06, 7.783062756061554e-06, 8.126720786094666e-06, 8.470378816127777e-06, 8.814036846160889e-06, 9.157694876194e-06, 9.501352906227112e-06, 9.845010936260223e-06, 1.0188668966293335e-05, 1.0532326996326447e-05, 1.0875985026359558e-05, 1.121964305639267e-05, 1.1563301086425781e-05]}, "gradients/encoder.encoder.layers.16.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 5.0, 2.0, 4.0, 5.0, 5.0, 4.0, 7.0, 21.0, 24.0, 30.0, 55.0, 77.0, 99.0, 148.0, 171.0, 335.0, 524.0, 800.0, 1354.0, 2162.0, 3584.0, 6162.0, 10782.0, 12270.0, 37148.0, 122109.0, 652908.0, 122390.0, 36794.0, 16586.0, 8952.0, 5099.0, 2953.0, 1861.0, 1127.0, 717.0, 445.0, 255.0, 179.0, 143.0, 78.0, 59.0, 45.0, 34.0, 22.0, 12.0, 8.0, 7.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0], "bins": [-6.079673767089844e-06, -5.902722477912903e-06, -5.725771188735962e-06, -5.548819899559021e-06, -5.37186861038208e-06, -5.194917321205139e-06, -5.017966032028198e-06, -4.841014742851257e-06, -4.664063453674316e-06, -4.4871121644973755e-06, -4.3101608753204346e-06, -4.133209586143494e-06, -3.956258296966553e-06, -3.779307007789612e-06, -3.602355718612671e-06, -3.42540442943573e-06, -3.248453140258789e-06, -3.071501851081848e-06, -2.8945505619049072e-06, -2.7175992727279663e-06, -2.5406479835510254e-06, -2.3636966943740845e-06, -2.1867454051971436e-06, -2.0097941160202026e-06, -1.8328428268432617e-06, -1.6558915376663208e-06, -1.4789402484893799e-06, -1.301988959312439e-06, -1.125037670135498e-06, -9.480863809585571e-07, -7.711350917816162e-07, -5.941838026046753e-07, -4.172325134277344e-07, -2.4028122425079346e-07, -6.332993507385254e-08, 1.1362135410308838e-07, 2.905726432800293e-07, 4.675239324569702e-07, 6.444752216339111e-07, 8.21426510810852e-07, 9.98377799987793e-07, 1.1753290891647339e-06, 1.3522803783416748e-06, 1.5292316675186157e-06, 1.7061829566955566e-06, 1.8831342458724976e-06, 2.0600855350494385e-06, 2.2370368242263794e-06, 2.4139881134033203e-06, 2.5909394025802612e-06, 2.767890691757202e-06, 2.944841980934143e-06, 3.121793270111084e-06, 3.298744559288025e-06, 3.475695848464966e-06, 3.6526471376419067e-06, 3.829598426818848e-06, 4.0065497159957886e-06, 4.1835010051727295e-06, 4.36045229434967e-06, 4.537403583526611e-06, 4.714354872703552e-06, 4.891306161880493e-06, 5.068257451057434e-06, 5.245208740234375e-06]}, "gradients/encoder.encoder.layers.16.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 3.0, 5.0, 3.0, 6.0, 9.0, 3.0, 7.0, 5.0, 4.0, 11.0, 15.0, 17.0, 15.0, 23.0, 28.0, 40.0, 55.0, 74.0, 100.0, 176.0, 93.0, 80.0, 52.0, 36.0, 29.0, 17.0, 16.0, 17.0, 11.0, 8.0, 8.0, 7.0, 7.0, 6.0, 7.0, 5.0, 2.0, 3.0, 7.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.635883331298828e-06, -3.5157427191734314e-06, -3.3956021070480347e-06, -3.275461494922638e-06, -3.155320882797241e-06, -3.0351802706718445e-06, -2.9150396585464478e-06, -2.794899046421051e-06, -2.6747584342956543e-06, -2.5546178221702576e-06, -2.434477210044861e-06, -2.314336597919464e-06, -2.1941959857940674e-06, -2.0740553736686707e-06, -1.953914761543274e-06, -1.8337741494178772e-06, -1.7136335372924805e-06, -1.5934929251670837e-06, -1.473352313041687e-06, -1.3532117009162903e-06, -1.2330710887908936e-06, -1.1129304766654968e-06, -9.927898645401e-07, -8.726492524147034e-07, -7.525086402893066e-07, -6.323680281639099e-07, -5.122274160385132e-07, -3.9208680391311646e-07, -2.7194619178771973e-07, -1.51805579662323e-07, -3.166496753692627e-08, 8.847564458847046e-08, 2.086162567138672e-07, 3.287568688392639e-07, 4.4889748096466064e-07, 5.690380930900574e-07, 6.891787052154541e-07, 8.093193173408508e-07, 9.294599294662476e-07, 1.0496005415916443e-06, 1.169741153717041e-06, 1.2898817658424377e-06, 1.4100223779678345e-06, 1.5301629900932312e-06, 1.650303602218628e-06, 1.7704442143440247e-06, 1.8905848264694214e-06, 2.010725438594818e-06, 2.130866050720215e-06, 2.2510066628456116e-06, 2.3711472749710083e-06, 2.491287887096405e-06, 2.6114284992218018e-06, 2.7315691113471985e-06, 2.8517097234725952e-06, 2.971850335597992e-06, 3.0919909477233887e-06, 3.2121315598487854e-06, 3.332272171974182e-06, 3.452412784099579e-06, 3.5725533962249756e-06, 3.6926940083503723e-06, 3.812834620475769e-06, 3.932975232601166e-06, 4.0531158447265625e-06]}, "gradients/encoder.encoder.layers.16.attention.q_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 2.0, 2.0, 7.0, 3.0, 12.0, 10.0, 18.0, 16.0, 22.0, 40.0, 34.0, 61.0, 140.0, 139.0, 392.0, 352.0, 549.0, 1278.0, 1673.0, 2554.0, 6447.0, 7632.0, 22667.0, 34720.0, 84894.0, 720863.0, 85280.0, 34562.0, 22783.0, 7675.0, 6462.0, 2448.0, 1687.0, 1336.0, 544.0, 368.0, 372.0, 155.0, 137.0, 59.0, 43.0, 38.0, 23.0, 25.0, 23.0, 8.0, 7.0, 0.0, 0.0, 4.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0], "bins": [-4.172325134277344e-06, -4.030764102935791e-06, -3.889203071594238e-06, -3.7476420402526855e-06, -3.606081008911133e-06, -3.46451997756958e-06, -3.3229589462280273e-06, -3.1813979148864746e-06, -3.039836883544922e-06, -2.898275852203369e-06, -2.7567148208618164e-06, -2.6151537895202637e-06, -2.473592758178711e-06, -2.332031726837158e-06, -2.1904706954956055e-06, -2.0489096641540527e-06, -1.9073486328125e-06, -1.7657876014709473e-06, -1.6242265701293945e-06, -1.4826655387878418e-06, -1.341104507446289e-06, -1.1995434761047363e-06, -1.0579824447631836e-06, -9.164214134216309e-07, -7.748603820800781e-07, -6.332993507385254e-07, -4.917383193969727e-07, -3.501772880554199e-07, -2.086162567138672e-07, -6.705522537231445e-08, 7.450580596923828e-08, 2.1606683731079102e-07, 3.5762786865234375e-07, 4.991888999938965e-07, 6.407499313354492e-07, 7.82310962677002e-07, 9.238719940185547e-07, 1.0654330253601074e-06, 1.2069940567016602e-06, 1.3485550880432129e-06, 1.4901161193847656e-06, 1.6316771507263184e-06, 1.773238182067871e-06, 1.914799213409424e-06, 2.0563602447509766e-06, 2.1979212760925293e-06, 2.339482307434082e-06, 2.4810433387756348e-06, 2.6226043701171875e-06, 2.7641654014587402e-06, 2.905726432800293e-06, 3.0472874641418457e-06, 3.1888484954833984e-06, 3.330409526824951e-06, 3.471970558166504e-06, 3.6135315895080566e-06, 3.7550926208496094e-06, 3.896653652191162e-06, 4.038214683532715e-06, 4.179775714874268e-06, 4.32133674621582e-06, 4.462897777557373e-06, 4.604458808898926e-06, 4.7460198402404785e-06, 4.887580871582031e-06]}, "gradients/encoder.encoder.layers.16.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 2.0, 3.0, 4.0, 0.0, 6.0, 15.0, 8.0, 10.0, 13.0, 3.0, 13.0, 7.0, 22.0, 23.0, 26.0, 53.0, 48.0, 32.0, 156.0, 242.0, 49.0, 59.0, 23.0, 42.0, 37.0, 9.0, 32.0, 8.0, 6.0, 7.0, 15.0, 7.0, 10.0, 7.0, 2.0, 0.0, 2.0, 4.0, 1.0, 2.0, 4.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.4570693969726562e-06, -3.359280526638031e-06, -3.2614916563034058e-06, -3.1637027859687805e-06, -3.0659139156341553e-06, -2.96812504529953e-06, -2.8703361749649048e-06, -2.7725473046302795e-06, -2.6747584342956543e-06, -2.576969563961029e-06, -2.479180693626404e-06, -2.3813918232917786e-06, -2.2836029529571533e-06, -2.185814082622528e-06, -2.088025212287903e-06, -1.9902363419532776e-06, -1.8924474716186523e-06, -1.794658601284027e-06, -1.6968697309494019e-06, -1.5990808606147766e-06, -1.5012919902801514e-06, -1.4035031199455261e-06, -1.3057142496109009e-06, -1.2079253792762756e-06, -1.1101365089416504e-06, -1.0123476386070251e-06, -9.145587682723999e-07, -8.167698979377747e-07, -7.189810276031494e-07, -6.211921572685242e-07, -5.234032869338989e-07, -4.256144165992737e-07, -3.2782554626464844e-07, -2.300366759300232e-07, -1.3224780559539795e-07, -3.4458935260772705e-08, 6.332993507385254e-08, 1.6111880540847778e-07, 2.5890767574310303e-07, 3.5669654607772827e-07, 4.544854164123535e-07, 5.522742867469788e-07, 6.50063157081604e-07, 7.478520274162292e-07, 8.456408977508545e-07, 9.434297680854797e-07, 1.041218638420105e-06, 1.1390075087547302e-06, 1.2367963790893555e-06, 1.3345852494239807e-06, 1.432374119758606e-06, 1.5301629900932312e-06, 1.6279518604278564e-06, 1.7257407307624817e-06, 1.823529601097107e-06, 1.921318471431732e-06, 2.0191073417663574e-06, 2.1168962121009827e-06, 2.214685082435608e-06, 2.312473952770233e-06, 2.4102628231048584e-06, 2.5080516934394836e-06, 2.605840563774109e-06, 2.703629434108734e-06, 2.8014183044433594e-06]}, "gradients/encoder.encoder.layers.16.layer_norm.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 4.0, 5.0, 9.0, 11.0, 8.0, 9.0, 14.0, 23.0, 34.0, 35.0, 93.0, 163.0, 217.0, 106.0, 67.0, 53.0, 37.0, 30.0, 16.0, 13.0, 14.0, 8.0, 9.0, 6.0, 7.0, 3.0, 3.0, 4.0, 3.0, 0.0, 3.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.605171488947235e-05, -4.377288860268891e-05, -4.1494065953884274e-05, -3.921523966710083e-05, -3.693641338031739e-05, -3.465758709353395e-05, -3.2378760806750506e-05, -3.009993815794587e-05, -2.782111187116243e-05, -2.5542285584378988e-05, -2.326346111658495e-05, -2.098463664879091e-05, -1.870581036200747e-05, -1.6426984075224027e-05, -1.4148159607429989e-05, -1.186933513963595e-05, -9.590508852852508e-06, -7.311683475563768e-06, -5.032858098275028e-06, -2.754032720986288e-06, -4.752073436975479e-07, 1.8036180335911922e-06, 4.082443410879932e-06, 6.361267878673971e-06, 8.640094165457413e-06, 1.0918919542746153e-05, 1.3197744920034893e-05, 1.547656938782893e-05, 1.7755395674612373e-05, 2.0034221961395815e-05, 2.2313046429189853e-05, 2.4591870896983892e-05, 2.6870693545788527e-05, 2.914951983257197e-05, 3.142834611935541e-05, 3.3707168768160045e-05, 3.598599505494349e-05, 3.826482134172693e-05, 4.0543643990531564e-05, 4.2822470277315006e-05, 4.510129656409845e-05, 4.738012285088189e-05, 4.965894913766533e-05, 5.1937771786469966e-05, 5.421659807325341e-05, 5.649542436003685e-05, 5.8774247008841485e-05, 6.105306965764612e-05, 6.333189958240837e-05, 6.5610722231213e-05, 6.788955215597525e-05, 7.016837480477989e-05, 7.244720472954214e-05, 7.472602737834677e-05, 7.70048500271514e-05, 7.928367995191365e-05, 8.156250260071829e-05, 8.384132524952292e-05, 8.612015517428517e-05, 8.839897782308981e-05, 9.067780047189444e-05, 9.295663039665669e-05, 9.523545304546133e-05, 9.751427569426596e-05, 9.979310561902821e-05]}, "gradients/encoder.encoder.layers.16.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 4.0, 4.0, 6.0, 3.0, 4.0, 8.0, 5.0, 7.0, 14.0, 14.0, 10.0, 16.0, 12.0, 20.0, 17.0, 27.0, 34.0, 33.0, 40.0, 35.0, 36.0, 45.0, 44.0, 44.0, 33.0, 46.0, 37.0, 42.0, 49.0, 46.0, 28.0, 42.0, 22.0, 24.0, 27.0, 26.0, 14.0, 20.0, 16.0, 12.0, 9.0, 10.0, 6.0, 7.0, 6.0, 6.0, 2.0, 0.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-3.361701965332031e-05, -3.2454729080200195e-05, -3.129243850708008e-05, -3.013014793395996e-05, -2.8967857360839844e-05, -2.7805566787719727e-05, -2.664327621459961e-05, -2.5480985641479492e-05, -2.4318695068359375e-05, -2.3156404495239258e-05, -2.199411392211914e-05, -2.0831823348999023e-05, -1.9669532775878906e-05, -1.850724220275879e-05, -1.7344951629638672e-05, -1.6182661056518555e-05, -1.5020370483398438e-05, -1.385807991027832e-05, -1.2695789337158203e-05, -1.1533498764038086e-05, -1.0371208190917969e-05, -9.208917617797852e-06, -8.046627044677734e-06, -6.884336471557617e-06, -5.7220458984375e-06, -4.559755325317383e-06, -3.3974647521972656e-06, -2.2351741790771484e-06, -1.0728836059570312e-06, 8.940696716308594e-08, 1.2516975402832031e-06, 2.4139881134033203e-06, 3.5762786865234375e-06, 4.738569259643555e-06, 5.900859832763672e-06, 7.063150405883789e-06, 8.225440979003906e-06, 9.387731552124023e-06, 1.055002212524414e-05, 1.1712312698364258e-05, 1.2874603271484375e-05, 1.4036893844604492e-05, 1.519918441772461e-05, 1.6361474990844727e-05, 1.7523765563964844e-05, 1.868605613708496e-05, 1.9848346710205078e-05, 2.1010637283325195e-05, 2.2172927856445312e-05, 2.333521842956543e-05, 2.4497509002685547e-05, 2.5659799575805664e-05, 2.682209014892578e-05, 2.79843807220459e-05, 2.9146671295166016e-05, 3.0308961868286133e-05, 3.147125244140625e-05, 3.263354301452637e-05, 3.3795833587646484e-05, 3.49581241607666e-05, 3.612041473388672e-05, 3.7282705307006836e-05, 3.844499588012695e-05, 3.960728645324707e-05, 4.076957702636719e-05]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 3.0, 5.0, 3.0, 10.0, 10.0, 15.0, 23.0, 21.0, 38.0, 52.0, 72.0, 91.0, 140.0, 216.0, 328.0, 467.0, 663.0, 1144.0, 1976.0, 3559.0, 6173.0, 13071.0, 29487.0, 87886.0, 3765132.0, 200812.0, 42897.0, 18398.0, 9310.0, 5033.0, 2796.0, 1766.0, 1028.0, 654.0, 359.0, 247.0, 163.0, 84.0, 51.0, 43.0, 28.0, 13.0, 10.0, 6.0, 4.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.147125244140625e-05, -3.059022128582001e-05, -2.9709190130233765e-05, -2.8828158974647522e-05, -2.794712781906128e-05, -2.7066096663475037e-05, -2.6185065507888794e-05, -2.530403435230255e-05, -2.442300319671631e-05, -2.3541972041130066e-05, -2.2660940885543823e-05, -2.177990972995758e-05, -2.0898878574371338e-05, -2.0017847418785095e-05, -1.9136816263198853e-05, -1.825578510761261e-05, -1.7374753952026367e-05, -1.6493722796440125e-05, -1.5612691640853882e-05, -1.473166048526764e-05, -1.3850629329681396e-05, -1.2969598174095154e-05, -1.2088567018508911e-05, -1.1207535862922668e-05, -1.0326504707336426e-05, -9.445473551750183e-06, -8.56444239616394e-06, -7.683411240577698e-06, -6.802380084991455e-06, -5.921348929405212e-06, -5.04031777381897e-06, -4.159286618232727e-06, -3.2782554626464844e-06, -2.3972243070602417e-06, -1.516193151473999e-06, -6.351619958877563e-07, 2.4586915969848633e-07, 1.126900315284729e-06, 2.0079314708709717e-06, 2.8889626264572144e-06, 3.769993782043457e-06, 4.6510249376297e-06, 5.532056093215942e-06, 6.413087248802185e-06, 7.294118404388428e-06, 8.17514955997467e-06, 9.056180715560913e-06, 9.937211871147156e-06, 1.0818243026733398e-05, 1.1699274182319641e-05, 1.2580305337905884e-05, 1.3461336493492126e-05, 1.4342367649078369e-05, 1.5223398804664612e-05, 1.6104429960250854e-05, 1.6985461115837097e-05, 1.786649227142334e-05, 1.8747523427009583e-05, 1.9628554582595825e-05, 2.0509585738182068e-05, 2.139061689376831e-05, 2.2271648049354553e-05, 2.3152679204940796e-05, 2.403371036052704e-05, 2.491474151611328e-05]}, "gradients/encoder.encoder.layers.15.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 3.0, 3.0, 1.0, 0.0, 3.0, 5.0, 5.0, 2.0, 11.0, 11.0, 17.0, 22.0, 21.0, 44.0, 25.0, 61.0, 54.0, 68.0, 83.0, 59.0, 114.0, 53.0, 48.0, 76.0, 35.0, 41.0, 15.0, 27.0, 27.0, 13.0, 19.0, 14.0, 6.0, 4.0, 6.0, 5.0, 6.0, 2.0, 3.0, 4.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.0067901611328125e-06, -4.864297807216644e-06, -4.721805453300476e-06, -4.579313099384308e-06, -4.43682074546814e-06, -4.2943283915519714e-06, -4.151836037635803e-06, -4.009343683719635e-06, -3.866851329803467e-06, -3.7243589758872986e-06, -3.5818666219711304e-06, -3.439374268054962e-06, -3.296881914138794e-06, -3.1543895602226257e-06, -3.0118972063064575e-06, -2.8694048523902893e-06, -2.726912498474121e-06, -2.584420144557953e-06, -2.4419277906417847e-06, -2.2994354367256165e-06, -2.1569430828094482e-06, -2.01445072889328e-06, -1.8719583749771118e-06, -1.7294660210609436e-06, -1.5869736671447754e-06, -1.4444813132286072e-06, -1.301988959312439e-06, -1.1594966053962708e-06, -1.0170042514801025e-06, -8.745118975639343e-07, -7.320195436477661e-07, -5.895271897315979e-07, -4.470348358154297e-07, -3.045424818992615e-07, -1.6205012798309326e-07, -1.955777406692505e-08, 1.2293457984924316e-07, 2.654269337654114e-07, 4.079192876815796e-07, 5.504116415977478e-07, 6.92903995513916e-07, 8.353963494300842e-07, 9.778887033462524e-07, 1.1203810572624207e-06, 1.2628734111785889e-06, 1.405365765094757e-06, 1.5478581190109253e-06, 1.6903504729270935e-06, 1.8328428268432617e-06, 1.97533518075943e-06, 2.117827534675598e-06, 2.2603198885917664e-06, 2.4028122425079346e-06, 2.5453045964241028e-06, 2.687796950340271e-06, 2.830289304256439e-06, 2.9727816581726074e-06, 3.1152740120887756e-06, 3.257766366004944e-06, 3.400258719921112e-06, 3.5427510738372803e-06, 3.6852434277534485e-06, 3.827735781669617e-06, 3.970228135585785e-06, 4.112720489501953e-06]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 6.0, 4.0, 9.0, 8.0, 15.0, 12.0, 24.0, 41.0, 69.0, 95.0, 164.0, 205.0, 354.0, 469.0, 909.0, 1248.0, 2407.0, 3465.0, 6589.0, 9612.0, 21260.0, 34655.0, 92682.0, 294520.0, 3254541.0, 297098.0, 92988.0, 34538.0, 20668.0, 9800.0, 6557.0, 3355.0, 2274.0, 1267.0, 893.0, 489.0, 344.0, 206.0, 134.0, 101.0, 79.0, 46.0, 35.0, 12.0, 15.0, 11.0, 7.0, 7.0, 2.0, 2.0, 3.0, 1.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0], "bins": [-1.1801719665527344e-05, -1.1414289474487305e-05, -1.1026859283447266e-05, -1.0639429092407227e-05, -1.0251998901367188e-05, -9.864568710327148e-06, -9.47713851928711e-06, -9.08970832824707e-06, -8.702278137207031e-06, -8.314847946166992e-06, -7.927417755126953e-06, -7.539987564086914e-06, -7.152557373046875e-06, -6.765127182006836e-06, -6.377696990966797e-06, -5.990266799926758e-06, -5.602836608886719e-06, -5.21540641784668e-06, -4.827976226806641e-06, -4.4405460357666016e-06, -4.0531158447265625e-06, -3.6656856536865234e-06, -3.2782554626464844e-06, -2.8908252716064453e-06, -2.5033950805664062e-06, -2.115964889526367e-06, -1.7285346984863281e-06, -1.341104507446289e-06, -9.5367431640625e-07, -5.662441253662109e-07, -1.7881393432617188e-07, 2.086162567138672e-07, 5.960464477539062e-07, 9.834766387939453e-07, 1.3709068298339844e-06, 1.7583370208740234e-06, 2.1457672119140625e-06, 2.5331974029541016e-06, 2.9206275939941406e-06, 3.3080577850341797e-06, 3.6954879760742188e-06, 4.082918167114258e-06, 4.470348358154297e-06, 4.857778549194336e-06, 5.245208740234375e-06, 5.632638931274414e-06, 6.020069122314453e-06, 6.407499313354492e-06, 6.794929504394531e-06, 7.18235969543457e-06, 7.569789886474609e-06, 7.957220077514648e-06, 8.344650268554688e-06, 8.732080459594727e-06, 9.119510650634766e-06, 9.506940841674805e-06, 9.894371032714844e-06, 1.0281801223754883e-05, 1.0669231414794922e-05, 1.1056661605834961e-05, 1.1444091796875e-05, 1.1831521987915039e-05, 1.2218952178955078e-05, 1.2606382369995117e-05, 1.2993812561035156e-05]}, "gradients/encoder.encoder.layers.15.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 5.0, 0.0, 6.0, 2.0, 7.0, 12.0, 10.0, 10.0, 10.0, 10.0, 18.0, 13.0, 26.0, 21.0, 22.0, 34.0, 53.0, 51.0, 45.0, 52.0, 139.0, 196.0, 447.0, 1254.0, 666.0, 342.0, 181.0, 118.0, 56.0, 32.0, 40.0, 34.0, 33.0, 24.0, 32.0, 10.0, 5.0, 10.0, 12.0, 12.0, 6.0, 9.0, 6.0, 5.0, 2.0, 1.0, 3.0, 2.0, 0.0, 0.0, 3.0, 2.0], "bins": [-9.119510650634766e-06, -8.864328265190125e-06, -8.609145879745483e-06, -8.353963494300842e-06, -8.098781108856201e-06, -7.84359872341156e-06, -7.588416337966919e-06, -7.333233952522278e-06, -7.078051567077637e-06, -6.822869181632996e-06, -6.5676867961883545e-06, -6.312504410743713e-06, -6.057322025299072e-06, -5.802139639854431e-06, -5.54695725440979e-06, -5.291774868965149e-06, -5.036592483520508e-06, -4.781410098075867e-06, -4.526227712631226e-06, -4.2710453271865845e-06, -4.015862941741943e-06, -3.7606805562973022e-06, -3.505498170852661e-06, -3.25031578540802e-06, -2.995133399963379e-06, -2.739951014518738e-06, -2.4847686290740967e-06, -2.2295862436294556e-06, -1.9744038581848145e-06, -1.7192214727401733e-06, -1.4640390872955322e-06, -1.2088567018508911e-06, -9.5367431640625e-07, -6.984919309616089e-07, -4.4330954551696777e-07, -1.8812716007232666e-07, 6.705522537231445e-08, 3.2223761081695557e-07, 5.774199962615967e-07, 8.326023817062378e-07, 1.087784767150879e-06, 1.34296715259552e-06, 1.5981495380401611e-06, 1.8533319234848022e-06, 2.1085143089294434e-06, 2.3636966943740845e-06, 2.6188790798187256e-06, 2.8740614652633667e-06, 3.129243850708008e-06, 3.384426236152649e-06, 3.63960862159729e-06, 3.894791007041931e-06, 4.149973392486572e-06, 4.405155777931213e-06, 4.6603381633758545e-06, 4.915520548820496e-06, 5.170702934265137e-06, 5.425885319709778e-06, 5.681067705154419e-06, 5.93625009059906e-06, 6.191432476043701e-06, 6.446614861488342e-06, 6.701797246932983e-06, 6.9569796323776245e-06, 7.212162017822266e-06]}, "gradients/encoder.encoder.layers.15.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 0.0, 2.0, 8.0, 6.0, 9.0, 12.0, 10.0, 17.0, 32.0, 42.0, 49.0, 68.0, 81.0, 105.0, 169.0, 113.0, 94.0, 47.0, 36.0, 29.0, 15.0, 12.0, 21.0, 6.0, 2.0, 4.0, 2.0, 5.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.35883625363931e-05, -6.198576738825068e-05, -6.0383168602129444e-05, -5.878056981600821e-05, -5.717797466786578e-05, -5.557537588174455e-05, -5.3972777095623314e-05, -5.237018194748089e-05, -5.076758316135965e-05, -4.916498437523842e-05, -4.756238922709599e-05, -4.595979044097476e-05, -4.435719165485352e-05, -4.2754596506711096e-05, -4.115199772058986e-05, -3.954939893446863e-05, -3.79468037863262e-05, -3.6344205000204965e-05, -3.474160985206254e-05, -3.3139011065941304e-05, -3.153641591779888e-05, -2.9933817131677642e-05, -2.8331218345556408e-05, -2.6728621378424577e-05, -2.5126024411292747e-05, -2.3523427444160916e-05, -2.1920830477029085e-05, -2.031823169090785e-05, -1.871563472377602e-05, -1.711303775664419e-05, -1.5510438970522955e-05, -1.3907842003391124e-05, -1.23052486742381e-05, -1.070265170710627e-05, -9.100053830479737e-06, -7.497456408600556e-06, -5.894858986721374e-06, -4.292262019589543e-06, -2.689664142963011e-06, -1.0870662663364783e-06, 5.155307007953525e-07, 2.118128122674534e-06, 3.7207255445537157e-06, 5.323322966432897e-06, 6.925920388312079e-06, 8.52851735544391e-06, 1.0131115232070442e-05, 1.1733713108696975e-05, 1.3336310075828806e-05, 1.4938907042960636e-05, 1.6541504010092467e-05, 1.81441027962137e-05, 1.9746699763345532e-05, 2.1349296730477363e-05, 2.2951895516598597e-05, 2.4554492483730428e-05, 2.615708945086226e-05, 2.775968641799409e-05, 2.936228338512592e-05, 3.0964882171247154e-05, 3.256747731938958e-05, 3.4170076105510816e-05, 3.577267489163205e-05, 3.737527003977448e-05, 3.897786882589571e-05]}, "gradients/encoder.encoder.layers.15.final_layer_norm.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 4.0, 0.0, 3.0, 1.0, 0.0, 2.0, 6.0, 8.0, 10.0, 12.0, 13.0, 7.0, 23.0, 21.0, 17.0, 36.0, 32.0, 33.0, 34.0, 32.0, 38.0, 27.0, 35.0, 41.0, 48.0, 49.0, 45.0, 53.0, 32.0, 44.0, 32.0, 38.0, 30.0, 27.0, 22.0, 20.0, 25.0, 18.0, 13.0, 16.0, 16.0, 11.0, 10.0, 9.0, 5.0, 4.0, 3.0, 1.0, 0.0, 2.0, 3.0, 1.0, 2.0, 0.0, 1.0, 0.0, 3.0], "bins": [-2.6464462280273438e-05, -2.5649555027484894e-05, -2.483464777469635e-05, -2.4019740521907806e-05, -2.3204833269119263e-05, -2.238992601633072e-05, -2.1575018763542175e-05, -2.076011151075363e-05, -1.9945204257965088e-05, -1.9130297005176544e-05, -1.8315389752388e-05, -1.7500482499599457e-05, -1.6685575246810913e-05, -1.587066799402237e-05, -1.5055760741233826e-05, -1.4240853488445282e-05, -1.3425946235656738e-05, -1.2611038982868195e-05, -1.1796131730079651e-05, -1.0981224477291107e-05, -1.0166317224502563e-05, -9.35140997171402e-06, -8.536502718925476e-06, -7.721595466136932e-06, -6.906688213348389e-06, -6.091780960559845e-06, -5.276873707771301e-06, -4.4619664549827576e-06, -3.647059202194214e-06, -2.83215194940567e-06, -2.0172446966171265e-06, -1.2023374438285828e-06, -3.8743019104003906e-07, 4.2747706174850464e-07, 1.2423843145370483e-06, 2.057291567325592e-06, 2.8721988201141357e-06, 3.6871060729026794e-06, 4.502013325691223e-06, 5.316920578479767e-06, 6.1318278312683105e-06, 6.946735084056854e-06, 7.761642336845398e-06, 8.576549589633942e-06, 9.391456842422485e-06, 1.0206364095211029e-05, 1.1021271347999573e-05, 1.1836178600788116e-05, 1.265108585357666e-05, 1.3465993106365204e-05, 1.4280900359153748e-05, 1.5095807611942291e-05, 1.5910714864730835e-05, 1.672562211751938e-05, 1.7540529370307922e-05, 1.8355436623096466e-05, 1.917034387588501e-05, 1.9985251128673553e-05, 2.0800158381462097e-05, 2.161506563425064e-05, 2.2429972887039185e-05, 2.3244880139827728e-05, 2.4059787392616272e-05, 2.4874694645404816e-05, 2.568960189819336e-05]}, "gradients/encoder.encoder.layers.15.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 4.0, 1.0, 1.0, 3.0, 7.0, 8.0, 8.0, 19.0, 24.0, 34.0, 49.0, 91.0, 109.0, 152.0, 233.0, 363.0, 472.0, 709.0, 1088.0, 1494.0, 2482.0, 3967.0, 5702.0, 10222.0, 17598.0, 28250.0, 58614.0, 114418.0, 407194.0, 217954.0, 77352.0, 42846.0, 22918.0, 12151.0, 8162.0, 4943.0, 2774.0, 2032.0, 1353.0, 829.0, 567.0, 412.0, 283.0, 185.0, 146.0, 82.0, 75.0, 57.0, 45.0, 27.0, 18.0, 13.0, 13.0, 7.0, 5.0, 3.0, 3.0, 1.0, 0.0, 2.0], "bins": [-2.0802021026611328e-05, -2.0166859030723572e-05, -1.9531697034835815e-05, -1.889653503894806e-05, -1.8261373043060303e-05, -1.7626211047172546e-05, -1.699104905128479e-05, -1.6355887055397034e-05, -1.5720725059509277e-05, -1.5085563063621521e-05, -1.4450401067733765e-05, -1.3815239071846008e-05, -1.3180077075958252e-05, -1.2544915080070496e-05, -1.190975308418274e-05, -1.1274591088294983e-05, -1.0639429092407227e-05, -1.000426709651947e-05, -9.369105100631714e-06, -8.733943104743958e-06, -8.098781108856201e-06, -7.463619112968445e-06, -6.8284571170806885e-06, -6.193295121192932e-06, -5.558133125305176e-06, -4.9229711294174194e-06, -4.287809133529663e-06, -3.6526471376419067e-06, -3.0174851417541504e-06, -2.382323145866394e-06, -1.7471611499786377e-06, -1.1119991540908813e-06, -4.76837158203125e-07, 1.5832483768463135e-07, 7.934868335723877e-07, 1.428648829460144e-06, 2.0638108253479004e-06, 2.6989728212356567e-06, 3.334134817123413e-06, 3.9692968130111694e-06, 4.604458808898926e-06, 5.239620804786682e-06, 5.8747828006744385e-06, 6.509944796562195e-06, 7.145106792449951e-06, 7.780268788337708e-06, 8.415430784225464e-06, 9.05059278011322e-06, 9.685754776000977e-06, 1.0320916771888733e-05, 1.095607876777649e-05, 1.1591240763664246e-05, 1.2226402759552002e-05, 1.2861564755439758e-05, 1.3496726751327515e-05, 1.4131888747215271e-05, 1.4767050743103027e-05, 1.5402212738990784e-05, 1.603737473487854e-05, 1.6672536730766296e-05, 1.7307698726654053e-05, 1.794286072254181e-05, 1.8578022718429565e-05, 1.9213184714317322e-05, 1.9848346710205078e-05]}, "gradients/encoder.encoder.layers.15.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 2.0, 5.0, 1.0, 5.0, 5.0, 10.0, 10.0, 10.0, 11.0, 14.0, 22.0, 30.0, 27.0, 37.0, 44.0, 50.0, 59.0, 62.0, 60.0, 68.0, 53.0, 61.0, 51.0, 52.0, 36.0, 42.0, 35.0, 25.0, 24.0, 15.0, 17.0, 12.0, 18.0, 3.0, 12.0, 3.0, 3.0, 3.0, 4.0, 1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.635883331298828e-06, -3.5138800740242004e-06, -3.3918768167495728e-06, -3.269873559474945e-06, -3.1478703022003174e-06, -3.0258670449256897e-06, -2.903863787651062e-06, -2.7818605303764343e-06, -2.6598572731018066e-06, -2.537854015827179e-06, -2.4158507585525513e-06, -2.2938475012779236e-06, -2.171844244003296e-06, -2.0498409867286682e-06, -1.9278377294540405e-06, -1.8058344721794128e-06, -1.6838312149047852e-06, -1.5618279576301575e-06, -1.4398247003555298e-06, -1.317821443080902e-06, -1.1958181858062744e-06, -1.0738149285316467e-06, -9.51811671257019e-07, -8.298084139823914e-07, -7.078051567077637e-07, -5.85801899433136e-07, -4.637986421585083e-07, -3.417953848838806e-07, -2.1979212760925293e-07, -9.778887033462524e-08, 2.421438694000244e-08, 1.4621764421463013e-07, 2.682209014892578e-07, 3.902241587638855e-07, 5.122274160385132e-07, 6.342306733131409e-07, 7.562339305877686e-07, 8.782371878623962e-07, 1.000240445137024e-06, 1.1222437024116516e-06, 1.2442469596862793e-06, 1.366250216960907e-06, 1.4882534742355347e-06, 1.6102567315101624e-06, 1.73225998878479e-06, 1.8542632460594177e-06, 1.9762665033340454e-06, 2.098269760608673e-06, 2.2202730178833008e-06, 2.3422762751579285e-06, 2.464279532432556e-06, 2.586282789707184e-06, 2.7082860469818115e-06, 2.830289304256439e-06, 2.952292561531067e-06, 3.0742958188056946e-06, 3.1962990760803223e-06, 3.31830233335495e-06, 3.4403055906295776e-06, 3.5623088479042053e-06, 3.684312105178833e-06, 3.8063153624534607e-06, 3.928318619728088e-06, 4.050321877002716e-06, 4.172325134277344e-06]}, "gradients/encoder.encoder.layers.15.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 4.0, 6.0, 6.0, 8.0, 19.0, 23.0, 20.0, 50.0, 56.0, 98.0, 136.0, 180.0, 332.0, 368.0, 699.0, 873.0, 1626.0, 2186.0, 4078.0, 5531.0, 10710.0, 15285.0, 30098.0, 44963.0, 103834.0, 246455.0, 360644.0, 102886.0, 44847.0, 30168.0, 15175.0, 10813.0, 5714.0, 4064.0, 2143.0, 1640.0, 875.0, 673.0, 413.0, 276.0, 178.0, 124.0, 91.0, 54.0, 48.0, 28.0, 19.0, 15.0, 12.0, 8.0, 4.0, 5.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0], "bins": [-1.245737075805664e-05, -1.206807792186737e-05, -1.16787850856781e-05, -1.128949224948883e-05, -1.090019941329956e-05, -1.051090657711029e-05, -1.012161374092102e-05, -9.73232090473175e-06, -9.34302806854248e-06, -8.95373523235321e-06, -8.56444239616394e-06, -8.17514955997467e-06, -7.7858567237854e-06, -7.39656388759613e-06, -7.00727105140686e-06, -6.61797821521759e-06, -6.22868537902832e-06, -5.83939254283905e-06, -5.45009970664978e-06, -5.06080687046051e-06, -4.67151403427124e-06, -4.28222119808197e-06, -3.8929283618927e-06, -3.50363552570343e-06, -3.11434268951416e-06, -2.72504985332489e-06, -2.33575701713562e-06, -1.94646418094635e-06, -1.55717134475708e-06, -1.16787850856781e-06, -7.7858567237854e-07, -3.8929283618927e-07, 0.0, 3.8929283618927e-07, 7.7858567237854e-07, 1.16787850856781e-06, 1.55717134475708e-06, 1.94646418094635e-06, 2.33575701713562e-06, 2.72504985332489e-06, 3.11434268951416e-06, 3.50363552570343e-06, 3.8929283618927e-06, 4.28222119808197e-06, 4.67151403427124e-06, 5.06080687046051e-06, 5.45009970664978e-06, 5.83939254283905e-06, 6.22868537902832e-06, 6.61797821521759e-06, 7.00727105140686e-06, 7.39656388759613e-06, 7.7858567237854e-06, 8.17514955997467e-06, 8.56444239616394e-06, 8.95373523235321e-06, 9.34302806854248e-06, 9.73232090473175e-06, 1.012161374092102e-05, 1.051090657711029e-05, 1.090019941329956e-05, 1.128949224948883e-05, 1.16787850856781e-05, 1.206807792186737e-05, 1.245737075805664e-05]}, "gradients/encoder.encoder.layers.15.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 3.0, 2.0, 4.0, 3.0, 10.0, 4.0, 6.0, 9.0, 5.0, 18.0, 19.0, 15.0, 20.0, 24.0, 16.0, 32.0, 33.0, 27.0, 30.0, 49.0, 44.0, 50.0, 55.0, 37.0, 44.0, 42.0, 32.0, 28.0, 52.0, 33.0, 25.0, 39.0, 27.0, 18.0, 19.0, 20.0, 12.0, 27.0, 13.0, 14.0, 14.0, 10.0, 7.0, 5.0, 4.0, 2.0, 4.0, 1.0, 3.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-8.225440979003906e-06, -7.967464625835419e-06, -7.709488272666931e-06, -7.451511919498444e-06, -7.193535566329956e-06, -6.9355592131614685e-06, -6.677582859992981e-06, -6.419606506824493e-06, -6.161630153656006e-06, -5.903653800487518e-06, -5.645677447319031e-06, -5.387701094150543e-06, -5.129724740982056e-06, -4.871748387813568e-06, -4.6137720346450806e-06, -4.355795681476593e-06, -4.0978193283081055e-06, -3.839842975139618e-06, -3.5818666219711304e-06, -3.323890268802643e-06, -3.0659139156341553e-06, -2.8079375624656677e-06, -2.54996120929718e-06, -2.2919848561286926e-06, -2.034008502960205e-06, -1.7760321497917175e-06, -1.51805579662323e-06, -1.2600794434547424e-06, -1.0021030902862549e-06, -7.441267371177673e-07, -4.861503839492798e-07, -2.2817403078079224e-07, 2.9802322387695312e-08, 2.8777867555618286e-07, 5.457550287246704e-07, 8.03731381893158e-07, 1.0617077350616455e-06, 1.319684088230133e-06, 1.5776604413986206e-06, 1.8356367945671082e-06, 2.0936131477355957e-06, 2.3515895009040833e-06, 2.609565854072571e-06, 2.8675422072410583e-06, 3.125518560409546e-06, 3.3834949135780334e-06, 3.641471266746521e-06, 3.8994476199150085e-06, 4.157423973083496e-06, 4.415400326251984e-06, 4.673376679420471e-06, 4.931353032588959e-06, 5.189329385757446e-06, 5.447305738925934e-06, 5.705282092094421e-06, 5.963258445262909e-06, 6.2212347984313965e-06, 6.479211151599884e-06, 6.737187504768372e-06, 6.995163857936859e-06, 7.253140211105347e-06, 7.511116564273834e-06, 7.769092917442322e-06, 8.02706927061081e-06, 8.285045623779297e-06]}, "gradients/encoder.encoder.layers.15.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 9.0, 3.0, 6.0, 12.0, 12.0, 23.0, 33.0, 24.0, 43.0, 76.0, 99.0, 163.0, 269.0, 356.0, 510.0, 797.0, 1229.0, 2008.0, 3198.0, 7501.0, 11915.0, 23376.0, 53672.0, 242116.0, 571267.0, 68624.0, 33041.0, 11837.0, 6400.0, 3697.0, 2157.0, 1317.0, 926.0, 687.0, 363.0, 256.0, 168.0, 112.0, 74.0, 52.0, 59.0, 24.0, 17.0, 19.0, 3.0, 4.0, 6.0, 3.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-8.165836334228516e-06, -7.919035851955414e-06, -7.672235369682312e-06, -7.42543488740921e-06, -7.178634405136108e-06, -6.931833922863007e-06, -6.685033440589905e-06, -6.438232958316803e-06, -6.191432476043701e-06, -5.944631993770599e-06, -5.6978315114974976e-06, -5.451031029224396e-06, -5.204230546951294e-06, -4.957430064678192e-06, -4.71062958240509e-06, -4.4638291001319885e-06, -4.217028617858887e-06, -3.970228135585785e-06, -3.723427653312683e-06, -3.4766271710395813e-06, -3.2298266887664795e-06, -2.9830262064933777e-06, -2.736225724220276e-06, -2.489425241947174e-06, -2.2426247596740723e-06, -1.9958242774009705e-06, -1.7490237951278687e-06, -1.5022233128547668e-06, -1.255422830581665e-06, -1.0086223483085632e-06, -7.618218660354614e-07, -5.150213837623596e-07, -2.682209014892578e-07, -2.1420419216156006e-08, 2.253800630569458e-07, 4.721805453300476e-07, 7.189810276031494e-07, 9.657815098762512e-07, 1.212581992149353e-06, 1.4593824744224548e-06, 1.7061829566955566e-06, 1.9529834389686584e-06, 2.1997839212417603e-06, 2.446584403514862e-06, 2.693384885787964e-06, 2.9401853680610657e-06, 3.1869858503341675e-06, 3.4337863326072693e-06, 3.680586814880371e-06, 3.927387297153473e-06, 4.174187779426575e-06, 4.4209882616996765e-06, 4.667788743972778e-06, 4.91458922624588e-06, 5.161389708518982e-06, 5.408190190792084e-06, 5.6549906730651855e-06, 5.901791155338287e-06, 6.148591637611389e-06, 6.395392119884491e-06, 6.642192602157593e-06, 6.888993084430695e-06, 7.135793566703796e-06, 7.382594048976898e-06, 7.62939453125e-06]}, "gradients/encoder.encoder.layers.15.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 6.0, 2.0, 2.0, 2.0, 5.0, 5.0, 6.0, 8.0, 8.0, 7.0, 14.0, 12.0, 22.0, 17.0, 28.0, 30.0, 40.0, 36.0, 108.0, 207.0, 101.0, 100.0, 41.0, 31.0, 32.0, 26.0, 24.0, 22.0, 15.0, 8.0, 13.0, 9.0, 6.0, 3.0, 4.0, 2.0, 1.0, 3.0, 2.0, 0.0, 2.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.0067901611328125e-06, -4.844740033149719e-06, -4.682689905166626e-06, -4.520639777183533e-06, -4.3585896492004395e-06, -4.196539521217346e-06, -4.034489393234253e-06, -3.87243926525116e-06, -3.7103891372680664e-06, -3.548339009284973e-06, -3.38628888130188e-06, -3.2242387533187866e-06, -3.0621886253356934e-06, -2.9001384973526e-06, -2.738088369369507e-06, -2.5760382413864136e-06, -2.4139881134033203e-06, -2.251937985420227e-06, -2.089887857437134e-06, -1.9278377294540405e-06, -1.7657876014709473e-06, -1.603737473487854e-06, -1.4416873455047607e-06, -1.2796372175216675e-06, -1.1175870895385742e-06, -9.55536961555481e-07, -7.934868335723877e-07, -6.314367055892944e-07, -4.6938657760620117e-07, -3.073364496231079e-07, -1.4528632164001465e-07, 1.6763806343078613e-08, 1.7881393432617188e-07, 3.4086406230926514e-07, 5.029141902923584e-07, 6.649643182754517e-07, 8.270144462585449e-07, 9.890645742416382e-07, 1.1511147022247314e-06, 1.3131648302078247e-06, 1.475214958190918e-06, 1.6372650861740112e-06, 1.7993152141571045e-06, 1.9613653421401978e-06, 2.123415470123291e-06, 2.2854655981063843e-06, 2.4475157260894775e-06, 2.609565854072571e-06, 2.771615982055664e-06, 2.9336661100387573e-06, 3.0957162380218506e-06, 3.257766366004944e-06, 3.419816493988037e-06, 3.5818666219711304e-06, 3.7439167499542236e-06, 3.905966877937317e-06, 4.06801700592041e-06, 4.230067133903503e-06, 4.392117261886597e-06, 4.55416738986969e-06, 4.716217517852783e-06, 4.8782676458358765e-06, 5.04031777381897e-06, 5.202367901802063e-06, 5.364418029785156e-06]}, "gradients/encoder.encoder.layers.15.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 6.0, 3.0, 4.0, 4.0, 20.0, 15.0, 19.0, 33.0, 42.0, 78.0, 80.0, 124.0, 260.0, 326.0, 673.0, 778.0, 1188.0, 2757.0, 3578.0, 8846.0, 13066.0, 25537.0, 92859.0, 573114.0, 235412.0, 43003.0, 24502.0, 8756.0, 4995.0, 3650.0, 1623.0, 1289.0, 593.0, 403.0, 351.0, 157.0, 150.0, 81.0, 50.0, 47.0, 25.0, 30.0, 13.0, 9.0, 4.0, 5.0, 6.0, 1.0, 0.0, 4.0, 0.0, 1.0, 0.0, 1.0], "bins": [-6.854534149169922e-06, -6.6515058279037476e-06, -6.448477506637573e-06, -6.245449185371399e-06, -6.042420864105225e-06, -5.83939254283905e-06, -5.636364221572876e-06, -5.433335900306702e-06, -5.230307579040527e-06, -5.027279257774353e-06, -4.824250936508179e-06, -4.621222615242004e-06, -4.41819429397583e-06, -4.215165972709656e-06, -4.0121376514434814e-06, -3.809109330177307e-06, -3.606081008911133e-06, -3.4030526876449585e-06, -3.200024366378784e-06, -2.99699604511261e-06, -2.7939677238464355e-06, -2.5909394025802612e-06, -2.387911081314087e-06, -2.1848827600479126e-06, -1.9818544387817383e-06, -1.778826117515564e-06, -1.5757977962493896e-06, -1.3727694749832153e-06, -1.169741153717041e-06, -9.667128324508667e-07, -7.636845111846924e-07, -5.606561899185181e-07, -3.5762786865234375e-07, -1.5459954738616943e-07, 4.842877388000488e-08, 2.514570951461792e-07, 4.544854164123535e-07, 6.575137376785278e-07, 8.605420589447021e-07, 1.0635703802108765e-06, 1.2665987014770508e-06, 1.469627022743225e-06, 1.6726553440093994e-06, 1.8756836652755737e-06, 2.078711986541748e-06, 2.2817403078079224e-06, 2.4847686290740967e-06, 2.687796950340271e-06, 2.8908252716064453e-06, 3.0938535928726196e-06, 3.296881914138794e-06, 3.4999102354049683e-06, 3.7029385566711426e-06, 3.905966877937317e-06, 4.108995199203491e-06, 4.3120235204696655e-06, 4.51505184173584e-06, 4.718080163002014e-06, 4.9211084842681885e-06, 5.124136805534363e-06, 5.327165126800537e-06, 5.5301934480667114e-06, 5.733221769332886e-06, 5.93625009059906e-06, 6.139278411865234e-06]}, "gradients/encoder.encoder.layers.15.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 4.0, 4.0, 3.0, 2.0, 4.0, 4.0, 11.0, 3.0, 4.0, 15.0, 6.0, 16.0, 18.0, 28.0, 30.0, 22.0, 35.0, 42.0, 52.0, 159.0, 177.0, 80.0, 43.0, 48.0, 52.0, 22.0, 24.0, 17.0, 27.0, 16.0, 8.0, 10.0, 7.0, 3.0, 3.0, 1.0, 2.0, 3.0, 2.0, 4.0, 0.0, 2.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.993511199951172e-06, -3.862194716930389e-06, -3.730878233909607e-06, -3.5995617508888245e-06, -3.468245267868042e-06, -3.3369287848472595e-06, -3.205612301826477e-06, -3.0742958188056946e-06, -2.942979335784912e-06, -2.8116628527641296e-06, -2.680346369743347e-06, -2.5490298867225647e-06, -2.4177134037017822e-06, -2.2863969206809998e-06, -2.1550804376602173e-06, -2.023763954639435e-06, -1.8924474716186523e-06, -1.7611309885978699e-06, -1.6298145055770874e-06, -1.498498022556305e-06, -1.3671815395355225e-06, -1.23586505651474e-06, -1.1045485734939575e-06, -9.73232090473175e-07, -8.419156074523926e-07, -7.105991244316101e-07, -5.792826414108276e-07, -4.4796615839004517e-07, -3.166496753692627e-07, -1.8533319234848022e-07, -5.4016709327697754e-08, 7.729977369308472e-08, 2.086162567138672e-07, 3.3993273973464966e-07, 4.7124922275543213e-07, 6.025657057762146e-07, 7.338821887969971e-07, 8.651986718177795e-07, 9.96515154838562e-07, 1.1278316378593445e-06, 1.259148120880127e-06, 1.3904646039009094e-06, 1.521781086921692e-06, 1.6530975699424744e-06, 1.7844140529632568e-06, 1.9157305359840393e-06, 2.0470470190048218e-06, 2.1783635020256042e-06, 2.3096799850463867e-06, 2.440996468067169e-06, 2.5723129510879517e-06, 2.703629434108734e-06, 2.8349459171295166e-06, 2.966262400150299e-06, 3.0975788831710815e-06, 3.228895366191864e-06, 3.3602118492126465e-06, 3.491528332233429e-06, 3.6228448152542114e-06, 3.754161298274994e-06, 3.885477781295776e-06, 4.016794264316559e-06, 4.148110747337341e-06, 4.279427230358124e-06, 4.410743713378906e-06]}, "gradients/encoder.encoder.layers.15.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 5.0, 4.0, 3.0, 4.0, 13.0, 14.0, 26.0, 24.0, 34.0, 49.0, 78.0, 194.0, 308.0, 111.0, 53.0, 32.0, 20.0, 13.0, 12.0, 6.0, 2.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00014405669935513288, -0.00014100712724030018, -0.00013795755512546748, -0.00013490798301063478, -0.00013185841089580208, -0.00012880883878096938, -0.00012575925211422145, -0.00012270967999938875, -0.00011966010788455606, -0.00011661053576972336, -0.00011356096365489066, -0.00011051139154005796, -0.00010746181214926764, -0.00010441224003443494, -0.00010136266791960225, -9.831309580476955e-05, -9.526352368993685e-05, -9.221395157510415e-05, -8.916437946027145e-05, -8.611480006948113e-05, -8.306522795464844e-05, -8.001565583981574e-05, -7.696608372498304e-05, -7.391651161015034e-05, -7.086693949531764e-05, -6.781736738048494e-05, -6.476779526565224e-05, -6.171822315081954e-05, -5.8668643760029227e-05, -5.561907164519653e-05, -5.256949953036383e-05, -4.951992741553113e-05, -4.6470348024740815e-05, -4.3420775909908116e-05, -4.037120015709661e-05, -3.732162804226391e-05, -3.4272052289452404e-05, -3.1222480174619704e-05, -2.8172908059787005e-05, -2.5123334125964902e-05, -2.20737601921428e-05, -1.9024186258320697e-05, -1.5974612324498594e-05, -1.2925040209665895e-05, -9.875466275843792e-06, -6.825892342021689e-06, -3.7763202271889895e-06, -7.267462933668867e-07, 2.322827640455216e-06, 5.372401119529968e-06, 8.42197459860472e-06, 1.1471547622932121e-05, 1.4521121556754224e-05, 1.7570695490576327e-05, 2.0620267605409026e-05, 2.366984153923113e-05, 2.6719415473053232e-05, 2.9768989406875335e-05, 3.281856334069744e-05, 3.586813545553014e-05, 3.8917707570362836e-05, 4.196728332317434e-05, 4.501685543800704e-05, 4.806643119081855e-05, 5.111600330565125e-05]}, "gradients/encoder.encoder.layers.15.layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 2.0, 2.0, 4.0, 3.0, 7.0, 6.0, 10.0, 8.0, 9.0, 17.0, 16.0, 18.0, 30.0, 23.0, 18.0, 26.0, 36.0, 38.0, 44.0, 40.0, 48.0, 45.0, 47.0, 41.0, 33.0, 48.0, 45.0, 43.0, 36.0, 46.0, 25.0, 19.0, 27.0, 35.0, 26.0, 13.0, 18.0, 16.0, 8.0, 7.0, 6.0, 9.0, 3.0, 7.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.2842159271240234e-05, -3.1800009310245514e-05, -3.0757859349250793e-05, -2.9715709388256073e-05, -2.8673559427261353e-05, -2.7631409466266632e-05, -2.658925950527191e-05, -2.554710954427719e-05, -2.450495958328247e-05, -2.346280962228775e-05, -2.242065966129303e-05, -2.137850970029831e-05, -2.033635973930359e-05, -1.929420977830887e-05, -1.8252059817314148e-05, -1.7209909856319427e-05, -1.6167759895324707e-05, -1.5125609934329987e-05, -1.4083459973335266e-05, -1.3041310012340546e-05, -1.1999160051345825e-05, -1.0957010090351105e-05, -9.914860129356384e-06, -8.872710168361664e-06, -7.830560207366943e-06, -6.788410246372223e-06, -5.7462602853775024e-06, -4.704110324382782e-06, -3.6619603633880615e-06, -2.619810402393341e-06, -1.5776604413986206e-06, -5.355104804039001e-07, 5.066394805908203e-07, 1.5487894415855408e-06, 2.5909394025802612e-06, 3.6330893635749817e-06, 4.675239324569702e-06, 5.717389285564423e-06, 6.759539246559143e-06, 7.801689207553864e-06, 8.843839168548584e-06, 9.885989129543304e-06, 1.0928139090538025e-05, 1.1970289051532745e-05, 1.3012439012527466e-05, 1.4054588973522186e-05, 1.5096738934516907e-05, 1.6138888895511627e-05, 1.7181038856506348e-05, 1.8223188817501068e-05, 1.926533877849579e-05, 2.030748873949051e-05, 2.134963870048523e-05, 2.239178866147995e-05, 2.343393862247467e-05, 2.447608858346939e-05, 2.551823854446411e-05, 2.6560388505458832e-05, 2.7602538466453552e-05, 2.8644688427448273e-05, 2.9686838388442993e-05, 3.0728988349437714e-05, 3.1771138310432434e-05, 3.2813288271427155e-05, 3.3855438232421875e-05]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 3.0, 7.0, 5.0, 5.0, 8.0, 9.0, 12.0, 22.0, 25.0, 22.0, 41.0, 56.0, 71.0, 80.0, 116.0, 142.0, 197.0, 258.0, 404.0, 495.0, 752.0, 1002.0, 1583.0, 2356.0, 3858.0, 5904.0, 10674.0, 18284.0, 40777.0, 106989.0, 3798647.0, 107635.0, 42032.0, 20074.0, 12070.0, 6708.0, 4463.0, 2702.0, 1916.0, 1225.0, 853.0, 551.0, 409.0, 272.0, 175.0, 123.0, 115.0, 47.0, 40.0, 34.0, 17.0, 13.0, 7.0, 3.0, 7.0, 4.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.9802322387695312e-05, -2.893805503845215e-05, -2.8073787689208984e-05, -2.720952033996582e-05, -2.6345252990722656e-05, -2.5480985641479492e-05, -2.4616718292236328e-05, -2.3752450942993164e-05, -2.288818359375e-05, -2.2023916244506836e-05, -2.1159648895263672e-05, -2.0295381546020508e-05, -1.9431114196777344e-05, -1.856684684753418e-05, -1.7702579498291016e-05, -1.683831214904785e-05, -1.5974044799804688e-05, -1.5109777450561523e-05, -1.424551010131836e-05, -1.3381242752075195e-05, -1.2516975402832031e-05, -1.1652708053588867e-05, -1.0788440704345703e-05, -9.924173355102539e-06, -9.059906005859375e-06, -8.195638656616211e-06, -7.331371307373047e-06, -6.467103958129883e-06, -5.602836608886719e-06, -4.738569259643555e-06, -3.874301910400391e-06, -3.0100345611572266e-06, -2.1457672119140625e-06, -1.2814998626708984e-06, -4.172325134277344e-07, 4.470348358154297e-07, 1.3113021850585938e-06, 2.175569534301758e-06, 3.039836883544922e-06, 3.904104232788086e-06, 4.76837158203125e-06, 5.632638931274414e-06, 6.496906280517578e-06, 7.361173629760742e-06, 8.225440979003906e-06, 9.08970832824707e-06, 9.953975677490234e-06, 1.0818243026733398e-05, 1.1682510375976562e-05, 1.2546777725219727e-05, 1.341104507446289e-05, 1.4275312423706055e-05, 1.5139579772949219e-05, 1.6003847122192383e-05, 1.6868114471435547e-05, 1.773238182067871e-05, 1.8596649169921875e-05, 1.946091651916504e-05, 2.0325183868408203e-05, 2.1189451217651367e-05, 2.205371856689453e-05, 2.2917985916137695e-05, 2.378225326538086e-05, 2.4646520614624023e-05, 2.5510787963867188e-05]}, "gradients/encoder.encoder.layers.14.feed_forward.output_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 2.0, 1.0, 2.0, 5.0, 3.0, 8.0, 7.0, 10.0, 6.0, 13.0, 19.0, 27.0, 31.0, 27.0, 31.0, 52.0, 59.0, 47.0, 74.0, 65.0, 66.0, 59.0, 52.0, 48.0, 65.0, 42.0, 31.0, 23.0, 25.0, 21.0, 15.0, 14.0, 10.0, 8.0, 7.0, 8.0, 4.0, 5.0, 8.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-4.231929779052734e-06, -4.108063876628876e-06, -3.984197974205017e-06, -3.8603320717811584e-06, -3.7364661693573e-06, -3.612600266933441e-06, -3.4887343645095825e-06, -3.364868462085724e-06, -3.2410025596618652e-06, -3.1171366572380066e-06, -2.993270754814148e-06, -2.8694048523902893e-06, -2.7455389499664307e-06, -2.621673047542572e-06, -2.4978071451187134e-06, -2.3739412426948547e-06, -2.250075340270996e-06, -2.1262094378471375e-06, -2.002343535423279e-06, -1.8784776329994202e-06, -1.7546117305755615e-06, -1.6307458281517029e-06, -1.5068799257278442e-06, -1.3830140233039856e-06, -1.259148120880127e-06, -1.1352822184562683e-06, -1.0114163160324097e-06, -8.87550413608551e-07, -7.636845111846924e-07, -6.398186087608337e-07, -5.159527063369751e-07, -3.9208680391311646e-07, -2.682209014892578e-07, -1.4435499906539917e-07, -2.0489096641540527e-08, 1.0337680578231812e-07, 2.2724270820617676e-07, 3.511086106300354e-07, 4.7497451305389404e-07, 5.988404154777527e-07, 7.227063179016113e-07, 8.4657222032547e-07, 9.704381227493286e-07, 1.0943040251731873e-06, 1.218169927597046e-06, 1.3420358300209045e-06, 1.4659017324447632e-06, 1.5897676348686218e-06, 1.7136335372924805e-06, 1.8374994397163391e-06, 1.9613653421401978e-06, 2.0852312445640564e-06, 2.209097146987915e-06, 2.3329630494117737e-06, 2.4568289518356323e-06, 2.580694854259491e-06, 2.7045607566833496e-06, 2.8284266591072083e-06, 2.952292561531067e-06, 3.0761584639549255e-06, 3.200024366378784e-06, 3.323890268802643e-06, 3.4477561712265015e-06, 3.57162207365036e-06, 3.6954879760742188e-06]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 1.0, 4.0, 0.0, 8.0, 7.0, 15.0, 24.0, 26.0, 61.0, 81.0, 104.0, 198.0, 330.0, 463.0, 882.0, 1625.0, 2379.0, 4743.0, 8945.0, 15323.0, 36561.0, 83380.0, 647428.0, 3167399.0, 131339.0, 49353.0, 20939.0, 9454.0, 5856.0, 3163.0, 1566.0, 1062.0, 628.0, 317.0, 212.0, 155.0, 79.0, 61.0, 38.0, 26.0, 18.0, 18.0, 9.0, 4.0, 2.0, 3.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0], "bins": [-1.710653305053711e-05, -1.6590580344200134e-05, -1.607462763786316e-05, -1.5558674931526184e-05, -1.5042722225189209e-05, -1.4526769518852234e-05, -1.4010816812515259e-05, -1.3494864106178284e-05, -1.2978911399841309e-05, -1.2462958693504333e-05, -1.1947005987167358e-05, -1.1431053280830383e-05, -1.0915100574493408e-05, -1.0399147868156433e-05, -9.883195161819458e-06, -9.367242455482483e-06, -8.851289749145508e-06, -8.335337042808533e-06, -7.819384336471558e-06, -7.3034316301345825e-06, -6.787478923797607e-06, -6.271526217460632e-06, -5.755573511123657e-06, -5.239620804786682e-06, -4.723668098449707e-06, -4.207715392112732e-06, -3.691762685775757e-06, -3.1758099794387817e-06, -2.6598572731018066e-06, -2.1439045667648315e-06, -1.6279518604278564e-06, -1.1119991540908813e-06, -5.960464477539062e-07, -8.009374141693115e-08, 4.3585896492004395e-07, 9.51811671257019e-07, 1.4677643775939941e-06, 1.9837170839309692e-06, 2.4996697902679443e-06, 3.0156224966049194e-06, 3.5315752029418945e-06, 4.04752790927887e-06, 4.563480615615845e-06, 5.07943332195282e-06, 5.595386028289795e-06, 6.11133873462677e-06, 6.627291440963745e-06, 7.14324414730072e-06, 7.659196853637695e-06, 8.17514955997467e-06, 8.691102266311646e-06, 9.20705497264862e-06, 9.723007678985596e-06, 1.023896038532257e-05, 1.0754913091659546e-05, 1.1270865797996521e-05, 1.1786818504333496e-05, 1.2302771210670471e-05, 1.2818723917007446e-05, 1.3334676623344421e-05, 1.3850629329681396e-05, 1.4366582036018372e-05, 1.4882534742355347e-05, 1.5398487448692322e-05, 1.5914440155029297e-05]}, "gradients/encoder.encoder.layers.14.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 4.0, 4.0, 1.0, 3.0, 4.0, 8.0, 6.0, 9.0, 15.0, 14.0, 9.0, 8.0, 18.0, 18.0, 24.0, 33.0, 31.0, 57.0, 61.0, 98.0, 182.0, 478.0, 1508.0, 741.0, 260.0, 149.0, 75.0, 49.0, 50.0, 36.0, 27.0, 20.0, 21.0, 9.0, 8.0, 8.0, 11.0, 5.0, 6.0, 8.0, 2.0, 6.0, 4.0, 0.0, 0.0, 2.0], "bins": [-1.1920928955078125e-05, -1.1628493666648865e-05, -1.1336058378219604e-05, -1.1043623089790344e-05, -1.0751187801361084e-05, -1.0458752512931824e-05, -1.0166317224502563e-05, -9.873881936073303e-06, -9.581446647644043e-06, -9.289011359214783e-06, -8.996576070785522e-06, -8.704140782356262e-06, -8.411705493927002e-06, -8.119270205497742e-06, -7.826834917068481e-06, -7.534399628639221e-06, -7.241964340209961e-06, -6.949529051780701e-06, -6.6570937633514404e-06, -6.36465847492218e-06, -6.07222318649292e-06, -5.77978789806366e-06, -5.487352609634399e-06, -5.194917321205139e-06, -4.902482032775879e-06, -4.610046744346619e-06, -4.317611455917358e-06, -4.025176167488098e-06, -3.732740879058838e-06, -3.4403055906295776e-06, -3.1478703022003174e-06, -2.855435013771057e-06, -2.562999725341797e-06, -2.2705644369125366e-06, -1.9781291484832764e-06, -1.6856938600540161e-06, -1.3932585716247559e-06, -1.1008232831954956e-06, -8.083879947662354e-07, -5.159527063369751e-07, -2.2351741790771484e-07, 6.891787052154541e-08, 3.6135315895080566e-07, 6.537884473800659e-07, 9.462237358093262e-07, 1.2386590242385864e-06, 1.5310943126678467e-06, 1.823529601097107e-06, 2.115964889526367e-06, 2.4084001779556274e-06, 2.7008354663848877e-06, 2.993270754814148e-06, 3.285706043243408e-06, 3.5781413316726685e-06, 3.870576620101929e-06, 4.163011908531189e-06, 4.455447196960449e-06, 4.7478824853897095e-06, 5.04031777381897e-06, 5.33275306224823e-06, 5.62518835067749e-06, 5.9176236391067505e-06, 6.210058927536011e-06, 6.502494215965271e-06, 6.794929504394531e-06]}, "gradients/encoder.encoder.layers.14.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 3.0, 5.0, 7.0, 5.0, 8.0, 15.0, 20.0, 9.0, 13.0, 21.0, 23.0, 35.0, 29.0, 50.0, 72.0, 98.0, 144.0, 134.0, 100.0, 54.0, 48.0, 29.0, 25.0, 18.0, 10.0, 11.0, 4.0, 3.0, 4.0, 2.0, 1.0, 2.0, 5.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-6.512292748084292e-05, -6.357444362947717e-05, -6.202595977811143e-05, -6.047747592674568e-05, -5.892899207537994e-05, -5.738050822401419e-05, -5.583202073466964e-05, -5.4283536883303896e-05, -5.273505303193815e-05, -5.1186569180572405e-05, -4.963808532920666e-05, -4.8089601477840915e-05, -4.654111398849636e-05, -4.499263013713062e-05, -4.344414628576487e-05, -4.189566243439913e-05, -4.034717858303338e-05, -3.879869473166764e-05, -3.725021088030189e-05, -3.570172702893615e-05, -3.41532431775704e-05, -3.260475932620466e-05, -3.1056271836860105e-05, -2.950778798549436e-05, -2.7959304134128615e-05, -2.641082028276287e-05, -2.4862336431397125e-05, -2.3313850761041977e-05, -2.176536690967623e-05, -2.0216883058310486e-05, -1.8668397387955338e-05, -1.7119913536589593e-05, -1.557142604724504e-05, -1.4022942195879295e-05, -1.2474457435018849e-05, -1.0925972674158402e-05, -9.377488822792657e-06, -7.829004971426912e-06, -6.280520210566465e-06, -4.732035449706018e-06, -3.183551598340273e-06, -1.635067292227177e-06, -8.6582986114081e-08, 1.461901319999015e-06, 3.010385626112111e-06, 4.558869477477856e-06, 6.107354238338303e-06, 7.65583899919875e-06, 9.204322850564495e-06, 1.075280670193024e-05, 1.2301291462790687e-05, 1.3849776223651133e-05, 1.539826007501688e-05, 1.6946743926382624e-05, 1.8495229596737772e-05, 2.0043713448103517e-05, 2.1592197299469262e-05, 2.3140681150835007e-05, 2.4689165002200752e-05, 2.62376506725559e-05, 2.7786134523921646e-05, 2.933461837528739e-05, 3.088310404564254e-05, 3.2431587897008285e-05, 3.398007174837403e-05]}, "gradients/encoder.encoder.layers.14.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 3.0, 6.0, 9.0, 11.0, 9.0, 20.0, 10.0, 12.0, 14.0, 22.0, 22.0, 25.0, 30.0, 34.0, 27.0, 32.0, 43.0, 39.0, 43.0, 52.0, 38.0, 46.0, 35.0, 44.0, 44.0, 40.0, 26.0, 35.0, 19.0, 39.0, 36.0, 21.0, 19.0, 22.0, 15.0, 15.0, 9.0, 9.0, 5.0, 7.0, 11.0, 7.0, 4.0, 5.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6106834411621094e-05, -2.5235116481781006e-05, -2.4363398551940918e-05, -2.349168062210083e-05, -2.2619962692260742e-05, -2.1748244762420654e-05, -2.0876526832580566e-05, -2.000480890274048e-05, -1.913309097290039e-05, -1.8261373043060303e-05, -1.7389655113220215e-05, -1.6517937183380127e-05, -1.564621925354004e-05, -1.4774501323699951e-05, -1.3902783393859863e-05, -1.3031065464019775e-05, -1.2159347534179688e-05, -1.12876296043396e-05, -1.0415911674499512e-05, -9.544193744659424e-06, -8.672475814819336e-06, -7.800757884979248e-06, -6.92903995513916e-06, -6.057322025299072e-06, -5.185604095458984e-06, -4.3138861656188965e-06, -3.4421682357788086e-06, -2.5704503059387207e-06, -1.6987323760986328e-06, -8.270144462585449e-07, 4.470348358154297e-08, 9.164214134216309e-07, 1.7881393432617188e-06, 2.6598572731018066e-06, 3.5315752029418945e-06, 4.403293132781982e-06, 5.27501106262207e-06, 6.146728992462158e-06, 7.018446922302246e-06, 7.890164852142334e-06, 8.761882781982422e-06, 9.63360071182251e-06, 1.0505318641662598e-05, 1.1377036571502686e-05, 1.2248754501342773e-05, 1.3120472431182861e-05, 1.399219036102295e-05, 1.4863908290863037e-05, 1.5735626220703125e-05, 1.6607344150543213e-05, 1.74790620803833e-05, 1.835078001022339e-05, 1.9222497940063477e-05, 2.0094215869903564e-05, 2.0965933799743652e-05, 2.183765172958374e-05, 2.2709369659423828e-05, 2.3581087589263916e-05, 2.4452805519104004e-05, 2.5324523448944092e-05, 2.619624137878418e-05, 2.7067959308624268e-05, 2.7939677238464355e-05, 2.8811395168304443e-05, 2.968311309814453e-05]}, "gradients/encoder.encoder.layers.14.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 3.0, 1.0, 5.0, 3.0, 5.0, 9.0, 11.0, 23.0, 32.0, 35.0, 71.0, 83.0, 129.0, 204.0, 261.0, 408.0, 603.0, 971.0, 1338.0, 2284.0, 3424.0, 6485.0, 10449.0, 20395.0, 35889.0, 82465.0, 227500.0, 451288.0, 105740.0, 43057.0, 24175.0, 12334.0, 7548.0, 4031.0, 2593.0, 1504.0, 1049.0, 625.0, 512.0, 331.0, 226.0, 143.0, 101.0, 64.0, 59.0, 25.0, 26.0, 15.0, 16.0, 5.0, 8.0, 3.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.6941299438476562e-05, -2.6076100766658783e-05, -2.5210902094841003e-05, -2.4345703423023224e-05, -2.3480504751205444e-05, -2.2615306079387665e-05, -2.1750107407569885e-05, -2.0884908735752106e-05, -2.0019710063934326e-05, -1.9154511392116547e-05, -1.8289312720298767e-05, -1.7424114048480988e-05, -1.6558915376663208e-05, -1.569371670484543e-05, -1.4828518033027649e-05, -1.396331936120987e-05, -1.309812068939209e-05, -1.223292201757431e-05, -1.136772334575653e-05, -1.0502524673938751e-05, -9.637326002120972e-06, -8.772127330303192e-06, -7.906928658485413e-06, -7.041729986667633e-06, -6.1765313148498535e-06, -5.311332643032074e-06, -4.4461339712142944e-06, -3.580935299396515e-06, -2.7157366275787354e-06, -1.8505379557609558e-06, -9.853392839431763e-07, -1.2014061212539673e-07, 7.450580596923828e-07, 1.6102567315101624e-06, 2.475455403327942e-06, 3.3406540751457214e-06, 4.205852746963501e-06, 5.0710514187812805e-06, 5.93625009059906e-06, 6.80144876241684e-06, 7.666647434234619e-06, 8.531846106052399e-06, 9.397044777870178e-06, 1.0262243449687958e-05, 1.1127442121505737e-05, 1.1992640793323517e-05, 1.2857839465141296e-05, 1.3723038136959076e-05, 1.4588236808776855e-05, 1.5453435480594635e-05, 1.6318634152412415e-05, 1.7183832824230194e-05, 1.8049031496047974e-05, 1.8914230167865753e-05, 1.9779428839683533e-05, 2.0644627511501312e-05, 2.1509826183319092e-05, 2.237502485513687e-05, 2.324022352695465e-05, 2.410542219877243e-05, 2.497062087059021e-05, 2.583581954240799e-05, 2.670101821422577e-05, 2.756621688604355e-05, 2.8431415557861328e-05]}, "gradients/encoder.encoder.layers.14.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 4.0, 2.0, 3.0, 2.0, 4.0, 4.0, 3.0, 5.0, 16.0, 10.0, 16.0, 9.0, 24.0, 21.0, 43.0, 19.0, 40.0, 40.0, 65.0, 58.0, 67.0, 103.0, 61.0, 55.0, 56.0, 36.0, 45.0, 41.0, 36.0, 20.0, 17.0, 19.0, 21.0, 15.0, 8.0, 6.0, 3.0, 2.0, 3.0, 1.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.172325134277344e-06, -4.043802618980408e-06, -3.915280103683472e-06, -3.7867575883865356e-06, -3.6582350730895996e-06, -3.5297125577926636e-06, -3.4011900424957275e-06, -3.2726675271987915e-06, -3.1441450119018555e-06, -3.0156224966049194e-06, -2.8870999813079834e-06, -2.7585774660110474e-06, -2.6300549507141113e-06, -2.5015324354171753e-06, -2.3730099201202393e-06, -2.2444874048233032e-06, -2.115964889526367e-06, -1.987442374229431e-06, -1.8589198589324951e-06, -1.730397343635559e-06, -1.601874828338623e-06, -1.473352313041687e-06, -1.344829797744751e-06, -1.216307282447815e-06, -1.087784767150879e-06, -9.592622518539429e-07, -8.307397365570068e-07, -7.022172212600708e-07, -5.736947059631348e-07, -4.4517219066619873e-07, -3.166496753692627e-07, -1.8812716007232666e-07, -5.960464477539063e-08, 6.891787052154541e-08, 1.9744038581848145e-07, 3.259629011154175e-07, 4.544854164123535e-07, 5.830079317092896e-07, 7.115304470062256e-07, 8.400529623031616e-07, 9.685754776000977e-07, 1.0970979928970337e-06, 1.2256205081939697e-06, 1.3541430234909058e-06, 1.4826655387878418e-06, 1.6111880540847778e-06, 1.7397105693817139e-06, 1.86823308467865e-06, 1.996755599975586e-06, 2.125278115272522e-06, 2.253800630569458e-06, 2.382323145866394e-06, 2.51084566116333e-06, 2.639368176460266e-06, 2.767890691757202e-06, 2.896413207054138e-06, 3.0249357223510742e-06, 3.1534582376480103e-06, 3.2819807529449463e-06, 3.4105032682418823e-06, 3.5390257835388184e-06, 3.6675482988357544e-06, 3.7960708141326904e-06, 3.9245933294296265e-06, 4.0531158447265625e-06]}, "gradients/encoder.encoder.layers.14.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 4.0, 3.0, 2.0, 1.0, 5.0, 5.0, 6.0, 7.0, 13.0, 24.0, 26.0, 40.0, 53.0, 71.0, 132.0, 157.0, 277.0, 320.0, 551.0, 715.0, 1262.0, 1690.0, 2987.0, 3893.0, 7478.0, 10161.0, 19936.0, 29132.0, 60731.0, 131525.0, 379036.0, 215814.0, 73334.0, 46480.0, 22643.0, 15800.0, 8194.0, 5883.0, 3252.0, 2454.0, 1360.0, 1032.0, 613.0, 446.0, 304.0, 231.0, 134.0, 107.0, 69.0, 47.0, 40.0, 33.0, 18.0, 11.0, 10.0, 6.0, 4.0, 5.0, 3.0, 0.0, 4.0], "bins": [-1.3113021850585938e-05, -1.2724660336971283e-05, -1.2336298823356628e-05, -1.1947937309741974e-05, -1.155957579612732e-05, -1.1171214282512665e-05, -1.078285276889801e-05, -1.0394491255283356e-05, -1.0006129741668701e-05, -9.617768228054047e-06, -9.229406714439392e-06, -8.841045200824738e-06, -8.452683687210083e-06, -8.064322173595428e-06, -7.675960659980774e-06, -7.287599146366119e-06, -6.899237632751465e-06, -6.51087611913681e-06, -6.122514605522156e-06, -5.734153091907501e-06, -5.345791578292847e-06, -4.957430064678192e-06, -4.569068551063538e-06, -4.180707037448883e-06, -3.7923455238342285e-06, -3.403984010219574e-06, -3.0156224966049194e-06, -2.627260982990265e-06, -2.2388994693756104e-06, -1.8505379557609558e-06, -1.4621764421463013e-06, -1.0738149285316467e-06, -6.854534149169922e-07, -2.9709190130233765e-07, 9.12696123123169e-08, 4.796311259269714e-07, 8.67992639541626e-07, 1.2563541531562805e-06, 1.644715666770935e-06, 2.0330771803855896e-06, 2.421438694000244e-06, 2.8098002076148987e-06, 3.1981617212295532e-06, 3.5865232348442078e-06, 3.974884748458862e-06, 4.363246262073517e-06, 4.751607775688171e-06, 5.139969289302826e-06, 5.5283308029174805e-06, 5.916692316532135e-06, 6.3050538301467896e-06, 6.693415343761444e-06, 7.081776857376099e-06, 7.470138370990753e-06, 7.858499884605408e-06, 8.246861398220062e-06, 8.635222911834717e-06, 9.023584425449371e-06, 9.411945939064026e-06, 9.80030745267868e-06, 1.0188668966293335e-05, 1.057703047990799e-05, 1.0965391993522644e-05, 1.1353753507137299e-05, 1.1742115020751953e-05]}, "gradients/encoder.encoder.layers.14.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 3.0, 2.0, 6.0, 4.0, 6.0, 6.0, 8.0, 14.0, 11.0, 18.0, 13.0, 17.0, 27.0, 31.0, 33.0, 39.0, 47.0, 33.0, 41.0, 47.0, 54.0, 56.0, 52.0, 58.0, 55.0, 43.0, 32.0, 31.0, 28.0, 33.0, 36.0, 25.0, 18.0, 13.0, 17.0, 8.0, 11.0, 5.0, 9.0, 9.0, 4.0, 3.0, 1.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.119510650634766e-06, -8.81776213645935e-06, -8.516013622283936e-06, -8.21426510810852e-06, -7.912516593933105e-06, -7.6107680797576904e-06, -7.309019565582275e-06, -7.00727105140686e-06, -6.705522537231445e-06, -6.40377402305603e-06, -6.102025508880615e-06, -5.8002769947052e-06, -5.498528480529785e-06, -5.19677996635437e-06, -4.895031452178955e-06, -4.59328293800354e-06, -4.291534423828125e-06, -3.98978590965271e-06, -3.688037395477295e-06, -3.38628888130188e-06, -3.084540367126465e-06, -2.78279185295105e-06, -2.4810433387756348e-06, -2.1792948246002197e-06, -1.8775463104248047e-06, -1.5757977962493896e-06, -1.2740492820739746e-06, -9.723007678985596e-07, -6.705522537231445e-07, -3.688037395477295e-07, -6.705522537231445e-08, 2.3469328880310059e-07, 5.364418029785156e-07, 8.381903171539307e-07, 1.1399388313293457e-06, 1.4416873455047607e-06, 1.7434358596801758e-06, 2.045184373855591e-06, 2.346932888031006e-06, 2.648681402206421e-06, 2.950429916381836e-06, 3.252178430557251e-06, 3.553926944732666e-06, 3.855675458908081e-06, 4.157423973083496e-06, 4.459172487258911e-06, 4.760921001434326e-06, 5.062669515609741e-06, 5.364418029785156e-06, 5.666166543960571e-06, 5.967915058135986e-06, 6.269663572311401e-06, 6.571412086486816e-06, 6.8731606006622314e-06, 7.1749091148376465e-06, 7.4766576290130615e-06, 7.778406143188477e-06, 8.080154657363892e-06, 8.381903171539307e-06, 8.683651685714722e-06, 8.985400199890137e-06, 9.287148714065552e-06, 9.588897228240967e-06, 9.890645742416382e-06, 1.0192394256591797e-05]}, "gradients/encoder.encoder.layers.14.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 4.0, 6.0, 9.0, 8.0, 14.0, 12.0, 21.0, 42.0, 44.0, 58.0, 101.0, 155.0, 206.0, 389.0, 534.0, 763.0, 1590.0, 2120.0, 3419.0, 7540.0, 12143.0, 37791.0, 105529.0, 636217.0, 172838.0, 33084.0, 14456.0, 8889.0, 3844.0, 2333.0, 1765.0, 860.0, 585.0, 435.0, 237.0, 137.0, 120.0, 73.0, 61.0, 47.0, 18.0, 17.0, 17.0, 5.0, 9.0, 7.0, 3.0, 4.0, 1.0, 1.0, 3.0], "bins": [-9.47713851928711e-06, -9.218230843544006e-06, -8.959323167800903e-06, -8.7004154920578e-06, -8.441507816314697e-06, -8.182600140571594e-06, -7.923692464828491e-06, -7.664784789085388e-06, -7.405877113342285e-06, -7.146969437599182e-06, -6.888061761856079e-06, -6.629154086112976e-06, -6.370246410369873e-06, -6.11133873462677e-06, -5.852431058883667e-06, -5.593523383140564e-06, -5.334615707397461e-06, -5.075708031654358e-06, -4.816800355911255e-06, -4.557892680168152e-06, -4.298985004425049e-06, -4.040077328681946e-06, -3.7811696529388428e-06, -3.5222619771957397e-06, -3.2633543014526367e-06, -3.0044466257095337e-06, -2.7455389499664307e-06, -2.4866312742233276e-06, -2.2277235984802246e-06, -1.9688159227371216e-06, -1.7099082469940186e-06, -1.4510005712509155e-06, -1.1920928955078125e-06, -9.331852197647095e-07, -6.742775440216064e-07, -4.153698682785034e-07, -1.564621925354004e-07, 1.0244548320770264e-07, 3.6135315895080566e-07, 6.202608346939087e-07, 8.791685104370117e-07, 1.1380761861801147e-06, 1.3969838619232178e-06, 1.6558915376663208e-06, 1.914799213409424e-06, 2.173706889152527e-06, 2.43261456489563e-06, 2.691522240638733e-06, 2.950429916381836e-06, 3.209337592124939e-06, 3.468245267868042e-06, 3.727152943611145e-06, 3.986060619354248e-06, 4.244968295097351e-06, 4.503875970840454e-06, 4.762783646583557e-06, 5.02169132232666e-06, 5.280598998069763e-06, 5.539506673812866e-06, 5.798414349555969e-06, 6.057322025299072e-06, 6.316229701042175e-06, 6.575137376785278e-06, 6.834045052528381e-06, 7.092952728271484e-06]}, "gradients/encoder.encoder.layers.14.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 4.0, 4.0, 3.0, 4.0, 5.0, 5.0, 7.0, 8.0, 5.0, 11.0, 12.0, 11.0, 23.0, 42.0, 39.0, 56.0, 72.0, 146.0, 169.0, 101.0, 86.0, 60.0, 35.0, 19.0, 20.0, 9.0, 14.0, 7.0, 8.0, 7.0, 4.0, 4.0, 0.0, 3.0, 5.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.5299530029296875e-06, -4.3502077460289e-06, -4.170462489128113e-06, -3.9907172322273254e-06, -3.810971975326538e-06, -3.6312267184257507e-06, -3.4514814615249634e-06, -3.271736204624176e-06, -3.0919909477233887e-06, -2.9122456908226013e-06, -2.732500433921814e-06, -2.5527551770210266e-06, -2.3730099201202393e-06, -2.193264663219452e-06, -2.0135194063186646e-06, -1.8337741494178772e-06, -1.6540288925170898e-06, -1.4742836356163025e-06, -1.2945383787155151e-06, -1.1147931218147278e-06, -9.350478649139404e-07, -7.553026080131531e-07, -5.755573511123657e-07, -3.9581209421157837e-07, -2.1606683731079102e-07, -3.632158041000366e-08, 1.434236764907837e-07, 3.2316893339157104e-07, 5.029141902923584e-07, 6.826594471931458e-07, 8.624047040939331e-07, 1.0421499609947205e-06, 1.2218952178955078e-06, 1.4016404747962952e-06, 1.5813857316970825e-06, 1.7611309885978699e-06, 1.9408762454986572e-06, 2.1206215023994446e-06, 2.300366759300232e-06, 2.4801120162010193e-06, 2.6598572731018066e-06, 2.839602530002594e-06, 3.0193477869033813e-06, 3.1990930438041687e-06, 3.378838300704956e-06, 3.5585835576057434e-06, 3.7383288145065308e-06, 3.918074071407318e-06, 4.0978193283081055e-06, 4.277564585208893e-06, 4.45730984210968e-06, 4.6370550990104675e-06, 4.816800355911255e-06, 4.996545612812042e-06, 5.17629086971283e-06, 5.356036126613617e-06, 5.535781383514404e-06, 5.715526640415192e-06, 5.895271897315979e-06, 6.075017154216766e-06, 6.254762411117554e-06, 6.434507668018341e-06, 6.614252924919128e-06, 6.793998181819916e-06, 6.973743438720703e-06]}, "gradients/encoder.encoder.layers.14.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 4.0, 3.0, 1.0, 3.0, 8.0, 4.0, 10.0, 16.0, 19.0, 14.0, 30.0, 42.0, 61.0, 83.0, 128.0, 250.0, 399.0, 807.0, 1382.0, 3359.0, 6339.0, 14381.0, 59061.0, 618634.0, 287514.0, 32557.0, 13602.0, 4688.0, 2287.0, 1351.0, 546.0, 391.0, 182.0, 101.0, 122.0, 50.0, 30.0, 23.0, 23.0, 21.0, 7.0, 10.0, 1.0, 8.0, 2.0, 5.0, 0.0, 5.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-1.1265277862548828e-05, -1.0942108929157257e-05, -1.0618939995765686e-05, -1.0295771062374115e-05, -9.972602128982544e-06, -9.649433195590973e-06, -9.326264262199402e-06, -9.00309532880783e-06, -8.67992639541626e-06, -8.356757462024689e-06, -8.033588528633118e-06, -7.710419595241547e-06, -7.387250661849976e-06, -7.0640817284584045e-06, -6.7409127950668335e-06, -6.4177438616752625e-06, -6.094574928283691e-06, -5.77140599489212e-06, -5.448237061500549e-06, -5.125068128108978e-06, -4.801899194717407e-06, -4.478730261325836e-06, -4.155561327934265e-06, -3.832392394542694e-06, -3.509223461151123e-06, -3.186054527759552e-06, -2.862885594367981e-06, -2.53971666097641e-06, -2.216547727584839e-06, -1.8933787941932678e-06, -1.5702098608016968e-06, -1.2470409274101257e-06, -9.238719940185547e-07, -6.007030606269836e-07, -2.775341272354126e-07, 4.563480615615845e-08, 3.688037395477295e-07, 6.919726729393005e-07, 1.0151416063308716e-06, 1.3383105397224426e-06, 1.6614794731140137e-06, 1.9846484065055847e-06, 2.3078173398971558e-06, 2.630986273288727e-06, 2.954155206680298e-06, 3.277324140071869e-06, 3.60049307346344e-06, 3.923662006855011e-06, 4.246830940246582e-06, 4.569999873638153e-06, 4.893168807029724e-06, 5.216337740421295e-06, 5.539506673812866e-06, 5.862675607204437e-06, 6.185844540596008e-06, 6.509013473987579e-06, 6.83218240737915e-06, 7.1553513407707214e-06, 7.4785202741622925e-06, 7.801689207553864e-06, 8.124858140945435e-06, 8.448027074337006e-06, 8.771196007728577e-06, 9.094364941120148e-06, 9.417533874511719e-06]}, "gradients/encoder.encoder.layers.14.attention.q_proj.bias": {"_type": "histogram", "values": [4.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 6.0, 3.0, 5.0, 9.0, 8.0, 10.0, 8.0, 22.0, 30.0, 28.0, 68.0, 88.0, 127.0, 227.0, 147.0, 59.0, 35.0, 45.0, 14.0, 10.0, 12.0, 15.0, 12.0, 7.0, 7.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.993511199951172e-06, -3.7979334592819214e-06, -3.602355718612671e-06, -3.4067779779434204e-06, -3.21120023727417e-06, -3.0156224966049194e-06, -2.820044755935669e-06, -2.6244670152664185e-06, -2.428889274597168e-06, -2.2333115339279175e-06, -2.037733793258667e-06, -1.8421560525894165e-06, -1.646578311920166e-06, -1.4510005712509155e-06, -1.255422830581665e-06, -1.0598450899124146e-06, -8.642673492431641e-07, -6.686896085739136e-07, -4.731118679046631e-07, -2.775341272354126e-07, -8.195638656616211e-08, 1.1362135410308838e-07, 3.0919909477233887e-07, 5.047768354415894e-07, 7.003545761108398e-07, 8.959323167800903e-07, 1.0915100574493408e-06, 1.2870877981185913e-06, 1.4826655387878418e-06, 1.6782432794570923e-06, 1.8738210201263428e-06, 2.0693987607955933e-06, 2.2649765014648438e-06, 2.4605542421340942e-06, 2.6561319828033447e-06, 2.8517097234725952e-06, 3.0472874641418457e-06, 3.242865204811096e-06, 3.4384429454803467e-06, 3.634020686149597e-06, 3.829598426818848e-06, 4.025176167488098e-06, 4.220753908157349e-06, 4.416331648826599e-06, 4.61190938949585e-06, 4.8074871301651e-06, 5.003064870834351e-06, 5.198642611503601e-06, 5.3942203521728516e-06, 5.589798092842102e-06, 5.7853758335113525e-06, 5.980953574180603e-06, 6.1765313148498535e-06, 6.372109055519104e-06, 6.5676867961883545e-06, 6.763264536857605e-06, 6.9588422775268555e-06, 7.154420018196106e-06, 7.3499977588653564e-06, 7.545575499534607e-06, 7.741153240203857e-06, 7.936730980873108e-06, 8.132308721542358e-06, 8.327886462211609e-06, 8.52346420288086e-06]}, "gradients/encoder.encoder.layers.14.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 5.0, 4.0, 2.0, 3.0, 5.0, 2.0, 8.0, 4.0, 15.0, 5.0, 10.0, 11.0, 22.0, 24.0, 22.0, 26.0, 39.0, 62.0, 88.0, 180.0, 145.0, 71.0, 62.0, 60.0, 37.0, 24.0, 11.0, 14.0, 9.0, 15.0, 3.0, 5.0, 6.0, 2.0, 5.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-6.277963984757662e-05, -6.098159065004438e-05, -5.918353781453334e-05, -5.73854886170011e-05, -5.558743578149006e-05, -5.378938658395782e-05, -5.1991337386425585e-05, -5.019328455091454e-05, -4.83952317154035e-05, -4.659718251787126e-05, -4.479912968236022e-05, -4.300108048482798e-05, -4.120302764931694e-05, -3.94049784517847e-05, -3.7606929254252464e-05, -3.580887641874142e-05, -3.401082722120918e-05, -3.221277802367695e-05, -3.0414725188165903e-05, -2.8616675990633667e-05, -2.6818623155122623e-05, -2.5020573957590386e-05, -2.3222522941068746e-05, -2.1424471924547106e-05, -1.9626420908025466e-05, -1.7828369891503826e-05, -1.6030318874982186e-05, -1.4232268767955247e-05, -1.2434217751433607e-05, -1.0636166734911967e-05, -8.838116627885029e-06, -7.040065611363389e-06, -5.2420182328205556e-06, -3.443967443672591e-06, -1.6459166545246262e-06, 1.5213390724966303e-07, 1.950184923771303e-06, 3.7482359402929433e-06, 5.546286047319882e-06, 7.344337063841522e-06, 9.142388080363162e-06, 1.0940439096884802e-05, 1.2738490113406442e-05, 1.453654022043338e-05, 1.633459032746032e-05, 1.8132643162971362e-05, 1.99306923605036e-05, 2.172874337702524e-05, 2.352679439354688e-05, 2.532484541006852e-05, 2.712289642659016e-05, 2.8920945624122396e-05, 3.071899845963344e-05, 3.2517047657165676e-05, 3.431509685469791e-05, 3.6113149690208957e-05, 3.791120252572e-05, 3.970925172325224e-05, 4.150730455876328e-05, 4.330535375629552e-05, 4.510340659180656e-05, 4.69014557893388e-05, 4.8699504986871034e-05, 5.049755782238208e-05, 5.2295607019914314e-05]}, "gradients/encoder.encoder.layers.14.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 5.0, 3.0, 4.0, 11.0, 11.0, 9.0, 8.0, 12.0, 12.0, 12.0, 13.0, 19.0, 19.0, 26.0, 22.0, 33.0, 38.0, 22.0, 35.0, 39.0, 42.0, 51.0, 44.0, 38.0, 41.0, 42.0, 47.0, 40.0, 32.0, 34.0, 37.0, 34.0, 23.0, 20.0, 29.0, 23.0, 14.0, 5.0, 9.0, 12.0, 16.0, 8.0, 9.0, 3.0, 2.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.635883331298828e-05, -3.527570515871048e-05, -3.419257700443268e-05, -3.310944885015488e-05, -3.2026320695877075e-05, -3.0943192541599274e-05, -2.9860064387321472e-05, -2.877693623304367e-05, -2.769380807876587e-05, -2.6610679924488068e-05, -2.5527551770210266e-05, -2.4444423615932465e-05, -2.3361295461654663e-05, -2.227816730737686e-05, -2.119503915309906e-05, -2.011191099882126e-05, -1.9028782844543457e-05, -1.7945654690265656e-05, -1.6862526535987854e-05, -1.5779398381710052e-05, -1.4696270227432251e-05, -1.361314207315445e-05, -1.2530013918876648e-05, -1.1446885764598846e-05, -1.0363757610321045e-05, -9.280629456043243e-06, -8.197501301765442e-06, -7.11437314748764e-06, -6.031244993209839e-06, -4.948116838932037e-06, -3.864988684654236e-06, -2.7818605303764343e-06, -1.6987323760986328e-06, -6.156042218208313e-07, 4.675239324569702e-07, 1.5506520867347717e-06, 2.6337802410125732e-06, 3.7169083952903748e-06, 4.800036549568176e-06, 5.883164703845978e-06, 6.966292858123779e-06, 8.04942101240158e-06, 9.132549166679382e-06, 1.0215677320957184e-05, 1.1298805475234985e-05, 1.2381933629512787e-05, 1.3465061783790588e-05, 1.454818993806839e-05, 1.563131809234619e-05, 1.6714446246623993e-05, 1.7797574400901794e-05, 1.8880702555179596e-05, 1.9963830709457397e-05, 2.10469588637352e-05, 2.2130087018013e-05, 2.3213215172290802e-05, 2.4296343326568604e-05, 2.5379471480846405e-05, 2.6462599635124207e-05, 2.7545727789402008e-05, 2.862885594367981e-05, 2.971198409795761e-05, 3.079511225223541e-05, 3.1878240406513214e-05, 3.2961368560791016e-05]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 4.0, 2.0, 8.0, 8.0, 13.0, 21.0, 24.0, 41.0, 55.0, 89.0, 136.0, 184.0, 282.0, 439.0, 624.0, 891.0, 1549.0, 2577.0, 4248.0, 7581.0, 13958.0, 28835.0, 87258.0, 3931630.0, 59094.0, 24699.0, 12463.0, 6971.0, 3861.0, 2281.0, 1475.0, 879.0, 599.0, 387.0, 308.0, 192.0, 143.0, 107.0, 93.0, 53.0, 51.0, 34.0, 36.0, 28.0, 19.0, 18.0, 11.0, 5.0, 7.0, 4.0, 4.0, 4.0, 5.0, 2.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0], "bins": [-3.2901763916015625e-05, -3.165658563375473e-05, -3.0411407351493835e-05, -2.916622906923294e-05, -2.7921050786972046e-05, -2.667587250471115e-05, -2.5430694222450256e-05, -2.418551594018936e-05, -2.2940337657928467e-05, -2.1695159375667572e-05, -2.0449981093406677e-05, -1.9204802811145782e-05, -1.7959624528884888e-05, -1.6714446246623993e-05, -1.5469267964363098e-05, -1.4224089682102203e-05, -1.2978911399841309e-05, -1.1733733117580414e-05, -1.0488554835319519e-05, -9.243376553058624e-06, -7.99819827079773e-06, -6.753019988536835e-06, -5.50784170627594e-06, -4.262663424015045e-06, -3.0174851417541504e-06, -1.7723068594932556e-06, -5.271285772323608e-07, 7.180497050285339e-07, 1.9632279872894287e-06, 3.2084062695503235e-06, 4.453584551811218e-06, 5.698762834072113e-06, 6.943941116333008e-06, 8.189119398593903e-06, 9.434297680854797e-06, 1.0679475963115692e-05, 1.1924654245376587e-05, 1.3169832527637482e-05, 1.4415010809898376e-05, 1.566018909215927e-05, 1.6905367374420166e-05, 1.815054565668106e-05, 1.9395723938941956e-05, 2.064090222120285e-05, 2.1886080503463745e-05, 2.313125878572464e-05, 2.4376437067985535e-05, 2.562161535024643e-05, 2.6866793632507324e-05, 2.811197191476822e-05, 2.9357150197029114e-05, 3.060232847929001e-05, 3.18475067615509e-05, 3.30926850438118e-05, 3.433786332607269e-05, 3.558304160833359e-05, 3.682821989059448e-05, 3.807339817285538e-05, 3.931857645511627e-05, 4.056375473737717e-05, 4.180893301963806e-05, 4.3054111301898956e-05, 4.429928958415985e-05, 4.5544467866420746e-05, 4.678964614868164e-05]}, "gradients/encoder.encoder.layers.13.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 1.0, 1.0, 1.0, 3.0, 5.0, 6.0, 12.0, 9.0, 20.0, 14.0, 26.0, 24.0, 45.0, 44.0, 68.0, 57.0, 96.0, 70.0, 91.0, 60.0, 84.0, 48.0, 51.0, 31.0, 40.0, 26.0, 20.0, 16.0, 9.0, 9.0, 2.0, 8.0, 4.0, 1.0, 1.0, 1.0, 1.0, 4.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.933906555175781e-06, -3.7830322980880737e-06, -3.632158041000366e-06, -3.4812837839126587e-06, -3.330409526824951e-06, -3.1795352697372437e-06, -3.028661012649536e-06, -2.8777867555618286e-06, -2.726912498474121e-06, -2.5760382413864136e-06, -2.425163984298706e-06, -2.2742897272109985e-06, -2.123415470123291e-06, -1.9725412130355835e-06, -1.821666955947876e-06, -1.6707926988601685e-06, -1.519918441772461e-06, -1.3690441846847534e-06, -1.218169927597046e-06, -1.0672956705093384e-06, -9.164214134216309e-07, -7.655471563339233e-07, -6.146728992462158e-07, -4.637986421585083e-07, -3.129243850708008e-07, -1.6205012798309326e-07, -1.1175870895385742e-08, 1.3969838619232178e-07, 2.905726432800293e-07, 4.414469003677368e-07, 5.923211574554443e-07, 7.431954145431519e-07, 8.940696716308594e-07, 1.044943928718567e-06, 1.1958181858062744e-06, 1.346692442893982e-06, 1.4975666999816895e-06, 1.648440957069397e-06, 1.7993152141571045e-06, 1.950189471244812e-06, 2.1010637283325195e-06, 2.251937985420227e-06, 2.4028122425079346e-06, 2.553686499595642e-06, 2.7045607566833496e-06, 2.855435013771057e-06, 3.0063092708587646e-06, 3.157183527946472e-06, 3.3080577850341797e-06, 3.458932042121887e-06, 3.6098062992095947e-06, 3.7606805562973022e-06, 3.91155481338501e-06, 4.062429070472717e-06, 4.213303327560425e-06, 4.364177584648132e-06, 4.51505184173584e-06, 4.665926098823547e-06, 4.816800355911255e-06, 4.967674612998962e-06, 5.11854887008667e-06, 5.2694231271743774e-06, 5.420297384262085e-06, 5.5711716413497925e-06, 5.7220458984375e-06]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 3.0, 0.0, 1.0, 4.0, 1.0, 4.0, 3.0, 10.0, 18.0, 33.0, 29.0, 53.0, 79.0, 91.0, 122.0, 220.0, 349.0, 554.0, 667.0, 1151.0, 1840.0, 3019.0, 4247.0, 8097.0, 14396.0, 29454.0, 60225.0, 362085.0, 3459636.0, 156909.0, 41434.0, 21919.0, 11260.0, 6334.0, 3312.0, 2386.0, 1553.0, 890.0, 551.0, 446.0, 293.0, 188.0, 109.0, 99.0, 63.0, 50.0, 27.0, 23.0, 21.0, 8.0, 6.0, 6.0, 9.0, 2.0, 4.0, 3.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.3530254364013672e-05, -1.3068318367004395e-05, -1.2606382369995117e-05, -1.214444637298584e-05, -1.1682510375976562e-05, -1.1220574378967285e-05, -1.0758638381958008e-05, -1.029670238494873e-05, -9.834766387939453e-06, -9.372830390930176e-06, -8.910894393920898e-06, -8.448958396911621e-06, -7.987022399902344e-06, -7.525086402893066e-06, -7.063150405883789e-06, -6.601214408874512e-06, -6.139278411865234e-06, -5.677342414855957e-06, -5.21540641784668e-06, -4.753470420837402e-06, -4.291534423828125e-06, -3.829598426818848e-06, -3.3676624298095703e-06, -2.905726432800293e-06, -2.4437904357910156e-06, -1.9818544387817383e-06, -1.519918441772461e-06, -1.0579824447631836e-06, -5.960464477539062e-07, -1.341104507446289e-07, 3.2782554626464844e-07, 7.897615432739258e-07, 1.2516975402832031e-06, 1.7136335372924805e-06, 2.175569534301758e-06, 2.637505531311035e-06, 3.0994415283203125e-06, 3.56137752532959e-06, 4.023313522338867e-06, 4.4852495193481445e-06, 4.947185516357422e-06, 5.409121513366699e-06, 5.8710575103759766e-06, 6.332993507385254e-06, 6.794929504394531e-06, 7.256865501403809e-06, 7.718801498413086e-06, 8.180737495422363e-06, 8.64267349243164e-06, 9.104609489440918e-06, 9.566545486450195e-06, 1.0028481483459473e-05, 1.049041748046875e-05, 1.0952353477478027e-05, 1.1414289474487305e-05, 1.1876225471496582e-05, 1.233816146850586e-05, 1.2800097465515137e-05, 1.3262033462524414e-05, 1.3723969459533691e-05, 1.4185905456542969e-05, 1.4647841453552246e-05, 1.5109777450561523e-05, 1.55717134475708e-05, 1.6033649444580078e-05]}, "gradients/encoder.encoder.layers.13.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 1.0, 0.0, 3.0, 8.0, 1.0, 7.0, 5.0, 10.0, 9.0, 11.0, 11.0, 15.0, 18.0, 16.0, 18.0, 19.0, 29.0, 32.0, 43.0, 94.0, 215.0, 623.0, 1824.0, 593.0, 177.0, 102.0, 43.0, 33.0, 32.0, 17.0, 22.0, 11.0, 11.0, 4.0, 4.0, 8.0, 2.0, 4.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.357929229736328e-06, -9.085983037948608e-06, -8.814036846160889e-06, -8.542090654373169e-06, -8.27014446258545e-06, -7.99819827079773e-06, -7.72625207901001e-06, -7.45430588722229e-06, -7.18235969543457e-06, -6.910413503646851e-06, -6.638467311859131e-06, -6.366521120071411e-06, -6.094574928283691e-06, -5.822628736495972e-06, -5.550682544708252e-06, -5.278736352920532e-06, -5.0067901611328125e-06, -4.734843969345093e-06, -4.462897777557373e-06, -4.190951585769653e-06, -3.919005393981934e-06, -3.647059202194214e-06, -3.375113010406494e-06, -3.1031668186187744e-06, -2.8312206268310547e-06, -2.559274435043335e-06, -2.2873282432556152e-06, -2.0153820514678955e-06, -1.7434358596801758e-06, -1.471489667892456e-06, -1.1995434761047363e-06, -9.275972843170166e-07, -6.556510925292969e-07, -3.8370490074157715e-07, -1.1175870895385742e-07, 1.601874828338623e-07, 4.3213367462158203e-07, 7.040798664093018e-07, 9.760260581970215e-07, 1.2479722499847412e-06, 1.519918441772461e-06, 1.7918646335601807e-06, 2.0638108253479004e-06, 2.33575701713562e-06, 2.60770320892334e-06, 2.8796494007110596e-06, 3.1515955924987793e-06, 3.423541784286499e-06, 3.6954879760742188e-06, 3.9674341678619385e-06, 4.239380359649658e-06, 4.511326551437378e-06, 4.783272743225098e-06, 5.055218935012817e-06, 5.327165126800537e-06, 5.599111318588257e-06, 5.8710575103759766e-06, 6.143003702163696e-06, 6.414949893951416e-06, 6.686896085739136e-06, 6.9588422775268555e-06, 7.230788469314575e-06, 7.502734661102295e-06, 7.774680852890015e-06, 8.046627044677734e-06]}, "gradients/encoder.encoder.layers.13.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 3.0, 2.0, 2.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 3.0, 2.0, 4.0, 6.0, 1.0, 3.0, 1.0, 2.0, 3.0, 5.0, 6.0, 9.0, 8.0, 9.0, 8.0, 13.0, 8.0, 11.0, 16.0, 14.0, 18.0, 23.0, 21.0, 30.0, 34.0, 47.0, 43.0, 61.0, 78.0, 89.0, 92.0, 67.0, 74.0, 47.0, 25.0, 23.0, 21.0, 19.0, 15.0, 7.0, 7.0, 11.0, 6.0, 2.0, 1.0, 2.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 1.0], "bins": [-4.00274911953602e-05, -3.906189522240311e-05, -3.809630288742483e-05, -3.713070691446774e-05, -3.616511094151065e-05, -3.5199518606532365e-05, -3.4233922633575276e-05, -3.3268326660618186e-05, -3.2302734325639904e-05, -3.1337138352682814e-05, -3.0371544198715128e-05, -2.9405950044747442e-05, -2.8440354071790352e-05, -2.7474759917822666e-05, -2.650916576385498e-05, -2.554356979089789e-05, -2.45779738179408e-05, -2.3612379663973115e-05, -2.2646783691016026e-05, -2.168118953704834e-05, -2.071559356409125e-05, -1.9749999410123564e-05, -1.8784405256155878e-05, -1.781880928319879e-05, -1.6853215129231103e-05, -1.5887620975263417e-05, -1.4922025002306327e-05, -1.3956430848338641e-05, -1.2990835784876253e-05, -1.2025240721413866e-05, -1.105964656744618e-05, -1.0094051503983792e-05, -9.128458259510808e-06, -8.16286319604842e-06, -7.197268587333383e-06, -6.231673978618346e-06, -5.266078915155958e-06, -4.300483851693571e-06, -3.3348892429785337e-06, -2.369294634263497e-06, -1.403699570801109e-06, -4.3810473471239675e-07, 5.274901013763156e-07, 1.493084937465028e-06, 2.4586797735537402e-06, 3.424274837016128e-06, 4.389869445731165e-06, 5.355464054446202e-06, 6.3210591179085895e-06, 7.286654181370977e-06, 8.252249244833365e-06, 9.217843398801051e-06, 1.0183438462263439e-05, 1.1149033525725827e-05, 1.2114627679693513e-05, 1.30802227431559e-05, 1.4045817806618288e-05, 1.5011412870080676e-05, 1.5977007933543064e-05, 1.694260208751075e-05, 1.790819806046784e-05, 1.8873792214435525e-05, 1.983938636840321e-05, 2.08049823413603e-05, 2.1770576495327987e-05]}, "gradients/encoder.encoder.layers.13.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 5.0, 6.0, 6.0, 4.0, 7.0, 12.0, 13.0, 6.0, 15.0, 17.0, 21.0, 24.0, 23.0, 30.0, 29.0, 34.0, 33.0, 42.0, 37.0, 32.0, 36.0, 51.0, 48.0, 33.0, 46.0, 41.0, 38.0, 41.0, 35.0, 26.0, 31.0, 32.0, 24.0, 19.0, 19.0, 21.0, 11.0, 13.0, 7.0, 13.0, 3.0, 8.0, 5.0, 4.0, 2.0, 1.0, 1.0, 4.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.4497509002685547e-05, -2.37124040722847e-05, -2.292729914188385e-05, -2.2142194211483002e-05, -2.1357089281082153e-05, -2.0571984350681305e-05, -1.9786879420280457e-05, -1.9001774489879608e-05, -1.821666955947876e-05, -1.743156462907791e-05, -1.6646459698677063e-05, -1.5861354768276215e-05, -1.5076249837875366e-05, -1.4291144907474518e-05, -1.350603997707367e-05, -1.2720935046672821e-05, -1.1935830116271973e-05, -1.1150725185871124e-05, -1.0365620255470276e-05, -9.580515325069427e-06, -8.795410394668579e-06, -8.01030546426773e-06, -7.225200533866882e-06, -6.440095603466034e-06, -5.6549906730651855e-06, -4.869885742664337e-06, -4.084780812263489e-06, -3.2996758818626404e-06, -2.514570951461792e-06, -1.7294660210609436e-06, -9.443610906600952e-07, -1.5925616025924683e-07, 6.258487701416016e-07, 1.41095370054245e-06, 2.1960586309432983e-06, 2.9811635613441467e-06, 3.766268491744995e-06, 4.5513734221458435e-06, 5.336478352546692e-06, 6.12158328294754e-06, 6.906688213348389e-06, 7.691793143749237e-06, 8.476898074150085e-06, 9.262003004550934e-06, 1.0047107934951782e-05, 1.083221286535263e-05, 1.1617317795753479e-05, 1.2402422726154327e-05, 1.3187527656555176e-05, 1.3972632586956024e-05, 1.4757737517356873e-05, 1.554284244775772e-05, 1.632794737815857e-05, 1.7113052308559418e-05, 1.7898157238960266e-05, 1.8683262169361115e-05, 1.9468367099761963e-05, 2.025347203016281e-05, 2.103857696056366e-05, 2.1823681890964508e-05, 2.2608786821365356e-05, 2.3393891751766205e-05, 2.4178996682167053e-05, 2.49641016125679e-05, 2.574920654296875e-05]}, "gradients/encoder.encoder.layers.13.attention.out_proj.weight": {"_type": "histogram", "values": [3.0, 2.0, 4.0, 3.0, 5.0, 8.0, 7.0, 12.0, 23.0, 13.0, 41.0, 39.0, 53.0, 69.0, 101.0, 128.0, 214.0, 280.0, 385.0, 711.0, 1049.0, 1686.0, 2544.0, 4528.0, 8021.0, 14982.0, 27134.0, 63012.0, 169479.0, 495166.0, 139448.0, 59614.0, 27447.0, 12991.0, 7749.0, 4375.0, 2638.0, 1538.0, 1024.0, 686.0, 408.0, 292.0, 213.0, 138.0, 95.0, 56.0, 42.0, 27.0, 23.0, 19.0, 9.0, 11.0, 7.0, 5.0, 3.0, 7.0, 1.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-2.586841583251953e-05, -2.4990178644657135e-05, -2.411194145679474e-05, -2.3233704268932343e-05, -2.2355467081069946e-05, -2.147722989320755e-05, -2.0598992705345154e-05, -1.9720755517482758e-05, -1.884251832962036e-05, -1.7964281141757965e-05, -1.708604395389557e-05, -1.6207806766033173e-05, -1.5329569578170776e-05, -1.445133239030838e-05, -1.3573095202445984e-05, -1.2694858014583588e-05, -1.1816620826721191e-05, -1.0938383638858795e-05, -1.0060146450996399e-05, -9.181909263134003e-06, -8.303672075271606e-06, -7.42543488740921e-06, -6.547197699546814e-06, -5.668960511684418e-06, -4.7907233238220215e-06, -3.912486135959625e-06, -3.034248948097229e-06, -2.1560117602348328e-06, -1.2777745723724365e-06, -3.995373845100403e-07, 4.78699803352356e-07, 1.3569369912147522e-06, 2.2351741790771484e-06, 3.1134113669395447e-06, 3.991648554801941e-06, 4.869885742664337e-06, 5.748122930526733e-06, 6.62636011838913e-06, 7.504597306251526e-06, 8.382834494113922e-06, 9.261071681976318e-06, 1.0139308869838715e-05, 1.101754605770111e-05, 1.1895783245563507e-05, 1.2774020433425903e-05, 1.36522576212883e-05, 1.4530494809150696e-05, 1.5408731997013092e-05, 1.6286969184875488e-05, 1.7165206372737885e-05, 1.804344356060028e-05, 1.8921680748462677e-05, 1.9799917936325073e-05, 2.067815512418747e-05, 2.1556392312049866e-05, 2.2434629499912262e-05, 2.3312866687774658e-05, 2.4191103875637054e-05, 2.506934106349945e-05, 2.5947578251361847e-05, 2.6825815439224243e-05, 2.770405262708664e-05, 2.8582289814949036e-05, 2.9460527002811432e-05, 3.0338764190673828e-05]}, "gradients/encoder.encoder.layers.13.attention.out_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 1.0, 3.0, 3.0, 3.0, 8.0, 10.0, 9.0, 16.0, 11.0, 24.0, 20.0, 43.0, 40.0, 70.0, 40.0, 78.0, 60.0, 108.0, 64.0, 73.0, 51.0, 63.0, 48.0, 30.0, 27.0, 21.0, 27.0, 14.0, 13.0, 5.0, 11.0, 3.0, 4.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.291534423828125e-06, -4.1406601667404175e-06, -3.98978590965271e-06, -3.8389116525650024e-06, -3.688037395477295e-06, -3.5371631383895874e-06, -3.38628888130188e-06, -3.2354146242141724e-06, -3.084540367126465e-06, -2.9336661100387573e-06, -2.78279185295105e-06, -2.6319175958633423e-06, -2.4810433387756348e-06, -2.3301690816879272e-06, -2.1792948246002197e-06, -2.028420567512512e-06, -1.8775463104248047e-06, -1.7266720533370972e-06, -1.5757977962493896e-06, -1.4249235391616821e-06, -1.2740492820739746e-06, -1.123175024986267e-06, -9.723007678985596e-07, -8.21426510810852e-07, -6.705522537231445e-07, -5.19677996635437e-07, -3.688037395477295e-07, -2.1792948246002197e-07, -6.705522537231445e-08, 8.381903171539307e-08, 2.3469328880310059e-07, 3.855675458908081e-07, 5.364418029785156e-07, 6.873160600662231e-07, 8.381903171539307e-07, 9.890645742416382e-07, 1.1399388313293457e-06, 1.2908130884170532e-06, 1.4416873455047607e-06, 1.5925616025924683e-06, 1.7434358596801758e-06, 1.8943101167678833e-06, 2.045184373855591e-06, 2.1960586309432983e-06, 2.346932888031006e-06, 2.4978071451187134e-06, 2.648681402206421e-06, 2.7995556592941284e-06, 2.950429916381836e-06, 3.1013041734695435e-06, 3.252178430557251e-06, 3.4030526876449585e-06, 3.553926944732666e-06, 3.7048012018203735e-06, 3.855675458908081e-06, 4.0065497159957886e-06, 4.157423973083496e-06, 4.308298230171204e-06, 4.459172487258911e-06, 4.610046744346619e-06, 4.760921001434326e-06, 4.911795258522034e-06, 5.062669515609741e-06, 5.213543772697449e-06, 5.364418029785156e-06]}, "gradients/encoder.encoder.layers.13.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 3.0, 1.0, 5.0, 10.0, 10.0, 12.0, 24.0, 30.0, 56.0, 79.0, 106.0, 140.0, 255.0, 393.0, 650.0, 944.0, 1735.0, 2528.0, 4650.0, 6936.0, 13922.0, 25988.0, 41705.0, 100904.0, 268418.0, 378171.0, 92253.0, 50315.0, 23278.0, 15112.0, 7492.0, 5050.0, 2609.0, 1877.0, 1011.0, 682.0, 425.0, 268.0, 168.0, 105.0, 79.0, 51.0, 37.0, 29.0, 10.0, 14.0, 9.0, 5.0, 2.0, 3.0, 3.0, 1.0, 1.0], "bins": [-1.615285873413086e-05, -1.5704892575740814e-05, -1.5256926417350769e-05, -1.4808960258960724e-05, -1.4360994100570679e-05, -1.3913027942180634e-05, -1.3465061783790588e-05, -1.3017095625400543e-05, -1.2569129467010498e-05, -1.2121163308620453e-05, -1.1673197150230408e-05, -1.1225230991840363e-05, -1.0777264833450317e-05, -1.0329298675060272e-05, -9.881332516670227e-06, -9.433366358280182e-06, -8.985400199890137e-06, -8.537434041500092e-06, -8.089467883110046e-06, -7.641501724720001e-06, -7.193535566329956e-06, -6.745569407939911e-06, -6.297603249549866e-06, -5.8496370911598206e-06, -5.401670932769775e-06, -4.95370477437973e-06, -4.505738615989685e-06, -4.05777245759964e-06, -3.6098062992095947e-06, -3.1618401408195496e-06, -2.7138739824295044e-06, -2.2659078240394592e-06, -1.817941665649414e-06, -1.369975507259369e-06, -9.220093488693237e-07, -4.7404319047927856e-07, -2.60770320892334e-08, 4.2188912630081177e-07, 8.698552846908569e-07, 1.317821443080902e-06, 1.7657876014709473e-06, 2.2137537598609924e-06, 2.6617199182510376e-06, 3.1096860766410828e-06, 3.557652235031128e-06, 4.005618393421173e-06, 4.453584551811218e-06, 4.9015507102012634e-06, 5.349516868591309e-06, 5.797483026981354e-06, 6.245449185371399e-06, 6.693415343761444e-06, 7.141381502151489e-06, 7.5893476605415344e-06, 8.03731381893158e-06, 8.485279977321625e-06, 8.93324613571167e-06, 9.381212294101715e-06, 9.82917845249176e-06, 1.0277144610881805e-05, 1.072511076927185e-05, 1.1173076927661896e-05, 1.1621043086051941e-05, 1.2069009244441986e-05, 1.2516975402832031e-05]}, "gradients/encoder.encoder.layers.13.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 2.0, 2.0, 2.0, 5.0, 7.0, 7.0, 6.0, 7.0, 15.0, 11.0, 17.0, 25.0, 23.0, 31.0, 39.0, 38.0, 32.0, 42.0, 52.0, 52.0, 41.0, 62.0, 55.0, 51.0, 58.0, 41.0, 28.0, 28.0, 31.0, 34.0, 28.0, 30.0, 32.0, 12.0, 14.0, 12.0, 6.0, 7.0, 4.0, 12.0, 4.0, 1.0, 3.0, 4.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.867813110351562e-06, -7.553026080131531e-06, -7.238239049911499e-06, -6.923452019691467e-06, -6.6086649894714355e-06, -6.293877959251404e-06, -5.979090929031372e-06, -5.66430389881134e-06, -5.349516868591309e-06, -5.034729838371277e-06, -4.719942808151245e-06, -4.405155777931213e-06, -4.090368747711182e-06, -3.77558171749115e-06, -3.460794687271118e-06, -3.1460076570510864e-06, -2.8312206268310547e-06, -2.516433596611023e-06, -2.201646566390991e-06, -1.8868595361709595e-06, -1.5720725059509277e-06, -1.257285475730896e-06, -9.424984455108643e-07, -6.277114152908325e-07, -3.129243850708008e-07, 1.862645149230957e-09, 3.166496753692627e-07, 6.314367055892944e-07, 9.462237358093262e-07, 1.261010766029358e-06, 1.5757977962493896e-06, 1.8905848264694214e-06, 2.205371856689453e-06, 2.520158886909485e-06, 2.8349459171295166e-06, 3.1497329473495483e-06, 3.46451997756958e-06, 3.779307007789612e-06, 4.0940940380096436e-06, 4.408881068229675e-06, 4.723668098449707e-06, 5.038455128669739e-06, 5.3532421588897705e-06, 5.668029189109802e-06, 5.982816219329834e-06, 6.297603249549866e-06, 6.6123902797698975e-06, 6.927177309989929e-06, 7.241964340209961e-06, 7.556751370429993e-06, 7.871538400650024e-06, 8.186325430870056e-06, 8.501112461090088e-06, 8.81589949131012e-06, 9.130686521530151e-06, 9.445473551750183e-06, 9.760260581970215e-06, 1.0075047612190247e-05, 1.0389834642410278e-05, 1.070462167263031e-05, 1.1019408702850342e-05, 1.1334195733070374e-05, 1.1648982763290405e-05, 1.1963769793510437e-05, 1.2278556823730469e-05]}, "gradients/encoder.encoder.layers.13.attention.k_proj.weight": {"_type": "histogram", "values": [3.0, 1.0, 2.0, 3.0, 5.0, 6.0, 7.0, 12.0, 14.0, 21.0, 31.0, 50.0, 38.0, 107.0, 121.0, 136.0, 281.0, 462.0, 655.0, 714.0, 1504.0, 2407.0, 2683.0, 5890.0, 10675.0, 14425.0, 37399.0, 100664.0, 513112.0, 243981.0, 58093.0, 20626.0, 14815.0, 7816.0, 4408.0, 2136.0, 1959.0, 1158.0, 568.0, 540.0, 334.0, 181.0, 175.0, 114.0, 58.0, 63.0, 42.0, 25.0, 20.0, 10.0, 9.0, 0.0, 2.0, 6.0, 0.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-6.318092346191406e-06, -6.098300218582153e-06, -5.8785080909729e-06, -5.6587159633636475e-06, -5.4389238357543945e-06, -5.219131708145142e-06, -4.999339580535889e-06, -4.779547452926636e-06, -4.559755325317383e-06, -4.33996319770813e-06, -4.120171070098877e-06, -3.900378942489624e-06, -3.680586814880371e-06, -3.460794687271118e-06, -3.2410025596618652e-06, -3.0212104320526123e-06, -2.8014183044433594e-06, -2.5816261768341064e-06, -2.3618340492248535e-06, -2.1420419216156006e-06, -1.9222497940063477e-06, -1.7024576663970947e-06, -1.4826655387878418e-06, -1.2628734111785889e-06, -1.043081283569336e-06, -8.23289155960083e-07, -6.034970283508301e-07, -3.8370490074157715e-07, -1.6391277313232422e-07, 5.587935447692871e-08, 2.7567148208618164e-07, 4.954636096954346e-07, 7.152557373046875e-07, 9.350478649139404e-07, 1.1548399925231934e-06, 1.3746321201324463e-06, 1.5944242477416992e-06, 1.8142163753509521e-06, 2.034008502960205e-06, 2.253800630569458e-06, 2.473592758178711e-06, 2.693384885787964e-06, 2.913177013397217e-06, 3.1329691410064697e-06, 3.3527612686157227e-06, 3.5725533962249756e-06, 3.7923455238342285e-06, 4.0121376514434814e-06, 4.231929779052734e-06, 4.451721906661987e-06, 4.67151403427124e-06, 4.891306161880493e-06, 5.111098289489746e-06, 5.330890417098999e-06, 5.550682544708252e-06, 5.770474672317505e-06, 5.990266799926758e-06, 6.210058927536011e-06, 6.429851055145264e-06, 6.649643182754517e-06, 6.8694353103637695e-06, 7.0892274379730225e-06, 7.309019565582275e-06, 7.528811693191528e-06, 7.748603820800781e-06]}, "gradients/encoder.encoder.layers.13.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 2.0, 3.0, 3.0, 8.0, 6.0, 4.0, 2.0, 4.0, 12.0, 10.0, 14.0, 18.0, 26.0, 32.0, 28.0, 18.0, 41.0, 52.0, 101.0, 195.0, 97.0, 64.0, 64.0, 32.0, 34.0, 24.0, 27.0, 18.0, 15.0, 6.0, 13.0, 9.0, 3.0, 4.0, 2.0, 8.0, 5.0, 3.0, 0.0, 2.0, 2.0, 0.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-5.900859832763672e-06, -5.735084414482117e-06, -5.5693089962005615e-06, -5.403533577919006e-06, -5.237758159637451e-06, -5.071982741355896e-06, -4.906207323074341e-06, -4.740431904792786e-06, -4.5746564865112305e-06, -4.408881068229675e-06, -4.24310564994812e-06, -4.077330231666565e-06, -3.91155481338501e-06, -3.7457793951034546e-06, -3.5800039768218994e-06, -3.4142285585403442e-06, -3.248453140258789e-06, -3.082677721977234e-06, -2.9169023036956787e-06, -2.7511268854141235e-06, -2.5853514671325684e-06, -2.419576048851013e-06, -2.253800630569458e-06, -2.088025212287903e-06, -1.9222497940063477e-06, -1.7564743757247925e-06, -1.5906989574432373e-06, -1.4249235391616821e-06, -1.259148120880127e-06, -1.0933727025985718e-06, -9.275972843170166e-07, -7.618218660354614e-07, -5.960464477539062e-07, -4.302710294723511e-07, -2.644956111907959e-07, -9.872019290924072e-08, 6.705522537231445e-08, 2.3283064365386963e-07, 3.986060619354248e-07, 5.6438148021698e-07, 7.301568984985352e-07, 8.959323167800903e-07, 1.0617077350616455e-06, 1.2274831533432007e-06, 1.3932585716247559e-06, 1.559033989906311e-06, 1.7248094081878662e-06, 1.8905848264694214e-06, 2.0563602447509766e-06, 2.2221356630325317e-06, 2.387911081314087e-06, 2.553686499595642e-06, 2.7194619178771973e-06, 2.8852373361587524e-06, 3.0510127544403076e-06, 3.216788172721863e-06, 3.382563591003418e-06, 3.548339009284973e-06, 3.7141144275665283e-06, 3.8798898458480835e-06, 4.045665264129639e-06, 4.211440682411194e-06, 4.377216100692749e-06, 4.542991518974304e-06, 4.708766937255859e-06]}, "gradients/encoder.encoder.layers.13.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 2.0, 2.0, 10.0, 3.0, 10.0, 5.0, 15.0, 11.0, 25.0, 14.0, 42.0, 57.0, 75.0, 74.0, 172.0, 232.0, 404.0, 339.0, 695.0, 1047.0, 1663.0, 1508.0, 3235.0, 5360.0, 8725.0, 8888.0, 21074.0, 40130.0, 89158.0, 169101.0, 513552.0, 89051.0, 40301.0, 15342.0, 14493.0, 8731.0, 5343.0, 2322.0, 2530.0, 1635.0, 1047.0, 440.0, 536.0, 367.0, 269.0, 111.0, 124.0, 95.0, 60.0, 30.0, 42.0, 26.0, 16.0, 5.0, 11.0, 4.0, 8.0, 1.0], "bins": [-5.900859832763672e-06, -5.736947059631348e-06, -5.5730342864990234e-06, -5.409121513366699e-06, -5.245208740234375e-06, -5.081295967102051e-06, -4.9173831939697266e-06, -4.753470420837402e-06, -4.589557647705078e-06, -4.425644874572754e-06, -4.26173210144043e-06, -4.0978193283081055e-06, -3.933906555175781e-06, -3.769993782043457e-06, -3.606081008911133e-06, -3.4421682357788086e-06, -3.2782554626464844e-06, -3.11434268951416e-06, -2.950429916381836e-06, -2.7865171432495117e-06, -2.6226043701171875e-06, -2.4586915969848633e-06, -2.294778823852539e-06, -2.130866050720215e-06, -1.9669532775878906e-06, -1.8030405044555664e-06, -1.6391277313232422e-06, -1.475214958190918e-06, -1.3113021850585938e-06, -1.1473894119262695e-06, -9.834766387939453e-07, -8.195638656616211e-07, -6.556510925292969e-07, -4.917383193969727e-07, -3.2782554626464844e-07, -1.6391277313232422e-07, 0.0, 1.6391277313232422e-07, 3.2782554626464844e-07, 4.917383193969727e-07, 6.556510925292969e-07, 8.195638656616211e-07, 9.834766387939453e-07, 1.1473894119262695e-06, 1.3113021850585938e-06, 1.475214958190918e-06, 1.6391277313232422e-06, 1.8030405044555664e-06, 1.9669532775878906e-06, 2.130866050720215e-06, 2.294778823852539e-06, 2.4586915969848633e-06, 2.6226043701171875e-06, 2.7865171432495117e-06, 2.950429916381836e-06, 3.11434268951416e-06, 3.2782554626464844e-06, 3.4421682357788086e-06, 3.606081008911133e-06, 3.769993782043457e-06, 3.933906555175781e-06, 4.0978193283081055e-06, 4.26173210144043e-06, 4.425644874572754e-06, 4.589557647705078e-06]}, "gradients/encoder.encoder.layers.13.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 1.0, 3.0, 1.0, 3.0, 5.0, 4.0, 4.0, 3.0, 4.0, 7.0, 8.0, 12.0, 16.0, 8.0, 15.0, 13.0, 16.0, 20.0, 51.0, 28.0, 26.0, 40.0, 41.0, 50.0, 155.0, 117.0, 49.0, 29.0, 38.0, 43.0, 24.0, 22.0, 23.0, 11.0, 20.0, 13.0, 14.0, 18.0, 16.0, 14.0, 3.0, 2.0, 6.0, 2.0, 3.0, 4.0, 3.0, 0.0, 2.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.3974647521972656e-06, -3.275461494922638e-06, -3.1534582376480103e-06, -3.0314549803733826e-06, -2.909451723098755e-06, -2.787448465824127e-06, -2.6654452085494995e-06, -2.543441951274872e-06, -2.421438694000244e-06, -2.2994354367256165e-06, -2.1774321794509888e-06, -2.055428922176361e-06, -1.9334256649017334e-06, -1.8114224076271057e-06, -1.689419150352478e-06, -1.5674158930778503e-06, -1.4454126358032227e-06, -1.323409378528595e-06, -1.2014061212539673e-06, -1.0794028639793396e-06, -9.57399606704712e-07, -8.353963494300842e-07, -7.133930921554565e-07, -5.913898348808289e-07, -4.6938657760620117e-07, -3.473833203315735e-07, -2.253800630569458e-07, -1.0337680578231812e-07, 1.862645149230957e-08, 1.4062970876693726e-07, 2.6263296604156494e-07, 3.8463622331619263e-07, 5.066394805908203e-07, 6.28642737865448e-07, 7.506459951400757e-07, 8.726492524147034e-07, 9.94652509689331e-07, 1.1166557669639587e-06, 1.2386590242385864e-06, 1.3606622815132141e-06, 1.4826655387878418e-06, 1.6046687960624695e-06, 1.7266720533370972e-06, 1.8486753106117249e-06, 1.9706785678863525e-06, 2.0926818251609802e-06, 2.214685082435608e-06, 2.3366883397102356e-06, 2.4586915969848633e-06, 2.580694854259491e-06, 2.7026981115341187e-06, 2.8247013688087463e-06, 2.946704626083374e-06, 3.0687078833580017e-06, 3.1907111406326294e-06, 3.312714397907257e-06, 3.4347176551818848e-06, 3.5567209124565125e-06, 3.67872416973114e-06, 3.800727427005768e-06, 3.9227306842803955e-06, 4.044733941555023e-06, 4.166737198829651e-06, 4.2887404561042786e-06, 4.410743713378906e-06]}, "gradients/encoder.encoder.layers.13.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 4.0, 3.0, 6.0, 5.0, 6.0, 10.0, 11.0, 24.0, 21.0, 24.0, 37.0, 90.0, 165.0, 261.0, 115.0, 72.0, 52.0, 36.0, 28.0, 15.0, 9.0, 4.0, 4.0, 7.0, 3.0, 1.0, 0.0, 3.0, 3.0], "bins": [-0.0001272186345886439, -0.0001245884341187775, -0.00012195823364891112, -0.00011932803317904472, -0.00011669783998513594, -0.00011406763951526955, -0.00011143743904540315, -0.00010880723857553676, -0.00010617704538162798, -0.00010354684491176158, -0.00010091664444189519, -9.828644397202879e-05, -9.565625077812001e-05, -9.302605030825362e-05, -9.039584983838722e-05, -8.776564936852083e-05, -8.513544889865443e-05, -8.250524842878804e-05, -7.987504795892164e-05, -7.724485476501286e-05, -7.461465429514647e-05, -7.198445382528007e-05, -6.935425335541368e-05, -6.672405288554728e-05, -6.409385241568089e-05, -6.146365194581449e-05, -5.88334551139269e-05, -5.620325464406051e-05, -5.357305781217292e-05, -5.0942857342306525e-05, -4.831265687244013e-05, -4.5682456402573735e-05, -4.305227048462257e-05, -4.042207001475617e-05, -3.7791873182868585e-05, -3.516167271300219e-05, -3.25314758811146e-05, -2.9901275411248207e-05, -2.7271074941381812e-05, -2.464087629050482e-05, -2.201067763962783e-05, -1.9380478988750838e-05, -1.6750280337873846e-05, -1.4120079868007451e-05, -1.148988121713046e-05, -8.859682566253468e-06, -6.229482096387073e-06, -3.599283445510082e-06, -9.690847946330905e-07, 1.6611143109912518e-06, 4.291313416615594e-06, 6.921512976987287e-06, 9.551711627864279e-06, 1.218191027874127e-05, 1.4812110748607665e-05, 1.7442309399484657e-05, 2.0072508050361648e-05, 2.270270670123864e-05, 2.533290535211563e-05, 2.7963105821982026e-05, 3.059330629184842e-05, 3.322350312373601e-05, 3.5853703593602404e-05, 3.848390042548999e-05, 4.111410089535639e-05]}, "gradients/encoder.encoder.layers.13.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 4.0, 2.0, 6.0, 8.0, 7.0, 8.0, 13.0, 21.0, 12.0, 19.0, 17.0, 29.0, 31.0, 35.0, 34.0, 40.0, 43.0, 36.0, 60.0, 38.0, 40.0, 44.0, 44.0, 36.0, 59.0, 42.0, 30.0, 39.0, 29.0, 23.0, 20.0, 23.0, 20.0, 21.0, 16.0, 15.0, 11.0, 10.0, 11.0, 3.0, 5.0, 3.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.30805778503418e-05, -3.1949952244758606e-05, -3.0819326639175415e-05, -2.9688701033592224e-05, -2.8558075428009033e-05, -2.7427449822425842e-05, -2.629682421684265e-05, -2.516619861125946e-05, -2.403557300567627e-05, -2.290494740009308e-05, -2.1774321794509888e-05, -2.0643696188926697e-05, -1.9513070583343506e-05, -1.8382444977760315e-05, -1.7251819372177124e-05, -1.6121193766593933e-05, -1.4990568161010742e-05, -1.3859942555427551e-05, -1.272931694984436e-05, -1.159869134426117e-05, -1.0468065738677979e-05, -9.337440133094788e-06, -8.206814527511597e-06, -7.076188921928406e-06, -5.945563316345215e-06, -4.814937710762024e-06, -3.684312105178833e-06, -2.553686499595642e-06, -1.4230608940124512e-06, -2.9243528842926025e-07, 8.381903171539307e-07, 1.9688159227371216e-06, 3.0994415283203125e-06, 4.230067133903503e-06, 5.360692739486694e-06, 6.491318345069885e-06, 7.621943950653076e-06, 8.752569556236267e-06, 9.883195161819458e-06, 1.1013820767402649e-05, 1.214444637298584e-05, 1.327507197856903e-05, 1.4405697584152222e-05, 1.5536323189735413e-05, 1.6666948795318604e-05, 1.7797574400901794e-05, 1.8928200006484985e-05, 2.0058825612068176e-05, 2.1189451217651367e-05, 2.2320076823234558e-05, 2.345070242881775e-05, 2.458132803440094e-05, 2.571195363998413e-05, 2.6842579245567322e-05, 2.7973204851150513e-05, 2.9103830456733704e-05, 3.0234456062316895e-05, 3.1365081667900085e-05, 3.2495707273483276e-05, 3.362633287906647e-05, 3.475695848464966e-05, 3.588758409023285e-05, 3.701820969581604e-05, 3.814883530139923e-05, 3.927946090698242e-05]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.weight": {"_type": "histogram", "values": [2.0, 5.0, 2.0, 2.0, 6.0, 2.0, 3.0, 8.0, 7.0, 13.0, 21.0, 25.0, 35.0, 59.0, 65.0, 71.0, 89.0, 148.0, 198.0, 302.0, 408.0, 570.0, 819.0, 1264.0, 1963.0, 3185.0, 5105.0, 8855.0, 16335.0, 34960.0, 269941.0, 3761700.0, 41608.0, 19548.0, 10979.0, 5826.0, 3612.0, 2264.0, 1406.0, 937.0, 579.0, 435.0, 274.0, 195.0, 118.0, 92.0, 65.0, 39.0, 39.0, 31.0, 29.0, 11.0, 10.0, 11.0, 9.0, 2.0, 4.0, 1.0, 1.0, 2.0, 3.0, 2.0, 3.0, 1.0], "bins": [-3.93986701965332e-05, -3.813300281763077e-05, -3.686733543872833e-05, -3.56016680598259e-05, -3.433600068092346e-05, -3.3070333302021027e-05, -3.180466592311859e-05, -3.0538998544216156e-05, -2.927333116531372e-05, -2.8007663786411285e-05, -2.674199640750885e-05, -2.5476329028606415e-05, -2.421066164970398e-05, -2.2944994270801544e-05, -2.167932689189911e-05, -2.0413659512996674e-05, -1.9147992134094238e-05, -1.7882324755191803e-05, -1.6616657376289368e-05, -1.5350989997386932e-05, -1.4085322618484497e-05, -1.2819655239582062e-05, -1.1553987860679626e-05, -1.0288320481777191e-05, -9.022653102874756e-06, -7.75698572397232e-06, -6.491318345069885e-06, -5.22565096616745e-06, -3.959983587265015e-06, -2.6943162083625793e-06, -1.428648829460144e-06, -1.6298145055770874e-07, 1.1026859283447266e-06, 2.368353307247162e-06, 3.634020686149597e-06, 4.8996880650520325e-06, 6.165355443954468e-06, 7.431022822856903e-06, 8.696690201759338e-06, 9.962357580661774e-06, 1.1228024959564209e-05, 1.2493692338466644e-05, 1.375935971736908e-05, 1.5025027096271515e-05, 1.629069447517395e-05, 1.7556361854076385e-05, 1.882202923297882e-05, 2.0087696611881256e-05, 2.135336399078369e-05, 2.2619031369686127e-05, 2.3884698748588562e-05, 2.5150366127490997e-05, 2.6416033506393433e-05, 2.7681700885295868e-05, 2.8947368264198303e-05, 3.021303564310074e-05, 3.1478703022003174e-05, 3.274437040090561e-05, 3.4010037779808044e-05, 3.527570515871048e-05, 3.6541372537612915e-05, 3.780703991651535e-05, 3.9072707295417786e-05, 4.033837467432022e-05, 4.1604042053222656e-05]}, "gradients/encoder.encoder.layers.12.feed_forward.output_dense.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 1.0, 5.0, 6.0, 2.0, 3.0, 6.0, 12.0, 12.0, 9.0, 16.0, 18.0, 29.0, 31.0, 31.0, 32.0, 42.0, 57.0, 52.0, 64.0, 66.0, 45.0, 90.0, 59.0, 59.0, 42.0, 36.0, 29.0, 14.0, 31.0, 24.0, 22.0, 6.0, 10.0, 10.0, 7.0, 10.0, 6.0, 3.0, 3.0, 5.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-3.814697265625e-06, -3.691762685775757e-06, -3.5688281059265137e-06, -3.4458935260772705e-06, -3.3229589462280273e-06, -3.200024366378784e-06, -3.077089786529541e-06, -2.954155206680298e-06, -2.8312206268310547e-06, -2.7082860469818115e-06, -2.5853514671325684e-06, -2.462416887283325e-06, -2.339482307434082e-06, -2.216547727584839e-06, -2.0936131477355957e-06, -1.9706785678863525e-06, -1.8477439880371094e-06, -1.7248094081878662e-06, -1.601874828338623e-06, -1.4789402484893799e-06, -1.3560056686401367e-06, -1.2330710887908936e-06, -1.1101365089416504e-06, -9.872019290924072e-07, -8.642673492431641e-07, -7.413327693939209e-07, -6.183981895446777e-07, -4.954636096954346e-07, -3.725290298461914e-07, -2.4959444999694824e-07, -1.2665987014770508e-07, -3.725290298461914e-09, 1.1920928955078125e-07, 2.421438694000244e-07, 3.650784492492676e-07, 4.880130290985107e-07, 6.109476089477539e-07, 7.338821887969971e-07, 8.568167686462402e-07, 9.797513484954834e-07, 1.1026859283447266e-06, 1.2256205081939697e-06, 1.3485550880432129e-06, 1.471489667892456e-06, 1.5944242477416992e-06, 1.7173588275909424e-06, 1.8402934074401855e-06, 1.9632279872894287e-06, 2.086162567138672e-06, 2.209097146987915e-06, 2.332031726837158e-06, 2.4549663066864014e-06, 2.5779008865356445e-06, 2.7008354663848877e-06, 2.823770046234131e-06, 2.946704626083374e-06, 3.069639205932617e-06, 3.1925737857818604e-06, 3.3155083656311035e-06, 3.4384429454803467e-06, 3.56137752532959e-06, 3.684312105178833e-06, 3.807246685028076e-06, 3.930181264877319e-06, 4.0531158447265625e-06]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 2.0, 3.0, 4.0, 2.0, 8.0, 17.0, 14.0, 23.0, 25.0, 38.0, 57.0, 102.0, 149.0, 281.0, 626.0, 969.0, 2205.0, 4317.0, 9012.0, 23134.0, 68801.0, 3442464.0, 565077.0, 45429.0, 16534.0, 7702.0, 3433.0, 1898.0, 858.0, 423.0, 250.0, 148.0, 81.0, 70.0, 27.0, 27.0, 22.0, 10.0, 10.0, 9.0, 10.0, 5.0, 6.0, 1.0, 6.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.6166439056396484e-05, -2.537015825510025e-05, -2.4573877453804016e-05, -2.3777596652507782e-05, -2.2981315851211548e-05, -2.2185035049915314e-05, -2.138875424861908e-05, -2.0592473447322845e-05, -1.979619264602661e-05, -1.8999911844730377e-05, -1.8203631043434143e-05, -1.740735024213791e-05, -1.6611069440841675e-05, -1.581478863954544e-05, -1.5018507838249207e-05, -1.4222227036952972e-05, -1.3425946235656738e-05, -1.2629665434360504e-05, -1.183338463306427e-05, -1.1037103831768036e-05, -1.0240823030471802e-05, -9.444542229175568e-06, -8.648261427879333e-06, -7.8519806265831e-06, -7.055699825286865e-06, -6.259419023990631e-06, -5.463138222694397e-06, -4.666857421398163e-06, -3.870576620101929e-06, -3.0742958188056946e-06, -2.2780150175094604e-06, -1.4817342162132263e-06, -6.854534149169922e-07, 1.1082738637924194e-07, 9.071081876754761e-07, 1.7033889889717102e-06, 2.4996697902679443e-06, 3.2959505915641785e-06, 4.092231392860413e-06, 4.888512194156647e-06, 5.684792995452881e-06, 6.481073796749115e-06, 7.277354598045349e-06, 8.073635399341583e-06, 8.869916200637817e-06, 9.666197001934052e-06, 1.0462477803230286e-05, 1.125875860452652e-05, 1.2055039405822754e-05, 1.2851320207118988e-05, 1.3647601008415222e-05, 1.4443881809711456e-05, 1.524016261100769e-05, 1.6036443412303925e-05, 1.683272421360016e-05, 1.7629005014896393e-05, 1.8425285816192627e-05, 1.922156661748886e-05, 2.0017847418785095e-05, 2.081412822008133e-05, 2.1610409021377563e-05, 2.2406689822673798e-05, 2.3202970623970032e-05, 2.3999251425266266e-05, 2.47955322265625e-05]}, "gradients/encoder.encoder.layers.12.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 5.0, 4.0, 4.0, 8.0, 6.0, 13.0, 21.0, 13.0, 19.0, 19.0, 29.0, 36.0, 73.0, 175.0, 926.0, 2185.0, 303.0, 81.0, 33.0, 36.0, 26.0, 13.0, 9.0, 9.0, 13.0, 9.0, 4.0, 8.0, 2.0, 2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.357929229736328e-06, -8.95187258720398e-06, -8.545815944671631e-06, -8.139759302139282e-06, -7.733702659606934e-06, -7.327646017074585e-06, -6.921589374542236e-06, -6.515532732009888e-06, -6.109476089477539e-06, -5.7034194469451904e-06, -5.297362804412842e-06, -4.891306161880493e-06, -4.4852495193481445e-06, -4.079192876815796e-06, -3.6731362342834473e-06, -3.2670795917510986e-06, -2.86102294921875e-06, -2.4549663066864014e-06, -2.0489096641540527e-06, -1.642853021621704e-06, -1.2367963790893555e-06, -8.307397365570068e-07, -4.246830940246582e-07, -1.862645149230957e-08, 3.8743019104003906e-07, 7.934868335723877e-07, 1.1995434761047363e-06, 1.605600118637085e-06, 2.0116567611694336e-06, 2.4177134037017822e-06, 2.823770046234131e-06, 3.2298266887664795e-06, 3.635883331298828e-06, 4.041939973831177e-06, 4.447996616363525e-06, 4.854053258895874e-06, 5.260109901428223e-06, 5.666166543960571e-06, 6.07222318649292e-06, 6.4782798290252686e-06, 6.884336471557617e-06, 7.290393114089966e-06, 7.696449756622314e-06, 8.102506399154663e-06, 8.508563041687012e-06, 8.91461968421936e-06, 9.320676326751709e-06, 9.726732969284058e-06, 1.0132789611816406e-05, 1.0538846254348755e-05, 1.0944902896881104e-05, 1.1350959539413452e-05, 1.17570161819458e-05, 1.216307282447815e-05, 1.2569129467010498e-05, 1.2975186109542847e-05, 1.3381242752075195e-05, 1.3787299394607544e-05, 1.4193356037139893e-05, 1.4599412679672241e-05, 1.500546932220459e-05, 1.541152596473694e-05, 1.5817582607269287e-05, 1.6223639249801636e-05, 1.6629695892333984e-05]}, "gradients/encoder.encoder.layers.12.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 5.0, 4.0, 1.0, 2.0, 4.0, 5.0, 7.0, 10.0, 4.0, 13.0, 18.0, 14.0, 25.0, 23.0, 20.0, 37.0, 47.0, 50.0, 66.0, 113.0, 130.0, 110.0, 97.0, 58.0, 40.0, 28.0, 21.0, 16.0, 12.0, 11.0, 6.0, 4.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 0.0, 2.0], "bins": [-4.8842270189197734e-05, -4.767915379488841e-05, -4.651604103855789e-05, -4.535292464424856e-05, -4.418980824993923e-05, -4.302669549360871e-05, -4.1863579099299386e-05, -4.070046270499006e-05, -3.953734994865954e-05, -3.837423355435021e-05, -3.721112079801969e-05, -3.6048004403710365e-05, -3.4884891647379845e-05, -3.372177525307052e-05, -3.255865885876119e-05, -3.139554610243067e-05, -3.0232429708121344e-05, -2.906931513280142e-05, -2.7906200557481498e-05, -2.674308416317217e-05, -2.5579969587852247e-05, -2.4416855012532324e-05, -2.3253738618222997e-05, -2.2090624042903073e-05, -2.092750946758315e-05, -1.9764394892263226e-05, -1.8601280316943303e-05, -1.7438163922633976e-05, -1.6275049347314052e-05, -1.5111934771994129e-05, -1.3948819287179504e-05, -1.2785703802364878e-05, -1.1622591046034358e-05, -1.0459476470714435e-05, -9.29636098589981e-06, -8.133245501085185e-06, -6.970130925765261e-06, -5.807015895697987e-06, -4.643900865630712e-06, -3.480785380816087e-06, -2.3176708054961637e-06, -1.1545557754288893e-06, 8.559254638385028e-09, 1.1716742847056594e-06, 2.3347893147729337e-06, 3.497904344840208e-06, 4.661019374907482e-06, 5.824134859722108e-06, 6.987249435042031e-06, 8.150364010361955e-06, 9.31347949517658e-06, 1.0476594979991205e-05, 1.1639709555311128e-05, 1.2802824130631052e-05, 1.3965939615445677e-05, 1.5129055100260302e-05, 1.6292169675580226e-05, 1.745528425090015e-05, 1.8618400645209476e-05, 1.97815152205294e-05, 2.0944629795849323e-05, 2.2107744371169247e-05, 2.327085894648917e-05, 2.4433975340798497e-05, 2.559708991611842e-05]}, "gradients/encoder.encoder.layers.12.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 4.0, 4.0, 5.0, 2.0, 5.0, 8.0, 10.0, 18.0, 13.0, 10.0, 13.0, 15.0, 21.0, 14.0, 15.0, 21.0, 28.0, 25.0, 32.0, 22.0, 40.0, 33.0, 40.0, 31.0, 39.0, 36.0, 27.0, 49.0, 38.0, 35.0, 23.0, 50.0, 40.0, 40.0, 21.0, 24.0, 21.0, 21.0, 19.0, 19.0, 10.0, 8.0, 4.0, 14.0, 10.0, 6.0, 11.0, 3.0, 6.0, 4.0, 5.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.8596649169921875e-05, -1.801084727048874e-05, -1.7425045371055603e-05, -1.6839243471622467e-05, -1.625344157218933e-05, -1.5667639672756195e-05, -1.5081837773323059e-05, -1.4496035873889923e-05, -1.3910233974456787e-05, -1.3324432075023651e-05, -1.2738630175590515e-05, -1.2152828276157379e-05, -1.1567026376724243e-05, -1.0981224477291107e-05, -1.0395422577857971e-05, -9.809620678424835e-06, -9.2238187789917e-06, -8.638016879558563e-06, -8.052214980125427e-06, -7.466413080692291e-06, -6.880611181259155e-06, -6.294809281826019e-06, -5.709007382392883e-06, -5.123205482959747e-06, -4.537403583526611e-06, -3.951601684093475e-06, -3.3657997846603394e-06, -2.7799978852272034e-06, -2.1941959857940674e-06, -1.6083940863609314e-06, -1.0225921869277954e-06, -4.367902874946594e-07, 1.4901161193847656e-07, 7.348135113716125e-07, 1.3206154108047485e-06, 1.9064173102378845e-06, 2.4922192096710205e-06, 3.0780211091041565e-06, 3.6638230085372925e-06, 4.2496249079704285e-06, 4.8354268074035645e-06, 5.4212287068367004e-06, 6.0070306062698364e-06, 6.592832505702972e-06, 7.178634405136108e-06, 7.764436304569244e-06, 8.35023820400238e-06, 8.936040103435516e-06, 9.521842002868652e-06, 1.0107643902301788e-05, 1.0693445801734924e-05, 1.127924770116806e-05, 1.1865049600601196e-05, 1.2450851500034332e-05, 1.3036653399467468e-05, 1.3622455298900604e-05, 1.420825719833374e-05, 1.4794059097766876e-05, 1.5379860997200012e-05, 1.5965662896633148e-05, 1.6551464796066284e-05, 1.713726669549942e-05, 1.7723068594932556e-05, 1.8308870494365692e-05, 1.8894672393798828e-05]}, "gradients/encoder.encoder.layers.12.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 3.0, 1.0, 0.0, 1.0, 2.0, 4.0, 3.0, 5.0, 6.0, 7.0, 11.0, 8.0, 26.0, 21.0, 36.0, 53.0, 79.0, 144.0, 226.0, 296.0, 463.0, 795.0, 1242.0, 2132.0, 4028.0, 6981.0, 12854.0, 26836.0, 58113.0, 151867.0, 478542.0, 183068.0, 61707.0, 28025.0, 13885.0, 7204.0, 3913.0, 2413.0, 1294.0, 830.0, 469.0, 332.0, 200.0, 160.0, 83.0, 63.0, 38.0, 22.0, 19.0, 13.0, 23.0, 6.0, 5.0, 5.0, 4.0, 1.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-2.849102020263672e-05, -2.7587637305259705e-05, -2.668425440788269e-05, -2.5780871510505676e-05, -2.4877488613128662e-05, -2.3974105715751648e-05, -2.3070722818374634e-05, -2.216733992099762e-05, -2.1263957023620605e-05, -2.036057412624359e-05, -1.9457191228866577e-05, -1.8553808331489563e-05, -1.765042543411255e-05, -1.6747042536735535e-05, -1.584365963935852e-05, -1.4940276741981506e-05, -1.4036893844604492e-05, -1.3133510947227478e-05, -1.2230128049850464e-05, -1.132674515247345e-05, -1.0423362255096436e-05, -9.519979357719421e-06, -8.616596460342407e-06, -7.713213562965393e-06, -6.809830665588379e-06, -5.906447768211365e-06, -5.003064870834351e-06, -4.0996819734573364e-06, -3.1962990760803223e-06, -2.292916178703308e-06, -1.389533281326294e-06, -4.861503839492798e-07, 4.172325134277344e-07, 1.3206154108047485e-06, 2.2239983081817627e-06, 3.127381205558777e-06, 4.030764102935791e-06, 4.934147000312805e-06, 5.837529897689819e-06, 6.7409127950668335e-06, 7.644295692443848e-06, 8.547678589820862e-06, 9.451061487197876e-06, 1.035444438457489e-05, 1.1257827281951904e-05, 1.2161210179328918e-05, 1.3064593076705933e-05, 1.3967975974082947e-05, 1.4871358871459961e-05, 1.5774741768836975e-05, 1.667812466621399e-05, 1.7581507563591003e-05, 1.8484890460968018e-05, 1.9388273358345032e-05, 2.0291656255722046e-05, 2.119503915309906e-05, 2.2098422050476074e-05, 2.300180494785309e-05, 2.3905187845230103e-05, 2.4808570742607117e-05, 2.571195363998413e-05, 2.6615336537361145e-05, 2.751871943473816e-05, 2.8422102332115173e-05, 2.9325485229492188e-05]}, "gradients/encoder.encoder.layers.12.attention.out_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 3.0, 2.0, 1.0, 1.0, 3.0, 8.0, 3.0, 4.0, 11.0, 6.0, 15.0, 15.0, 20.0, 27.0, 52.0, 65.0, 34.0, 80.0, 63.0, 103.0, 81.0, 48.0, 82.0, 47.0, 51.0, 25.0, 47.0, 30.0, 14.0, 24.0, 12.0, 15.0, 6.0, 2.0, 4.0, 2.0, 6.0, 0.0, 4.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.874301910400391e-06, -3.7206336855888367e-06, -3.5669654607772827e-06, -3.4132972359657288e-06, -3.259629011154175e-06, -3.105960786342621e-06, -2.952292561531067e-06, -2.798624336719513e-06, -2.644956111907959e-06, -2.491287887096405e-06, -2.337619662284851e-06, -2.183951437473297e-06, -2.030283212661743e-06, -1.8766149878501892e-06, -1.7229467630386353e-06, -1.5692785382270813e-06, -1.4156103134155273e-06, -1.2619420886039734e-06, -1.1082738637924194e-06, -9.546056389808655e-07, -8.009374141693115e-07, -6.472691893577576e-07, -4.936009645462036e-07, -3.3993273973464966e-07, -1.862645149230957e-07, -3.259629011154175e-08, 1.210719347000122e-07, 2.7474015951156616e-07, 4.284083843231201e-07, 5.820766091346741e-07, 7.35744833946228e-07, 8.89413058757782e-07, 1.043081283569336e-06, 1.1967495083808899e-06, 1.3504177331924438e-06, 1.5040859580039978e-06, 1.6577541828155518e-06, 1.8114224076271057e-06, 1.9650906324386597e-06, 2.1187588572502136e-06, 2.2724270820617676e-06, 2.4260953068733215e-06, 2.5797635316848755e-06, 2.7334317564964294e-06, 2.8870999813079834e-06, 3.0407682061195374e-06, 3.1944364309310913e-06, 3.3481046557426453e-06, 3.5017728805541992e-06, 3.655441105365753e-06, 3.809109330177307e-06, 3.962777554988861e-06, 4.116445779800415e-06, 4.270114004611969e-06, 4.423782229423523e-06, 4.577450454235077e-06, 4.731118679046631e-06, 4.884786903858185e-06, 5.038455128669739e-06, 5.192123353481293e-06, 5.345791578292847e-06, 5.499459803104401e-06, 5.653128027915955e-06, 5.8067962527275085e-06, 5.9604644775390625e-06]}, "gradients/encoder.encoder.layers.12.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 4.0, 2.0, 4.0, 3.0, 9.0, 9.0, 18.0, 18.0, 40.0, 54.0, 73.0, 97.0, 206.0, 270.0, 433.0, 627.0, 930.0, 1747.0, 2435.0, 3811.0, 6055.0, 9705.0, 19013.0, 28306.0, 49961.0, 102900.0, 360459.0, 258531.0, 99176.0, 41104.0, 23964.0, 14240.0, 8953.0, 6184.0, 3278.0, 2061.0, 1316.0, 866.0, 632.0, 347.0, 225.0, 155.0, 118.0, 70.0, 53.0, 32.0, 33.0, 12.0, 6.0, 10.0, 3.0, 6.0, 3.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.138448715209961e-05, -1.101568341255188e-05, -1.064687967300415e-05, -1.0278075933456421e-05, -9.909272193908691e-06, -9.540468454360962e-06, -9.171664714813232e-06, -8.802860975265503e-06, -8.434057235717773e-06, -8.065253496170044e-06, -7.696449756622314e-06, -7.327646017074585e-06, -6.9588422775268555e-06, -6.590038537979126e-06, -6.2212347984313965e-06, -5.852431058883667e-06, -5.4836273193359375e-06, -5.114823579788208e-06, -4.7460198402404785e-06, -4.377216100692749e-06, -4.0084123611450195e-06, -3.63960862159729e-06, -3.2708048820495605e-06, -2.902001142501831e-06, -2.5331974029541016e-06, -2.164393663406372e-06, -1.7955899238586426e-06, -1.426786184310913e-06, -1.0579824447631836e-06, -6.891787052154541e-07, -3.203749656677246e-07, 4.842877388000488e-08, 4.172325134277344e-07, 7.860362529754639e-07, 1.1548399925231934e-06, 1.5236437320709229e-06, 1.8924474716186523e-06, 2.261251211166382e-06, 2.6300549507141113e-06, 2.998858690261841e-06, 3.3676624298095703e-06, 3.7364661693573e-06, 4.105269908905029e-06, 4.474073648452759e-06, 4.842877388000488e-06, 5.211681127548218e-06, 5.580484867095947e-06, 5.949288606643677e-06, 6.318092346191406e-06, 6.686896085739136e-06, 7.055699825286865e-06, 7.424503564834595e-06, 7.793307304382324e-06, 8.162111043930054e-06, 8.530914783477783e-06, 8.899718523025513e-06, 9.268522262573242e-06, 9.637326002120972e-06, 1.0006129741668701e-05, 1.037493348121643e-05, 1.074373722076416e-05, 1.111254096031189e-05, 1.1481344699859619e-05, 1.1850148439407349e-05, 1.2218952178955078e-05]}, "gradients/encoder.encoder.layers.12.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 5.0, 3.0, 4.0, 6.0, 9.0, 5.0, 6.0, 8.0, 12.0, 15.0, 16.0, 12.0, 15.0, 27.0, 29.0, 24.0, 32.0, 20.0, 43.0, 41.0, 60.0, 34.0, 64.0, 48.0, 58.0, 50.0, 41.0, 29.0, 40.0, 19.0, 31.0, 29.0, 31.0, 20.0, 26.0, 17.0, 19.0, 15.0, 12.0, 10.0, 6.0, 7.0, 5.0, 3.0, 2.0, 2.0, 1.0, 2.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-8.881092071533203e-06, -8.612871170043945e-06, -8.344650268554688e-06, -8.07642936706543e-06, -7.808208465576172e-06, -7.539987564086914e-06, -7.271766662597656e-06, -7.0035457611083984e-06, -6.735324859619141e-06, -6.467103958129883e-06, -6.198883056640625e-06, -5.930662155151367e-06, -5.662441253662109e-06, -5.3942203521728516e-06, -5.125999450683594e-06, -4.857778549194336e-06, -4.589557647705078e-06, -4.32133674621582e-06, -4.0531158447265625e-06, -3.7848949432373047e-06, -3.516674041748047e-06, -3.248453140258789e-06, -2.9802322387695312e-06, -2.7120113372802734e-06, -2.4437904357910156e-06, -2.175569534301758e-06, -1.9073486328125e-06, -1.6391277313232422e-06, -1.3709068298339844e-06, -1.1026859283447266e-06, -8.344650268554688e-07, -5.662441253662109e-07, -2.980232238769531e-07, -2.9802322387695312e-08, 2.384185791015625e-07, 5.066394805908203e-07, 7.748603820800781e-07, 1.043081283569336e-06, 1.3113021850585938e-06, 1.5795230865478516e-06, 1.8477439880371094e-06, 2.115964889526367e-06, 2.384185791015625e-06, 2.652406692504883e-06, 2.9206275939941406e-06, 3.1888484954833984e-06, 3.4570693969726562e-06, 3.725290298461914e-06, 3.993511199951172e-06, 4.26173210144043e-06, 4.5299530029296875e-06, 4.798173904418945e-06, 5.066394805908203e-06, 5.334615707397461e-06, 5.602836608886719e-06, 5.8710575103759766e-06, 6.139278411865234e-06, 6.407499313354492e-06, 6.67572021484375e-06, 6.943941116333008e-06, 7.212162017822266e-06, 7.4803829193115234e-06, 7.748603820800781e-06, 8.016824722290039e-06, 8.285045623779297e-06]}, "gradients/encoder.encoder.layers.12.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 4.0, 6.0, 5.0, 2.0, 10.0, 9.0, 9.0, 29.0, 34.0, 53.0, 50.0, 93.0, 132.0, 151.0, 291.0, 506.0, 889.0, 887.0, 2247.0, 3845.0, 4260.0, 11338.0, 24079.0, 62554.0, 112057.0, 601129.0, 141071.0, 44075.0, 13880.0, 11280.0, 5854.0, 2383.0, 2165.0, 1226.0, 774.0, 302.0, 315.0, 196.0, 87.0, 100.0, 72.0, 39.0, 12.0, 24.0, 16.0, 5.0, 4.0, 7.0, 7.0, 1.0, 3.0, 1.0, 1.0], "bins": [-5.900859832763672e-06, -5.738809704780579e-06, -5.576759576797485e-06, -5.414709448814392e-06, -5.252659320831299e-06, -5.0906091928482056e-06, -4.928559064865112e-06, -4.766508936882019e-06, -4.604458808898926e-06, -4.4424086809158325e-06, -4.280358552932739e-06, -4.118308424949646e-06, -3.956258296966553e-06, -3.7942081689834595e-06, -3.632158041000366e-06, -3.470107913017273e-06, -3.3080577850341797e-06, -3.1460076570510864e-06, -2.983957529067993e-06, -2.8219074010849e-06, -2.6598572731018066e-06, -2.4978071451187134e-06, -2.33575701713562e-06, -2.173706889152527e-06, -2.0116567611694336e-06, -1.8496066331863403e-06, -1.687556505203247e-06, -1.5255063772201538e-06, -1.3634562492370605e-06, -1.2014061212539673e-06, -1.039355993270874e-06, -8.773058652877808e-07, -7.152557373046875e-07, -5.532056093215942e-07, -3.91155481338501e-07, -2.2910535335540771e-07, -6.705522537231445e-08, 9.499490261077881e-08, 2.5704503059387207e-07, 4.1909515857696533e-07, 5.811452865600586e-07, 7.431954145431519e-07, 9.052455425262451e-07, 1.0672956705093384e-06, 1.2293457984924316e-06, 1.391395926475525e-06, 1.5534460544586182e-06, 1.7154961824417114e-06, 1.8775463104248047e-06, 2.039596438407898e-06, 2.201646566390991e-06, 2.3636966943740845e-06, 2.5257468223571777e-06, 2.687796950340271e-06, 2.8498470783233643e-06, 3.0118972063064575e-06, 3.1739473342895508e-06, 3.335997462272644e-06, 3.4980475902557373e-06, 3.6600977182388306e-06, 3.822147846221924e-06, 3.984197974205017e-06, 4.14624810218811e-06, 4.308298230171204e-06, 4.470348358154297e-06]}, "gradients/encoder.encoder.layers.12.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 5.0, 8.0, 7.0, 1.0, 6.0, 12.0, 11.0, 16.0, 16.0, 19.0, 30.0, 43.0, 45.0, 47.0, 61.0, 96.0, 143.0, 87.0, 63.0, 54.0, 61.0, 41.0, 29.0, 19.0, 16.0, 13.0, 17.0, 10.0, 6.0, 7.0, 4.0, 7.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.2782554626464844e-06, -3.1599774956703186e-06, -3.041699528694153e-06, -2.923421561717987e-06, -2.8051435947418213e-06, -2.6868656277656555e-06, -2.5685876607894897e-06, -2.450309693813324e-06, -2.332031726837158e-06, -2.2137537598609924e-06, -2.0954757928848267e-06, -1.977197825908661e-06, -1.8589198589324951e-06, -1.7406418919563293e-06, -1.6223639249801636e-06, -1.5040859580039978e-06, -1.385807991027832e-06, -1.2675300240516663e-06, -1.1492520570755005e-06, -1.0309740900993347e-06, -9.126961231231689e-07, -7.944181561470032e-07, -6.761401891708374e-07, -5.578622221946716e-07, -4.3958425521850586e-07, -3.213062882423401e-07, -2.0302832126617432e-07, -8.475035429000854e-08, 3.3527612686157227e-08, 1.51805579662323e-07, 2.7008354663848877e-07, 3.8836151361465454e-07, 5.066394805908203e-07, 6.249174475669861e-07, 7.431954145431519e-07, 8.614733815193176e-07, 9.797513484954834e-07, 1.0980293154716492e-06, 1.216307282447815e-06, 1.3345852494239807e-06, 1.4528632164001465e-06, 1.5711411833763123e-06, 1.689419150352478e-06, 1.8076971173286438e-06, 1.9259750843048096e-06, 2.0442530512809753e-06, 2.162531018257141e-06, 2.280808985233307e-06, 2.3990869522094727e-06, 2.5173649191856384e-06, 2.635642886161804e-06, 2.75392085313797e-06, 2.8721988201141357e-06, 2.9904767870903015e-06, 3.1087547540664673e-06, 3.227032721042633e-06, 3.345310688018799e-06, 3.4635886549949646e-06, 3.5818666219711304e-06, 3.700144588947296e-06, 3.818422555923462e-06, 3.936700522899628e-06, 4.0549784898757935e-06, 4.173256456851959e-06, 4.291534423828125e-06]}, "gradients/encoder.encoder.layers.12.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 2.0, 3.0, 1.0, 5.0, 8.0, 8.0, 7.0, 10.0, 13.0, 11.0, 29.0, 35.0, 36.0, 44.0, 39.0, 93.0, 114.0, 276.0, 304.0, 506.0, 1207.0, 1924.0, 4998.0, 8142.0, 26053.0, 53101.0, 623822.0, 230906.0, 52846.0, 26177.0, 8140.0, 5046.0, 1812.0, 1303.0, 494.0, 334.0, 266.0, 101.0, 88.0, 56.0, 64.0, 27.0, 35.0, 20.0, 11.0, 11.0, 9.0, 8.0, 4.0, 8.0, 7.0, 3.0], "bins": [-7.987022399902344e-06, -7.782131433486938e-06, -7.577240467071533e-06, -7.372349500656128e-06, -7.167458534240723e-06, -6.962567567825317e-06, -6.757676601409912e-06, -6.552785634994507e-06, -6.3478946685791016e-06, -6.143003702163696e-06, -5.938112735748291e-06, -5.733221769332886e-06, -5.5283308029174805e-06, -5.323439836502075e-06, -5.11854887008667e-06, -4.913657903671265e-06, -4.708766937255859e-06, -4.503875970840454e-06, -4.298985004425049e-06, -4.0940940380096436e-06, -3.889203071594238e-06, -3.684312105178833e-06, -3.4794211387634277e-06, -3.2745301723480225e-06, -3.069639205932617e-06, -2.864748239517212e-06, -2.6598572731018066e-06, -2.4549663066864014e-06, -2.250075340270996e-06, -2.045184373855591e-06, -1.8402934074401855e-06, -1.6354024410247803e-06, -1.430511474609375e-06, -1.2256205081939697e-06, -1.0207295417785645e-06, -8.158385753631592e-07, -6.109476089477539e-07, -4.0605664253234863e-07, -2.0116567611694336e-07, 3.725290298461914e-09, 2.086162567138672e-07, 4.1350722312927246e-07, 6.183981895446777e-07, 8.23289155960083e-07, 1.0281801223754883e-06, 1.2330710887908936e-06, 1.4379620552062988e-06, 1.642853021621704e-06, 1.8477439880371094e-06, 2.0526349544525146e-06, 2.25752592086792e-06, 2.462416887283325e-06, 2.6673078536987305e-06, 2.8721988201141357e-06, 3.077089786529541e-06, 3.2819807529449463e-06, 3.4868717193603516e-06, 3.691762685775757e-06, 3.896653652191162e-06, 4.101544618606567e-06, 4.306435585021973e-06, 4.511326551437378e-06, 4.716217517852783e-06, 4.9211084842681885e-06, 5.125999450683594e-06]}, "gradients/encoder.encoder.layers.12.attention.q_proj.bias": {"_type": "histogram", "values": [8.0, 2.0, 2.0, 3.0, 2.0, 3.0, 2.0, 11.0, 9.0, 23.0, 17.0, 27.0, 17.0, 30.0, 24.0, 37.0, 40.0, 82.0, 214.0, 141.0, 68.0, 50.0, 44.0, 22.0, 31.0, 25.0, 14.0, 22.0, 10.0, 9.0, 9.0, 6.0, 2.0, 3.0, 3.0, 2.0, 3.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.384185791015625e-06, -2.2584572434425354e-06, -2.132728695869446e-06, -2.007000148296356e-06, -1.8812716007232666e-06, -1.755543053150177e-06, -1.6298145055770874e-06, -1.5040859580039978e-06, -1.3783574104309082e-06, -1.2526288628578186e-06, -1.126900315284729e-06, -1.0011717677116394e-06, -8.754432201385498e-07, -7.497146725654602e-07, -6.239861249923706e-07, -4.98257577419281e-07, -3.725290298461914e-07, -2.468004822731018e-07, -1.210719347000122e-07, 4.6566128730773926e-09, 1.30385160446167e-07, 2.561137080192566e-07, 3.818422555923462e-07, 5.075708031654358e-07, 6.332993507385254e-07, 7.59027898311615e-07, 8.847564458847046e-07, 1.0104849934577942e-06, 1.1362135410308838e-06, 1.2619420886039734e-06, 1.387670636177063e-06, 1.5133991837501526e-06, 1.6391277313232422e-06, 1.7648562788963318e-06, 1.8905848264694214e-06, 2.016313374042511e-06, 2.1420419216156006e-06, 2.26777046918869e-06, 2.3934990167617798e-06, 2.5192275643348694e-06, 2.644956111907959e-06, 2.7706846594810486e-06, 2.896413207054138e-06, 3.0221417546272278e-06, 3.1478703022003174e-06, 3.273598849773407e-06, 3.3993273973464966e-06, 3.525055944919586e-06, 3.6507844924926758e-06, 3.7765130400657654e-06, 3.902241587638855e-06, 4.027970135211945e-06, 4.153698682785034e-06, 4.279427230358124e-06, 4.405155777931213e-06, 4.530884325504303e-06, 4.656612873077393e-06, 4.782341420650482e-06, 4.908069968223572e-06, 5.033798515796661e-06, 5.159527063369751e-06, 5.2852556109428406e-06, 5.41098415851593e-06, 5.53671270608902e-06, 5.662441253662109e-06]}, "gradients/encoder.encoder.layers.12.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 0.0, 4.0, 1.0, 1.0, 4.0, 2.0, 6.0, 4.0, 6.0, 4.0, 20.0, 9.0, 24.0, 21.0, 23.0, 40.0, 42.0, 86.0, 160.0, 185.0, 121.0, 75.0, 38.0, 25.0, 21.0, 22.0, 13.0, 14.0, 6.0, 8.0, 3.0, 3.0, 5.0, 2.0, 4.0, 1.0, 3.0, 3.0, 1.0, 0.0, 1.0, 1.0, 2.0], "bins": [-6.347776798065752e-05, -6.189548003021628e-05, -6.031318844179623e-05, -5.873089685337618e-05, -5.714860526495613e-05, -5.556631731451489e-05, -5.398402572609484e-05, -5.24017377756536e-05, -5.081944618723355e-05, -4.9237154598813504e-05, -4.765486664837226e-05, -4.6072575059952214e-05, -4.4490283471532166e-05, -4.2907995521090925e-05, -4.1325703932670876e-05, -3.974341234425083e-05, -3.816112439380959e-05, -3.657883280538954e-05, -3.49965448549483e-05, -3.341425326652825e-05, -3.18319616781082e-05, -3.024967372766696e-05, -2.866738213924691e-05, -2.7085092369816266e-05, -2.5502798962406814e-05, -2.392050919297617e-05, -2.233821760455612e-05, -2.0755927835125476e-05, -1.917363806569483e-05, -1.7591348296264187e-05, -1.6009056707844138e-05, -1.4426766938413493e-05, -1.2844477168982849e-05, -1.1262186490057502e-05, -9.679896720626857e-06, -8.09760604170151e-06, -6.515315817523515e-06, -4.933025593345519e-06, -3.3507349144201726e-06, -1.7684451449895278e-06, -1.8615446606418118e-07, 1.3961358718006522e-06, 2.9784262096654857e-06, 4.560716661217157e-06, 6.1430068853951525e-06, 7.725297109573148e-06, 9.307587788498495e-06, 1.088987755792914e-05, 1.2472168236854486e-05, 1.4054458915779833e-05, 1.563674959470518e-05, 1.7219039364135824e-05, 1.880132913356647e-05, 2.0383620721986517e-05, 2.1965910491417162e-05, 2.3548200260847807e-05, 2.5130491849267855e-05, 2.67127816186985e-05, 2.829507320711855e-05, 2.9877362976549193e-05, 3.145965456496924e-05, 3.304194251541048e-05, 3.462423410383053e-05, 3.620652569225058e-05, 3.778881364269182e-05]}, "gradients/encoder.encoder.layers.12.layer_norm.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 2.0, 6.0, 5.0, 8.0, 5.0, 6.0, 7.0, 12.0, 9.0, 14.0, 14.0, 21.0, 21.0, 22.0, 34.0, 26.0, 28.0, 28.0, 22.0, 31.0, 51.0, 42.0, 32.0, 46.0, 45.0, 39.0, 34.0, 45.0, 31.0, 34.0, 41.0, 28.0, 25.0, 21.0, 31.0, 17.0, 21.0, 18.0, 11.0, 14.0, 12.0, 12.0, 9.0, 5.0, 9.0, 1.0, 5.0, 2.0, 1.0, 6.0, 0.0, 1.0, 2.0, 1.0, 1.0], "bins": [-2.5987625122070312e-05, -2.5200657546520233e-05, -2.4413689970970154e-05, -2.3626722395420074e-05, -2.2839754819869995e-05, -2.2052787244319916e-05, -2.1265819668769836e-05, -2.0478852093219757e-05, -1.9691884517669678e-05, -1.89049169421196e-05, -1.811794936656952e-05, -1.733098179101944e-05, -1.654401421546936e-05, -1.575704663991928e-05, -1.4970079064369202e-05, -1.4183111488819122e-05, -1.3396143913269043e-05, -1.2609176337718964e-05, -1.1822208762168884e-05, -1.1035241186618805e-05, -1.0248273611068726e-05, -9.461306035518646e-06, -8.674338459968567e-06, -7.887370884418488e-06, -7.100403308868408e-06, -6.313435733318329e-06, -5.5264681577682495e-06, -4.73950058221817e-06, -3.952533006668091e-06, -3.1655654311180115e-06, -2.378597855567932e-06, -1.5916302800178528e-06, -8.046627044677734e-07, -1.7695128917694092e-08, 7.692724466323853e-07, 1.5562400221824646e-06, 2.343207597732544e-06, 3.1301751732826233e-06, 3.917142748832703e-06, 4.704110324382782e-06, 5.491077899932861e-06, 6.278045475482941e-06, 7.06501305103302e-06, 7.8519806265831e-06, 8.638948202133179e-06, 9.425915777683258e-06, 1.0212883353233337e-05, 1.0999850928783417e-05, 1.1786818504333496e-05, 1.2573786079883575e-05, 1.3360753655433655e-05, 1.4147721230983734e-05, 1.4934688806533813e-05, 1.5721656382083893e-05, 1.6508623957633972e-05, 1.729559153318405e-05, 1.808255910873413e-05, 1.886952668428421e-05, 1.965649425983429e-05, 2.044346183538437e-05, 2.1230429410934448e-05, 2.2017396986484528e-05, 2.2804364562034607e-05, 2.3591332137584686e-05, 2.4378299713134766e-05]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 3.0, 5.0, 3.0, 5.0, 11.0, 7.0, 25.0, 23.0, 36.0, 66.0, 96.0, 144.0, 218.0, 342.0, 578.0, 1027.0, 1809.0, 3214.0, 6621.0, 15448.0, 36659.0, 3065015.0, 1001588.0, 32832.0, 12950.0, 6696.0, 3597.0, 2083.0, 1203.0, 684.0, 415.0, 280.0, 174.0, 119.0, 82.0, 47.0, 50.0, 34.0, 21.0, 19.0, 11.0, 16.0, 7.0, 10.0, 4.0, 5.0, 3.0, 3.0, 2.0, 2.0, 3.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.8908252716064453e-05, -2.770218998193741e-05, -2.6496127247810364e-05, -2.529006451368332e-05, -2.4084001779556274e-05, -2.287793904542923e-05, -2.1671876311302185e-05, -2.046581357717514e-05, -1.9259750843048096e-05, -1.805368810892105e-05, -1.6847625374794006e-05, -1.564156264066696e-05, -1.4435499906539917e-05, -1.3229437172412872e-05, -1.2023374438285828e-05, -1.0817311704158783e-05, -9.611248970031738e-06, -8.405186235904694e-06, -7.199123501777649e-06, -5.993060767650604e-06, -4.7869980335235596e-06, -3.580935299396515e-06, -2.3748725652694702e-06, -1.1688098311424255e-06, 3.725290298461914e-08, 1.2433156371116638e-06, 2.4493783712387085e-06, 3.655441105365753e-06, 4.861503839492798e-06, 6.0675665736198425e-06, 7.273629307746887e-06, 8.479692041873932e-06, 9.685754776000977e-06, 1.0891817510128021e-05, 1.2097880244255066e-05, 1.330394297838211e-05, 1.4510005712509155e-05, 1.57160684466362e-05, 1.6922131180763245e-05, 1.812819391489029e-05, 1.9334256649017334e-05, 2.054031938314438e-05, 2.1746382117271423e-05, 2.2952444851398468e-05, 2.4158507585525513e-05, 2.5364570319652557e-05, 2.6570633053779602e-05, 2.7776695787906647e-05, 2.898275852203369e-05, 3.0188821256160736e-05, 3.139488399028778e-05, 3.2600946724414825e-05, 3.380700945854187e-05, 3.5013072192668915e-05, 3.621913492679596e-05, 3.7425197660923004e-05, 3.863126039505005e-05, 3.9837323129177094e-05, 4.104338586330414e-05, 4.224944859743118e-05, 4.345551133155823e-05, 4.466157406568527e-05, 4.586763679981232e-05, 4.707369953393936e-05, 4.8279762268066406e-05]}, "gradients/encoder.encoder.layers.11.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 4.0, 6.0, 3.0, 8.0, 8.0, 7.0, 24.0, 27.0, 28.0, 49.0, 67.0, 45.0, 78.0, 79.0, 59.0, 96.0, 90.0, 55.0, 59.0, 48.0, 25.0, 32.0, 22.0, 22.0, 24.0, 9.0, 6.0, 9.0, 7.0, 3.0, 5.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.814697265625e-06, -3.6563724279403687e-06, -3.4980475902557373e-06, -3.339722752571106e-06, -3.1813979148864746e-06, -3.0230730772018433e-06, -2.864748239517212e-06, -2.7064234018325806e-06, -2.5480985641479492e-06, -2.389773726463318e-06, -2.2314488887786865e-06, -2.073124051094055e-06, -1.914799213409424e-06, -1.7564743757247925e-06, -1.5981495380401611e-06, -1.4398247003555298e-06, -1.2814998626708984e-06, -1.123175024986267e-06, -9.648501873016357e-07, -8.065253496170044e-07, -6.48200511932373e-07, -4.898756742477417e-07, -3.3155083656311035e-07, -1.73225998878479e-07, -1.4901161193847656e-08, 1.434236764907837e-07, 3.0174851417541504e-07, 4.600733518600464e-07, 6.183981895446777e-07, 7.767230272293091e-07, 9.350478649139404e-07, 1.0933727025985718e-06, 1.2516975402832031e-06, 1.4100223779678345e-06, 1.5683472156524658e-06, 1.7266720533370972e-06, 1.8849968910217285e-06, 2.04332172870636e-06, 2.201646566390991e-06, 2.3599714040756226e-06, 2.518296241760254e-06, 2.6766210794448853e-06, 2.8349459171295166e-06, 2.993270754814148e-06, 3.1515955924987793e-06, 3.3099204301834106e-06, 3.468245267868042e-06, 3.6265701055526733e-06, 3.7848949432373047e-06, 3.943219780921936e-06, 4.101544618606567e-06, 4.259869456291199e-06, 4.41819429397583e-06, 4.5765191316604614e-06, 4.734843969345093e-06, 4.893168807029724e-06, 5.0514936447143555e-06, 5.209818482398987e-06, 5.368143320083618e-06, 5.5264681577682495e-06, 5.684792995452881e-06, 5.843117833137512e-06, 6.0014426708221436e-06, 6.159767508506775e-06, 6.318092346191406e-06]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 4.0, 6.0, 4.0, 8.0, 18.0, 19.0, 29.0, 39.0, 47.0, 106.0, 153.0, 237.0, 368.0, 705.0, 1146.0, 1726.0, 3432.0, 7117.0, 12305.0, 31972.0, 112867.0, 3588707.0, 334429.0, 57914.0, 20945.0, 8552.0, 4939.0, 2720.0, 1442.0, 807.0, 536.0, 353.0, 188.0, 149.0, 86.0, 65.0, 44.0, 40.0, 16.0, 10.0, 17.0, 8.0, 4.0, 0.0, 5.0, 2.0, 2.0, 2.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.5437602996826172e-05, -1.491885632276535e-05, -1.4400109648704529e-05, -1.3881362974643707e-05, -1.3362616300582886e-05, -1.2843869626522064e-05, -1.2325122952461243e-05, -1.1806376278400421e-05, -1.12876296043396e-05, -1.0768882930278778e-05, -1.0250136256217957e-05, -9.731389582157135e-06, -9.212642908096313e-06, -8.693896234035492e-06, -8.17514955997467e-06, -7.656402885913849e-06, -7.137656211853027e-06, -6.618909537792206e-06, -6.100162863731384e-06, -5.581416189670563e-06, -5.062669515609741e-06, -4.54392284154892e-06, -4.025176167488098e-06, -3.5064294934272766e-06, -2.987682819366455e-06, -2.4689361453056335e-06, -1.950189471244812e-06, -1.4314427971839905e-06, -9.126961231231689e-07, -3.939494490623474e-07, 1.2479722499847412e-07, 6.435438990592957e-07, 1.1622905731201172e-06, 1.6810372471809387e-06, 2.1997839212417603e-06, 2.7185305953025818e-06, 3.2372772693634033e-06, 3.756023943424225e-06, 4.274770617485046e-06, 4.793517291545868e-06, 5.3122639656066895e-06, 5.831010639667511e-06, 6.3497573137283325e-06, 6.868503987789154e-06, 7.387250661849976e-06, 7.905997335910797e-06, 8.424744009971619e-06, 8.94349068403244e-06, 9.462237358093262e-06, 9.980984032154083e-06, 1.0499730706214905e-05, 1.1018477380275726e-05, 1.1537224054336548e-05, 1.205597072839737e-05, 1.2574717402458191e-05, 1.3093464076519012e-05, 1.3612210750579834e-05, 1.4130957424640656e-05, 1.4649704098701477e-05, 1.5168450772762299e-05, 1.568719744682312e-05, 1.620594412088394e-05, 1.6724690794944763e-05, 1.7243437469005585e-05, 1.7762184143066406e-05]}, "gradients/encoder.encoder.layers.11.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 2.0, 1.0, 4.0, 2.0, 3.0, 5.0, 1.0, 10.0, 3.0, 7.0, 9.0, 23.0, 12.0, 20.0, 19.0, 21.0, 44.0, 44.0, 64.0, 243.0, 749.0, 1864.0, 570.0, 152.0, 50.0, 42.0, 40.0, 19.0, 11.0, 19.0, 8.0, 7.0, 6.0, 4.0, 2.0, 1.0, 3.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.329183578491211e-05, -1.295376569032669e-05, -1.2615695595741272e-05, -1.2277625501155853e-05, -1.1939555406570435e-05, -1.1601485311985016e-05, -1.1263415217399597e-05, -1.0925345122814178e-05, -1.058727502822876e-05, -1.0249204933643341e-05, -9.911134839057922e-06, -9.573064744472504e-06, -9.234994649887085e-06, -8.896924555301666e-06, -8.558854460716248e-06, -8.220784366130829e-06, -7.88271427154541e-06, -7.5446441769599915e-06, -7.206574082374573e-06, -6.868503987789154e-06, -6.530433893203735e-06, -6.192363798618317e-06, -5.854293704032898e-06, -5.516223609447479e-06, -5.1781535148620605e-06, -4.840083420276642e-06, -4.502013325691223e-06, -4.1639432311058044e-06, -3.825873136520386e-06, -3.487803041934967e-06, -3.1497329473495483e-06, -2.8116628527641296e-06, -2.473592758178711e-06, -2.1355226635932922e-06, -1.7974525690078735e-06, -1.4593824744224548e-06, -1.1213123798370361e-06, -7.832422852516174e-07, -4.4517219066619873e-07, -1.0710209608078003e-07, 2.3096799850463867e-07, 5.690380930900574e-07, 9.071081876754761e-07, 1.2451782822608948e-06, 1.5832483768463135e-06, 1.921318471431732e-06, 2.259388566017151e-06, 2.5974586606025696e-06, 2.9355287551879883e-06, 3.273598849773407e-06, 3.6116689443588257e-06, 3.949739038944244e-06, 4.287809133529663e-06, 4.625879228115082e-06, 4.9639493227005005e-06, 5.302019417285919e-06, 5.640089511871338e-06, 5.978159606456757e-06, 6.316229701042175e-06, 6.654299795627594e-06, 6.992369890213013e-06, 7.330439984798431e-06, 7.66851007938385e-06, 8.006580173969269e-06, 8.344650268554688e-06]}, "gradients/encoder.encoder.layers.11.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 3.0, 3.0, 2.0, 1.0, 1.0, 1.0, 1.0, 6.0, 6.0, 2.0, 6.0, 6.0, 6.0, 6.0, 17.0, 11.0, 23.0, 22.0, 35.0, 22.0, 47.0, 54.0, 70.0, 102.0, 137.0, 142.0, 103.0, 66.0, 38.0, 22.0, 13.0, 18.0, 12.0, 4.0, 4.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.132486330694519e-05, -4.994155460735783e-05, -4.855824226979166e-05, -4.71749335702043e-05, -4.5791621232638136e-05, -4.4408312533050776e-05, -4.302500019548461e-05, -4.164169149589725e-05, -4.025838279630989e-05, -3.887507409672253e-05, -3.749176175915636e-05, -3.6108453059569e-05, -3.4725140722002834e-05, -3.3341832022415474e-05, -3.1958523322828114e-05, -3.057521098526195e-05, -2.919189864769578e-05, -2.7808588129119016e-05, -2.6425277610542253e-05, -2.5041968910954893e-05, -2.3658656573388726e-05, -2.2275347873801365e-05, -2.0892037355224602e-05, -1.950872683664784e-05, -1.8125416318071075e-05, -1.674210579949431e-05, -1.5358795280917548e-05, -1.3975485671835486e-05, -1.2592175153258722e-05, -1.1208864634681959e-05, -9.825555025599897e-06, -8.442244507023133e-06, -7.05893398844637e-06, -5.675623469869606e-06, -4.2923134060401935e-06, -2.909003342210781e-06, -1.5256928236340173e-06, -1.423823050572537e-07, 1.2409273040248081e-06, 2.6242378226015717e-06, 4.007548341178335e-06, 5.390858859755099e-06, 6.7741689235845115e-06, 8.157478987413924e-06, 9.540789505990688e-06, 1.0924100024567451e-05, 1.2307409633649513e-05, 1.3690720152226277e-05, 1.507403067080304e-05, 1.6457341189379804e-05, 1.7840651707956567e-05, 1.9223960407543927e-05, 2.0607272745110095e-05, 2.1990581444697455e-05, 2.3373891963274218e-05, 2.4757202481850982e-05, 2.6140513000427745e-05, 2.752382351900451e-05, 2.8907134037581272e-05, 3.0290444556158036e-05, 3.1673753255745396e-05, 3.305706559331156e-05, 3.444037429289892e-05, 3.582368663046509e-05, 3.720699533005245e-05]}, "gradients/encoder.encoder.layers.11.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 2.0, 2.0, 5.0, 0.0, 5.0, 4.0, 5.0, 6.0, 2.0, 7.0, 11.0, 11.0, 11.0, 21.0, 21.0, 17.0, 19.0, 26.0, 16.0, 27.0, 25.0, 34.0, 25.0, 42.0, 48.0, 46.0, 46.0, 35.0, 27.0, 32.0, 36.0, 40.0, 42.0, 35.0, 43.0, 26.0, 35.0, 22.0, 22.0, 21.0, 24.0, 15.0, 21.0, 13.0, 10.0, 6.0, 5.0, 1.0, 4.0, 2.0, 4.0, 7.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.2351741790771484e-05, -2.1648593246936798e-05, -2.0945444703102112e-05, -2.0242296159267426e-05, -1.953914761543274e-05, -1.8835999071598053e-05, -1.8132850527763367e-05, -1.742970198392868e-05, -1.6726553440093994e-05, -1.6023404896259308e-05, -1.532025635242462e-05, -1.4617107808589935e-05, -1.3913959264755249e-05, -1.3210810720920563e-05, -1.2507662177085876e-05, -1.180451363325119e-05, -1.1101365089416504e-05, -1.0398216545581818e-05, -9.695068001747131e-06, -8.991919457912445e-06, -8.288770914077759e-06, -7.5856223702430725e-06, -6.882473826408386e-06, -6.1793252825737e-06, -5.476176738739014e-06, -4.773028194904327e-06, -4.069879651069641e-06, -3.366731107234955e-06, -2.6635825634002686e-06, -1.9604340195655823e-06, -1.257285475730896e-06, -5.541369318962097e-07, 1.4901161193847656e-07, 8.521601557731628e-07, 1.5553086996078491e-06, 2.2584572434425354e-06, 2.9616057872772217e-06, 3.664754331111908e-06, 4.367902874946594e-06, 5.0710514187812805e-06, 5.774199962615967e-06, 6.477348506450653e-06, 7.180497050285339e-06, 7.883645594120026e-06, 8.586794137954712e-06, 9.289942681789398e-06, 9.993091225624084e-06, 1.069623976945877e-05, 1.1399388313293457e-05, 1.2102536857128143e-05, 1.280568540096283e-05, 1.3508833944797516e-05, 1.4211982488632202e-05, 1.4915131032466888e-05, 1.5618279576301575e-05, 1.632142812013626e-05, 1.7024576663970947e-05, 1.7727725207805634e-05, 1.843087375164032e-05, 1.9134022295475006e-05, 1.9837170839309692e-05, 2.054031938314438e-05, 2.1243467926979065e-05, 2.194661647081375e-05, 2.2649765014648438e-05]}, "gradients/encoder.encoder.layers.11.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 3.0, 2.0, 1.0, 10.0, 11.0, 14.0, 27.0, 40.0, 46.0, 67.0, 107.0, 120.0, 208.0, 261.0, 454.0, 560.0, 839.0, 1197.0, 2013.0, 2742.0, 4027.0, 6856.0, 9726.0, 17963.0, 27289.0, 54599.0, 97714.0, 263348.0, 331515.0, 97604.0, 54467.0, 27158.0, 17922.0, 9885.0, 6862.0, 4084.0, 2689.0, 2040.0, 1174.0, 963.0, 561.0, 456.0, 277.0, 187.0, 143.0, 109.0, 75.0, 28.0, 44.0, 28.0, 16.0, 11.0, 7.0, 8.0, 6.0, 2.0, 3.0, 1.0, 2.0, 1.0], "bins": [-1.800060272216797e-05, -1.743808388710022e-05, -1.687556505203247e-05, -1.631304621696472e-05, -1.5750527381896973e-05, -1.5188008546829224e-05, -1.4625489711761475e-05, -1.4062970876693726e-05, -1.3500452041625977e-05, -1.2937933206558228e-05, -1.2375414371490479e-05, -1.181289553642273e-05, -1.125037670135498e-05, -1.0687857866287231e-05, -1.0125339031219482e-05, -9.562820196151733e-06, -9.000301361083984e-06, -8.437782526016235e-06, -7.875263690948486e-06, -7.312744855880737e-06, -6.750226020812988e-06, -6.187707185745239e-06, -5.62518835067749e-06, -5.062669515609741e-06, -4.500150680541992e-06, -3.937631845474243e-06, -3.375113010406494e-06, -2.812594175338745e-06, -2.250075340270996e-06, -1.687556505203247e-06, -1.125037670135498e-06, -5.62518835067749e-07, 0.0, 5.62518835067749e-07, 1.125037670135498e-06, 1.687556505203247e-06, 2.250075340270996e-06, 2.812594175338745e-06, 3.375113010406494e-06, 3.937631845474243e-06, 4.500150680541992e-06, 5.062669515609741e-06, 5.62518835067749e-06, 6.187707185745239e-06, 6.750226020812988e-06, 7.312744855880737e-06, 7.875263690948486e-06, 8.437782526016235e-06, 9.000301361083984e-06, 9.562820196151733e-06, 1.0125339031219482e-05, 1.0687857866287231e-05, 1.125037670135498e-05, 1.181289553642273e-05, 1.2375414371490479e-05, 1.2937933206558228e-05, 1.3500452041625977e-05, 1.4062970876693726e-05, 1.4625489711761475e-05, 1.5188008546829224e-05, 1.5750527381896973e-05, 1.631304621696472e-05, 1.687556505203247e-05, 1.743808388710022e-05, 1.800060272216797e-05]}, "gradients/encoder.encoder.layers.11.attention.out_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 5.0, 3.0, 4.0, 4.0, 7.0, 3.0, 4.0, 15.0, 8.0, 6.0, 10.0, 24.0, 22.0, 16.0, 36.0, 43.0, 37.0, 26.0, 50.0, 60.0, 56.0, 35.0, 54.0, 60.0, 62.0, 26.0, 39.0, 47.0, 42.0, 17.0, 48.0, 24.0, 15.0, 14.0, 16.0, 13.0, 15.0, 6.0, 15.0, 5.0, 5.0, 4.0, 2.0, 3.0, 3.0, 0.0, 1.0, 2.0, 3.0, 0.0, 3.0, 1.0, 1.0, 1.0], "bins": [-3.3974647521972656e-06, -3.293156623840332e-06, -3.1888484954833984e-06, -3.084540367126465e-06, -2.9802322387695312e-06, -2.8759241104125977e-06, -2.771615982055664e-06, -2.6673078536987305e-06, -2.562999725341797e-06, -2.4586915969848633e-06, -2.3543834686279297e-06, -2.250075340270996e-06, -2.1457672119140625e-06, -2.041459083557129e-06, -1.9371509552001953e-06, -1.8328428268432617e-06, -1.7285346984863281e-06, -1.6242265701293945e-06, -1.519918441772461e-06, -1.4156103134155273e-06, -1.3113021850585938e-06, -1.2069940567016602e-06, -1.1026859283447266e-06, -9.98377799987793e-07, -8.940696716308594e-07, -7.897615432739258e-07, -6.854534149169922e-07, -5.811452865600586e-07, -4.76837158203125e-07, -3.725290298461914e-07, -2.682209014892578e-07, -1.6391277313232422e-07, -5.960464477539063e-08, 4.470348358154297e-08, 1.4901161193847656e-07, 2.5331974029541016e-07, 3.5762786865234375e-07, 4.6193599700927734e-07, 5.662441253662109e-07, 6.705522537231445e-07, 7.748603820800781e-07, 8.791685104370117e-07, 9.834766387939453e-07, 1.087784767150879e-06, 1.1920928955078125e-06, 1.296401023864746e-06, 1.4007091522216797e-06, 1.5050172805786133e-06, 1.6093254089355469e-06, 1.7136335372924805e-06, 1.817941665649414e-06, 1.9222497940063477e-06, 2.0265579223632812e-06, 2.130866050720215e-06, 2.2351741790771484e-06, 2.339482307434082e-06, 2.4437904357910156e-06, 2.5480985641479492e-06, 2.652406692504883e-06, 2.7567148208618164e-06, 2.86102294921875e-06, 2.9653310775756836e-06, 3.069639205932617e-06, 3.1739473342895508e-06, 3.2782554626464844e-06]}, "gradients/encoder.encoder.layers.11.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 1.0, 1.0, 5.0, 1.0, 4.0, 10.0, 19.0, 21.0, 28.0, 40.0, 65.0, 114.0, 121.0, 237.0, 336.0, 660.0, 844.0, 1423.0, 2160.0, 3632.0, 5783.0, 9716.0, 16372.0, 28491.0, 65511.0, 123292.0, 401845.0, 203617.0, 83214.0, 42303.0, 23698.0, 13560.0, 8157.0, 5586.0, 2766.0, 1748.0, 1110.0, 683.0, 474.0, 313.0, 185.0, 145.0, 93.0, 61.0, 38.0, 23.0, 16.0, 19.0, 9.0, 4.0, 6.0, 4.0, 2.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.0848045349121094e-05, -1.0483898222446442e-05, -1.011975109577179e-05, -9.755603969097137e-06, -9.391456842422485e-06, -9.027309715747833e-06, -8.663162589073181e-06, -8.299015462398529e-06, -7.934868335723877e-06, -7.570721209049225e-06, -7.206574082374573e-06, -6.842426955699921e-06, -6.4782798290252686e-06, -6.1141327023506165e-06, -5.749985575675964e-06, -5.385838449001312e-06, -5.02169132232666e-06, -4.657544195652008e-06, -4.293397068977356e-06, -3.929249942302704e-06, -3.5651028156280518e-06, -3.2009556889533997e-06, -2.8368085622787476e-06, -2.4726614356040955e-06, -2.1085143089294434e-06, -1.7443671822547913e-06, -1.3802200555801392e-06, -1.016072928905487e-06, -6.51925802230835e-07, -2.8777867555618286e-07, 7.636845111846924e-08, 4.4051557779312134e-07, 8.046627044677734e-07, 1.1688098311424255e-06, 1.5329569578170776e-06, 1.8971040844917297e-06, 2.261251211166382e-06, 2.625398337841034e-06, 2.989545464515686e-06, 3.353692591190338e-06, 3.7178397178649902e-06, 4.081986844539642e-06, 4.4461339712142944e-06, 4.8102810978889465e-06, 5.174428224563599e-06, 5.538575351238251e-06, 5.902722477912903e-06, 6.266869604587555e-06, 6.631016731262207e-06, 6.995163857936859e-06, 7.359310984611511e-06, 7.723458111286163e-06, 8.087605237960815e-06, 8.451752364635468e-06, 8.81589949131012e-06, 9.180046617984772e-06, 9.544193744659424e-06, 9.908340871334076e-06, 1.0272487998008728e-05, 1.063663512468338e-05, 1.1000782251358032e-05, 1.1364929378032684e-05, 1.1729076504707336e-05, 1.2093223631381989e-05, 1.245737075805664e-05]}, "gradients/encoder.encoder.layers.11.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 4.0, 1.0, 3.0, 6.0, 11.0, 2.0, 4.0, 6.0, 12.0, 12.0, 25.0, 10.0, 20.0, 15.0, 36.0, 20.0, 24.0, 30.0, 37.0, 33.0, 47.0, 29.0, 51.0, 51.0, 41.0, 48.0, 55.0, 32.0, 46.0, 29.0, 49.0, 31.0, 19.0, 31.0, 22.0, 23.0, 24.0, 10.0, 15.0, 14.0, 4.0, 8.0, 6.0, 2.0, 8.0, 5.0, 0.0, 2.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0], "bins": [-9.417533874511719e-06, -9.141862392425537e-06, -8.866190910339355e-06, -8.590519428253174e-06, -8.314847946166992e-06, -8.03917646408081e-06, -7.763504981994629e-06, -7.487833499908447e-06, -7.212162017822266e-06, -6.936490535736084e-06, -6.660819053649902e-06, -6.385147571563721e-06, -6.109476089477539e-06, -5.833804607391357e-06, -5.558133125305176e-06, -5.282461643218994e-06, -5.0067901611328125e-06, -4.731118679046631e-06, -4.455447196960449e-06, -4.179775714874268e-06, -3.904104232788086e-06, -3.6284327507019043e-06, -3.3527612686157227e-06, -3.077089786529541e-06, -2.8014183044433594e-06, -2.5257468223571777e-06, -2.250075340270996e-06, -1.9744038581848145e-06, -1.6987323760986328e-06, -1.4230608940124512e-06, -1.1473894119262695e-06, -8.717179298400879e-07, -5.960464477539062e-07, -3.203749656677246e-07, -4.470348358154297e-08, 2.3096799850463867e-07, 5.066394805908203e-07, 7.82310962677002e-07, 1.0579824447631836e-06, 1.3336539268493652e-06, 1.6093254089355469e-06, 1.8849968910217285e-06, 2.16066837310791e-06, 2.436339855194092e-06, 2.7120113372802734e-06, 2.987682819366455e-06, 3.2633543014526367e-06, 3.5390257835388184e-06, 3.814697265625e-06, 4.090368747711182e-06, 4.366040229797363e-06, 4.641711711883545e-06, 4.9173831939697266e-06, 5.193054676055908e-06, 5.46872615814209e-06, 5.7443976402282715e-06, 6.020069122314453e-06, 6.295740604400635e-06, 6.571412086486816e-06, 6.847083568572998e-06, 7.12275505065918e-06, 7.398426532745361e-06, 7.674098014831543e-06, 7.949769496917725e-06, 8.225440979003906e-06]}, "gradients/encoder.encoder.layers.11.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 3.0, 10.0, 5.0, 19.0, 16.0, 30.0, 32.0, 57.0, 82.0, 171.0, 191.0, 485.0, 597.0, 1376.0, 1905.0, 4831.0, 7443.0, 23429.0, 50138.0, 639583.0, 227356.0, 58427.0, 15132.0, 9005.0, 3245.0, 2360.0, 897.0, 739.0, 332.0, 280.0, 106.0, 120.0, 41.0, 42.0, 18.0, 16.0, 19.0, 13.0, 2.0, 7.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.4373016357421875e-06, -6.22868537902832e-06, -6.020069122314453e-06, -5.811452865600586e-06, -5.602836608886719e-06, -5.3942203521728516e-06, -5.185604095458984e-06, -4.976987838745117e-06, -4.76837158203125e-06, -4.559755325317383e-06, -4.351139068603516e-06, -4.1425228118896484e-06, -3.933906555175781e-06, -3.725290298461914e-06, -3.516674041748047e-06, -3.3080577850341797e-06, -3.0994415283203125e-06, -2.8908252716064453e-06, -2.682209014892578e-06, -2.473592758178711e-06, -2.2649765014648438e-06, -2.0563602447509766e-06, -1.8477439880371094e-06, -1.6391277313232422e-06, -1.430511474609375e-06, -1.2218952178955078e-06, -1.0132789611816406e-06, -8.046627044677734e-07, -5.960464477539062e-07, -3.8743019104003906e-07, -1.7881393432617188e-07, 2.9802322387695312e-08, 2.384185791015625e-07, 4.470348358154297e-07, 6.556510925292969e-07, 8.642673492431641e-07, 1.0728836059570312e-06, 1.2814998626708984e-06, 1.4901161193847656e-06, 1.6987323760986328e-06, 1.9073486328125e-06, 2.115964889526367e-06, 2.3245811462402344e-06, 2.5331974029541016e-06, 2.7418136596679688e-06, 2.950429916381836e-06, 3.159046173095703e-06, 3.3676624298095703e-06, 3.5762786865234375e-06, 3.7848949432373047e-06, 3.993511199951172e-06, 4.202127456665039e-06, 4.410743713378906e-06, 4.6193599700927734e-06, 4.827976226806641e-06, 5.036592483520508e-06, 5.245208740234375e-06, 5.453824996948242e-06, 5.662441253662109e-06, 5.8710575103759766e-06, 6.079673767089844e-06, 6.288290023803711e-06, 6.496906280517578e-06, 6.705522537231445e-06, 6.9141387939453125e-06]}, "gradients/encoder.encoder.layers.11.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 6.0, 0.0, 2.0, 5.0, 3.0, 4.0, 7.0, 5.0, 10.0, 7.0, 17.0, 15.0, 25.0, 20.0, 57.0, 45.0, 98.0, 241.0, 111.0, 95.0, 50.0, 55.0, 20.0, 33.0, 11.0, 22.0, 13.0, 17.0, 4.0, 2.0, 4.0, 2.0, 0.0, 4.0, 0.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.947185516357422e-06, -4.79724258184433e-06, -4.647299647331238e-06, -4.497356712818146e-06, -4.347413778305054e-06, -4.197470843791962e-06, -4.04752790927887e-06, -3.897584974765778e-06, -3.7476420402526855e-06, -3.5976991057395935e-06, -3.4477561712265015e-06, -3.2978132367134094e-06, -3.1478703022003174e-06, -2.9979273676872253e-06, -2.8479844331741333e-06, -2.6980414986610413e-06, -2.5480985641479492e-06, -2.398155629634857e-06, -2.248212695121765e-06, -2.098269760608673e-06, -1.948326826095581e-06, -1.798383891582489e-06, -1.648440957069397e-06, -1.498498022556305e-06, -1.3485550880432129e-06, -1.1986121535301208e-06, -1.0486692190170288e-06, -8.987262845039368e-07, -7.487833499908447e-07, -5.988404154777527e-07, -4.4889748096466064e-07, -2.989545464515686e-07, -1.4901161193847656e-07, 9.313225746154785e-10, 1.5087425708770752e-07, 3.0081719160079956e-07, 4.507601261138916e-07, 6.007030606269836e-07, 7.506459951400757e-07, 9.005889296531677e-07, 1.0505318641662598e-06, 1.2004747986793518e-06, 1.3504177331924438e-06, 1.5003606677055359e-06, 1.650303602218628e-06, 1.80024653673172e-06, 1.950189471244812e-06, 2.100132405757904e-06, 2.250075340270996e-06, 2.400018274784088e-06, 2.54996120929718e-06, 2.6999041438102722e-06, 2.8498470783233643e-06, 2.9997900128364563e-06, 3.1497329473495483e-06, 3.2996758818626404e-06, 3.4496188163757324e-06, 3.5995617508888245e-06, 3.7495046854019165e-06, 3.8994476199150085e-06, 4.049390554428101e-06, 4.199333488941193e-06, 4.349276423454285e-06, 4.499219357967377e-06, 4.649162292480469e-06]}, "gradients/encoder.encoder.layers.11.attention.q_proj.weight": {"_type": "histogram", "values": [3.0, 0.0, 3.0, 2.0, 1.0, 0.0, 3.0, 6.0, 4.0, 9.0, 8.0, 23.0, 22.0, 23.0, 49.0, 52.0, 76.0, 96.0, 235.0, 211.0, 338.0, 501.0, 686.0, 1069.0, 1604.0, 2693.0, 4182.0, 12818.0, 18089.0, 37541.0, 91326.0, 576978.0, 185873.0, 55806.0, 25633.0, 13335.0, 9660.0, 3361.0, 2124.0, 1314.0, 844.0, 597.0, 413.0, 292.0, 187.0, 195.0, 77.0, 68.0, 39.0, 36.0, 21.0, 20.0, 5.0, 7.0, 6.0, 1.0, 2.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 2.0], "bins": [-3.993511199951172e-06, -3.867782652378082e-06, -3.7420541048049927e-06, -3.616325557231903e-06, -3.4905970096588135e-06, -3.364868462085724e-06, -3.2391399145126343e-06, -3.1134113669395447e-06, -2.987682819366455e-06, -2.8619542717933655e-06, -2.736225724220276e-06, -2.6104971766471863e-06, -2.4847686290740967e-06, -2.359040081501007e-06, -2.2333115339279175e-06, -2.107582986354828e-06, -1.9818544387817383e-06, -1.8561258912086487e-06, -1.730397343635559e-06, -1.6046687960624695e-06, -1.4789402484893799e-06, -1.3532117009162903e-06, -1.2274831533432007e-06, -1.101754605770111e-06, -9.760260581970215e-07, -8.502975106239319e-07, -7.245689630508423e-07, -5.988404154777527e-07, -4.731118679046631e-07, -3.473833203315735e-07, -2.2165477275848389e-07, -9.592622518539429e-08, 2.9802322387695312e-08, 1.555308699607849e-07, 2.812594175338745e-07, 4.069879651069641e-07, 5.327165126800537e-07, 6.584450602531433e-07, 7.841736078262329e-07, 9.099021553993225e-07, 1.0356307029724121e-06, 1.1613592505455017e-06, 1.2870877981185913e-06, 1.412816345691681e-06, 1.5385448932647705e-06, 1.6642734408378601e-06, 1.7900019884109497e-06, 1.9157305359840393e-06, 2.041459083557129e-06, 2.1671876311302185e-06, 2.292916178703308e-06, 2.4186447262763977e-06, 2.5443732738494873e-06, 2.670101821422577e-06, 2.7958303689956665e-06, 2.921558916568756e-06, 3.0472874641418457e-06, 3.1730160117149353e-06, 3.298744559288025e-06, 3.4244731068611145e-06, 3.550201654434204e-06, 3.6759302020072937e-06, 3.8016587495803833e-06, 3.927387297153473e-06, 4.0531158447265625e-06]}, "gradients/encoder.encoder.layers.11.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 4.0, 2.0, 5.0, 4.0, 5.0, 6.0, 9.0, 13.0, 20.0, 11.0, 19.0, 16.0, 29.0, 43.0, 17.0, 44.0, 28.0, 93.0, 74.0, 196.0, 93.0, 32.0, 50.0, 20.0, 37.0, 38.0, 7.0, 26.0, 6.0, 17.0, 10.0, 1.0, 8.0, 3.0, 3.0, 2.0, 4.0, 3.0, 0.0, 6.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0], "bins": [-3.039836883544922e-06, -2.944841980934143e-06, -2.8498470783233643e-06, -2.7548521757125854e-06, -2.6598572731018066e-06, -2.564862370491028e-06, -2.469867467880249e-06, -2.3748725652694702e-06, -2.2798776626586914e-06, -2.1848827600479126e-06, -2.089887857437134e-06, -1.994892954826355e-06, -1.8998980522155762e-06, -1.8049031496047974e-06, -1.7099082469940186e-06, -1.6149133443832397e-06, -1.519918441772461e-06, -1.4249235391616821e-06, -1.3299286365509033e-06, -1.2349337339401245e-06, -1.1399388313293457e-06, -1.044943928718567e-06, -9.499490261077881e-07, -8.549541234970093e-07, -7.599592208862305e-07, -6.649643182754517e-07, -5.699694156646729e-07, -4.7497451305389404e-07, -3.7997961044311523e-07, -2.849847078323364e-07, -1.8998980522155762e-07, -9.499490261077881e-08, 0.0, 9.499490261077881e-08, 1.8998980522155762e-07, 2.849847078323364e-07, 3.7997961044311523e-07, 4.7497451305389404e-07, 5.699694156646729e-07, 6.649643182754517e-07, 7.599592208862305e-07, 8.549541234970093e-07, 9.499490261077881e-07, 1.044943928718567e-06, 1.1399388313293457e-06, 1.2349337339401245e-06, 1.3299286365509033e-06, 1.4249235391616821e-06, 1.519918441772461e-06, 1.6149133443832397e-06, 1.7099082469940186e-06, 1.8049031496047974e-06, 1.8998980522155762e-06, 1.994892954826355e-06, 2.089887857437134e-06, 2.1848827600479126e-06, 2.2798776626586914e-06, 2.3748725652694702e-06, 2.469867467880249e-06, 2.564862370491028e-06, 2.6598572731018066e-06, 2.7548521757125854e-06, 2.8498470783233643e-06, 2.944841980934143e-06, 3.039836883544922e-06]}, "gradients/encoder.encoder.layers.11.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 3.0, 2.0, 2.0, 6.0, 14.0, 10.0, 18.0, 24.0, 35.0, 46.0, 89.0, 137.0, 192.0, 105.0, 72.0, 52.0, 28.0, 39.0, 23.0, 25.0, 14.0, 11.0, 13.0, 9.0, 7.0, 6.0, 7.0, 4.0, 6.0, 8.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.311117274686694e-05, -5.135454557603225e-05, -4.959792204317637e-05, -4.784129487234168e-05, -4.6084671339485794e-05, -4.4328044168651104e-05, -4.257142063579522e-05, -4.081479346496053e-05, -3.905816993210465e-05, -3.730154276126996e-05, -3.5544919228414074e-05, -3.378829205757938e-05, -3.20316685247235e-05, -3.027504135388881e-05, -2.8518417821032926e-05, -2.6761790650198236e-05, -2.500516529835295e-05, -2.3248539946507663e-05, -2.1491914594662376e-05, -1.973528924281709e-05, -1.7978663890971802e-05, -1.6222038539126515e-05, -1.4465412277786527e-05, -1.270878692594124e-05, -1.0952161574095953e-05, -9.195536222250666e-06, -7.43891087040538e-06, -5.682285063812742e-06, -3.925659711967455e-06, -2.1690339053748176e-06, -4.1240855352953076e-07, 1.344216798315756e-06, 3.100842150161043e-06, 4.85746750200633e-06, 6.614092853851616e-06, 8.370718205696903e-06, 1.012734355754219e-05, 1.1883969818882179e-05, 1.3640595170727465e-05, 1.5397221432067454e-05, 1.7153844964923337e-05, 1.8910470316768624e-05, 2.066709566861391e-05, 2.2423721020459197e-05, 2.4180346372304484e-05, 2.5936973543139175e-05, 2.7693597075995058e-05, 2.9450224246829748e-05, 3.120685141766444e-05, 3.296347858849913e-05, 3.472010212135501e-05, 3.64767292921897e-05, 3.8233352825045586e-05, 3.9989979995880276e-05, 4.174660352873616e-05, 4.350323069957085e-05, 4.525985423242673e-05, 4.701648140326142e-05, 4.8773104936117306e-05, 5.0529732106952e-05, 5.228635563980788e-05, 5.404298281064257e-05, 5.5799606343498453e-05, 5.7556233514333144e-05, 5.931285704718903e-05]}, "gradients/encoder.encoder.layers.11.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 9.0, 4.0, 3.0, 3.0, 13.0, 10.0, 12.0, 11.0, 11.0, 25.0, 25.0, 25.0, 20.0, 35.0, 28.0, 38.0, 40.0, 36.0, 40.0, 39.0, 44.0, 44.0, 50.0, 46.0, 46.0, 42.0, 35.0, 28.0, 24.0, 30.0, 21.0, 39.0, 30.0, 17.0, 17.0, 12.0, 7.0, 10.0, 9.0, 9.0, 8.0, 5.0, 1.0, 4.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-2.9206275939941406e-05, -2.8219074010849e-05, -2.7231872081756592e-05, -2.6244670152664185e-05, -2.5257468223571777e-05, -2.427026629447937e-05, -2.3283064365386963e-05, -2.2295862436294556e-05, -2.130866050720215e-05, -2.032145857810974e-05, -1.9334256649017334e-05, -1.8347054719924927e-05, -1.735985279083252e-05, -1.6372650861740112e-05, -1.5385448932647705e-05, -1.4398247003555298e-05, -1.341104507446289e-05, -1.2423843145370483e-05, -1.1436641216278076e-05, -1.0449439287185669e-05, -9.462237358093262e-06, -8.475035429000854e-06, -7.487833499908447e-06, -6.50063157081604e-06, -5.513429641723633e-06, -4.526227712631226e-06, -3.5390257835388184e-06, -2.551823854446411e-06, -1.564621925354004e-06, -5.774199962615967e-07, 4.0978193283081055e-07, 1.3969838619232178e-06, 2.384185791015625e-06, 3.3713877201080322e-06, 4.3585896492004395e-06, 5.345791578292847e-06, 6.332993507385254e-06, 7.320195436477661e-06, 8.307397365570068e-06, 9.294599294662476e-06, 1.0281801223754883e-05, 1.126900315284729e-05, 1.2256205081939697e-05, 1.3243407011032104e-05, 1.4230608940124512e-05, 1.5217810869216919e-05, 1.6205012798309326e-05, 1.7192214727401733e-05, 1.817941665649414e-05, 1.9166618585586548e-05, 2.0153820514678955e-05, 2.1141022443771362e-05, 2.212822437286377e-05, 2.3115426301956177e-05, 2.4102628231048584e-05, 2.508983016014099e-05, 2.60770320892334e-05, 2.7064234018325806e-05, 2.8051435947418213e-05, 2.903863787651062e-05, 3.0025839805603027e-05, 3.1013041734695435e-05, 3.200024366378784e-05, 3.298744559288025e-05, 3.3974647521972656e-05]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 2.0, 4.0, 3.0, 2.0, 1.0, 6.0, 8.0, 3.0, 11.0, 16.0, 22.0, 44.0, 54.0, 80.0, 154.0, 217.0, 323.0, 485.0, 904.0, 1590.0, 2998.0, 5770.0, 12697.0, 30049.0, 313790.0, 3753740.0, 41498.0, 13904.0, 6704.0, 3704.0, 1960.0, 1199.0, 807.0, 478.0, 321.0, 205.0, 139.0, 106.0, 82.0, 54.0, 39.0, 32.0, 31.0, 18.0, 10.0, 7.0, 5.0, 4.0, 4.0, 3.0, 3.0, 1.0, 2.0, 3.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0], "bins": [-3.170967102050781e-05, -3.062095493078232e-05, -2.9532238841056824e-05, -2.844352275133133e-05, -2.7354806661605835e-05, -2.626609057188034e-05, -2.5177374482154846e-05, -2.4088658392429352e-05, -2.2999942302703857e-05, -2.1911226212978363e-05, -2.082251012325287e-05, -1.9733794033527374e-05, -1.864507794380188e-05, -1.7556361854076385e-05, -1.646764576435089e-05, -1.5378929674625397e-05, -1.4290213584899902e-05, -1.3201497495174408e-05, -1.2112781405448914e-05, -1.102406531572342e-05, -9.935349225997925e-06, -8.84663313627243e-06, -7.757917046546936e-06, -6.669200956821442e-06, -5.580484867095947e-06, -4.491768777370453e-06, -3.4030526876449585e-06, -2.314336597919464e-06, -1.2256205081939697e-06, -1.3690441846847534e-07, 9.51811671257019e-07, 2.0405277609825134e-06, 3.129243850708008e-06, 4.217959940433502e-06, 5.306676030158997e-06, 6.395392119884491e-06, 7.484108209609985e-06, 8.57282429933548e-06, 9.661540389060974e-06, 1.0750256478786469e-05, 1.1838972568511963e-05, 1.2927688658237457e-05, 1.4016404747962952e-05, 1.5105120837688446e-05, 1.619383692741394e-05, 1.7282553017139435e-05, 1.837126910686493e-05, 1.9459985196590424e-05, 2.0548701286315918e-05, 2.1637417376041412e-05, 2.2726133465766907e-05, 2.38148495554924e-05, 2.4903565645217896e-05, 2.599228173494339e-05, 2.7080997824668884e-05, 2.816971391439438e-05, 2.9258430004119873e-05, 3.0347146093845367e-05, 3.143586218357086e-05, 3.2524578273296356e-05, 3.361329436302185e-05, 3.4702010452747345e-05, 3.579072654247284e-05, 3.6879442632198334e-05, 3.796815872192383e-05]}, "gradients/encoder.encoder.layers.10.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 5.0, 4.0, 7.0, 10.0, 13.0, 24.0, 12.0, 19.0, 41.0, 31.0, 66.0, 52.0, 78.0, 95.0, 57.0, 102.0, 63.0, 92.0, 64.0, 37.0, 31.0, 16.0, 25.0, 17.0, 10.0, 11.0, 2.0, 8.0, 7.0, 3.0, 3.0, 4.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.470348358154297e-06, -4.314817488193512e-06, -4.159286618232727e-06, -4.003755748271942e-06, -3.848224878311157e-06, -3.6926940083503723e-06, -3.5371631383895874e-06, -3.3816322684288025e-06, -3.2261013984680176e-06, -3.0705705285072327e-06, -2.9150396585464478e-06, -2.759508788585663e-06, -2.603977918624878e-06, -2.448447048664093e-06, -2.292916178703308e-06, -2.137385308742523e-06, -1.9818544387817383e-06, -1.8263235688209534e-06, -1.6707926988601685e-06, -1.5152618288993835e-06, -1.3597309589385986e-06, -1.2042000889778137e-06, -1.0486692190170288e-06, -8.931383490562439e-07, -7.37607479095459e-07, -5.820766091346741e-07, -4.2654573917388916e-07, -2.7101486921310425e-07, -1.1548399925231934e-07, 4.0046870708465576e-08, 1.955777406692505e-07, 3.511086106300354e-07, 5.066394805908203e-07, 6.621703505516052e-07, 8.177012205123901e-07, 9.73232090473175e-07, 1.12876296043396e-06, 1.2842938303947449e-06, 1.4398247003555298e-06, 1.5953555703163147e-06, 1.7508864402770996e-06, 1.9064173102378845e-06, 2.0619481801986694e-06, 2.2174790501594543e-06, 2.3730099201202393e-06, 2.528540790081024e-06, 2.684071660041809e-06, 2.839602530002594e-06, 2.995133399963379e-06, 3.150664269924164e-06, 3.3061951398849487e-06, 3.4617260098457336e-06, 3.6172568798065186e-06, 3.7727877497673035e-06, 3.928318619728088e-06, 4.083849489688873e-06, 4.239380359649658e-06, 4.394911229610443e-06, 4.550442099571228e-06, 4.705972969532013e-06, 4.861503839492798e-06, 5.017034709453583e-06, 5.172565579414368e-06, 5.328096449375153e-06, 5.4836273193359375e-06]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 2.0, 4.0, 4.0, 17.0, 15.0, 16.0, 20.0, 28.0, 66.0, 82.0, 141.0, 188.0, 283.0, 405.0, 669.0, 1042.0, 1544.0, 3000.0, 4637.0, 8060.0, 15466.0, 31782.0, 85448.0, 1054227.0, 2836041.0, 84564.0, 31135.0, 15021.0, 7976.0, 4590.0, 2792.0, 1921.0, 1037.0, 704.0, 416.0, 317.0, 197.0, 142.0, 109.0, 60.0, 36.0, 28.0, 26.0, 9.0, 11.0, 6.0, 2.0, 2.0, 3.0, 1.0, 0.0, 3.0, 2.0], "bins": [-1.4901161193847656e-05, -1.4475546777248383e-05, -1.4049932360649109e-05, -1.3624317944049835e-05, -1.3198703527450562e-05, -1.2773089110851288e-05, -1.2347474694252014e-05, -1.192186027765274e-05, -1.1496245861053467e-05, -1.1070631444454193e-05, -1.064501702785492e-05, -1.0219402611255646e-05, -9.793788194656372e-06, -9.368173778057098e-06, -8.942559361457825e-06, -8.516944944858551e-06, -8.091330528259277e-06, -7.665716111660004e-06, -7.24010169506073e-06, -6.814487278461456e-06, -6.388872861862183e-06, -5.963258445262909e-06, -5.537644028663635e-06, -5.1120296120643616e-06, -4.686415195465088e-06, -4.260800778865814e-06, -3.8351863622665405e-06, -3.409571945667267e-06, -2.983957529067993e-06, -2.5583431124687195e-06, -2.132728695869446e-06, -1.7071142792701721e-06, -1.2814998626708984e-06, -8.558854460716248e-07, -4.302710294723511e-07, -4.6566128730773926e-09, 4.209578037261963e-07, 8.4657222032547e-07, 1.2721866369247437e-06, 1.6978010535240173e-06, 2.123415470123291e-06, 2.5490298867225647e-06, 2.9746443033218384e-06, 3.400258719921112e-06, 3.825873136520386e-06, 4.2514875531196594e-06, 4.677101969718933e-06, 5.102716386318207e-06, 5.5283308029174805e-06, 5.953945219516754e-06, 6.379559636116028e-06, 6.8051740527153015e-06, 7.230788469314575e-06, 7.656402885913849e-06, 8.082017302513123e-06, 8.507631719112396e-06, 8.93324613571167e-06, 9.358860552310944e-06, 9.784474968910217e-06, 1.0210089385509491e-05, 1.0635703802108765e-05, 1.1061318218708038e-05, 1.1486932635307312e-05, 1.1912547051906586e-05, 1.233816146850586e-05]}, "gradients/encoder.encoder.layers.10.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 2.0, 5.0, 4.0, 4.0, 2.0, 10.0, 4.0, 6.0, 15.0, 19.0, 10.0, 22.0, 25.0, 36.0, 24.0, 42.0, 41.0, 127.0, 253.0, 779.0, 1712.0, 480.0, 205.0, 79.0, 42.0, 22.0, 22.0, 16.0, 16.0, 11.0, 9.0, 3.0, 5.0, 5.0, 2.0, 7.0, 4.0, 2.0, 3.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-9.119510650634766e-06, -8.837319910526276e-06, -8.555129170417786e-06, -8.272938430309296e-06, -7.990747690200806e-06, -7.708556950092316e-06, -7.426366209983826e-06, -7.144175469875336e-06, -6.861984729766846e-06, -6.579793989658356e-06, -6.297603249549866e-06, -6.015412509441376e-06, -5.733221769332886e-06, -5.451031029224396e-06, -5.168840289115906e-06, -4.886649549007416e-06, -4.604458808898926e-06, -4.322268068790436e-06, -4.040077328681946e-06, -3.757886588573456e-06, -3.475695848464966e-06, -3.193505108356476e-06, -2.911314368247986e-06, -2.629123628139496e-06, -2.346932888031006e-06, -2.064742147922516e-06, -1.7825514078140259e-06, -1.5003606677055359e-06, -1.218169927597046e-06, -9.359791874885559e-07, -6.537884473800659e-07, -3.7159770727157593e-07, -8.940696716308594e-08, 1.9278377294540405e-07, 4.7497451305389404e-07, 7.57165253162384e-07, 1.039355993270874e-06, 1.321546733379364e-06, 1.603737473487854e-06, 1.885928213596344e-06, 2.168118953704834e-06, 2.450309693813324e-06, 2.732500433921814e-06, 3.014691174030304e-06, 3.296881914138794e-06, 3.579072654247284e-06, 3.861263394355774e-06, 4.143454134464264e-06, 4.425644874572754e-06, 4.707835614681244e-06, 4.990026354789734e-06, 5.272217094898224e-06, 5.554407835006714e-06, 5.836598575115204e-06, 6.118789315223694e-06, 6.400980055332184e-06, 6.683170795440674e-06, 6.965361535549164e-06, 7.247552275657654e-06, 7.529743015766144e-06, 7.811933755874634e-06, 8.094124495983124e-06, 8.376315236091614e-06, 8.658505976200104e-06, 8.940696716308594e-06]}, "gradients/encoder.encoder.layers.10.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 2.0, 3.0, 5.0, 5.0, 5.0, 9.0, 8.0, 10.0, 15.0, 8.0, 11.0, 27.0, 25.0, 40.0, 55.0, 60.0, 94.0, 93.0, 139.0, 114.0, 75.0, 55.0, 39.0, 26.0, 16.0, 13.0, 11.0, 7.0, 6.0, 10.0, 2.0, 5.0, 4.0, 1.0, 4.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-4.978242577635683e-05, -4.851912672165781e-05, -4.7255827666958794e-05, -4.5992528612259775e-05, -4.472922591958195e-05, -4.346592686488293e-05, -4.220262781018391e-05, -4.0939328755484894e-05, -3.9676029700785875e-05, -3.841273064608686e-05, -3.714943159138784e-05, -3.588613253668882e-05, -3.46228334819898e-05, -3.3359530789311975e-05, -3.209623173461296e-05, -3.083293267991394e-05, -2.956963362521492e-05, -2.83063345705159e-05, -2.7043035515816882e-05, -2.577973464212846e-05, -2.451643558742944e-05, -2.3253136532730423e-05, -2.1989835659042e-05, -2.0726536604342982e-05, -1.9463237549643964e-05, -1.8199938494944945e-05, -1.6936639440245926e-05, -1.5673338566557504e-05, -1.4410039511858486e-05, -1.3146740457159467e-05, -1.1883440492965747e-05, -1.0620140528772026e-05, -9.356841474073008e-06, -8.093542419373989e-06, -6.830242455180269e-06, -5.566942945733899e-06, -4.30364343628753e-06, -3.0403439268411603e-06, -1.7770444173947908e-06, -5.137444532010704e-07, 7.495546014979482e-07, 2.0128541109443177e-06, 3.276153620390687e-06, 4.539453129837057e-06, 5.802752639283426e-06, 7.066052148729796e-06, 8.329351658176165e-06, 9.592651622369885e-06, 1.0855950677068904e-05, 1.2119249731767923e-05, 1.3382549695961643e-05, 1.4645849660155363e-05, 1.5909148714854382e-05, 1.71724477695534e-05, 1.8435748643241823e-05, 1.969904769794084e-05, 2.096234675263986e-05, 2.222564580733888e-05, 2.3488944862037897e-05, 2.475224573572632e-05, 2.6015544790425338e-05, 2.7278843845124356e-05, 2.854214471881278e-05, 2.9805443773511797e-05, 3.1068742828210816e-05]}, "gradients/encoder.encoder.layers.10.final_layer_norm.bias": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 0.0, 2.0, 3.0, 2.0, 6.0, 4.0, 8.0, 8.0, 11.0, 7.0, 10.0, 14.0, 13.0, 18.0, 22.0, 22.0, 26.0, 17.0, 28.0, 34.0, 31.0, 21.0, 32.0, 39.0, 40.0, 31.0, 42.0, 46.0, 36.0, 31.0, 36.0, 36.0, 25.0, 26.0, 40.0, 18.0, 28.0, 22.0, 22.0, 18.0, 19.0, 17.0, 20.0, 12.0, 17.0, 11.0, 5.0, 9.0, 7.0, 5.0, 7.0, 5.0, 4.0, 4.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-1.8477439880371094e-05, -1.7865560948848724e-05, -1.7253682017326355e-05, -1.6641803085803986e-05, -1.6029924154281616e-05, -1.5418045222759247e-05, -1.4806166291236877e-05, -1.4194287359714508e-05, -1.3582408428192139e-05, -1.297052949666977e-05, -1.23586505651474e-05, -1.174677163362503e-05, -1.1134892702102661e-05, -1.0523013770580292e-05, -9.911134839057922e-06, -9.299255907535553e-06, -8.687376976013184e-06, -8.075498044490814e-06, -7.463619112968445e-06, -6.8517401814460754e-06, -6.239861249923706e-06, -5.627982318401337e-06, -5.016103386878967e-06, -4.404224455356598e-06, -3.7923455238342285e-06, -3.180466592311859e-06, -2.5685876607894897e-06, -1.9567087292671204e-06, -1.344829797744751e-06, -7.329508662223816e-07, -1.210719347000122e-07, 4.908069968223572e-07, 1.1026859283447266e-06, 1.714564859867096e-06, 2.3264437913894653e-06, 2.9383227229118347e-06, 3.550201654434204e-06, 4.1620805859565735e-06, 4.773959517478943e-06, 5.385838449001312e-06, 5.997717380523682e-06, 6.609596312046051e-06, 7.22147524356842e-06, 7.83335417509079e-06, 8.44523310661316e-06, 9.057112038135529e-06, 9.668990969657898e-06, 1.0280869901180267e-05, 1.0892748832702637e-05, 1.1504627764225006e-05, 1.2116506695747375e-05, 1.2728385627269745e-05, 1.3340264558792114e-05, 1.3952143490314484e-05, 1.4564022421836853e-05, 1.5175901353359222e-05, 1.5787780284881592e-05, 1.639965921640396e-05, 1.701153814792633e-05, 1.76234170794487e-05, 1.823529601097107e-05, 1.884717494249344e-05, 1.9459053874015808e-05, 2.0070932805538177e-05, 2.0682811737060547e-05]}, "gradients/encoder.encoder.layers.10.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 6.0, 3.0, 10.0, 12.0, 14.0, 16.0, 17.0, 36.0, 34.0, 48.0, 99.0, 106.0, 213.0, 307.0, 481.0, 776.0, 1489.0, 2361.0, 4652.0, 8597.0, 19339.0, 40699.0, 118348.0, 470726.0, 249494.0, 74556.0, 27505.0, 13968.0, 6430.0, 3544.0, 1777.0, 1086.0, 654.0, 388.0, 243.0, 170.0, 112.0, 73.0, 40.0, 33.0, 25.0, 13.0, 14.0, 14.0, 4.0, 4.0, 10.0, 6.0, 2.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 2.0], "bins": [-2.562999725341797e-05, -2.4823471903800964e-05, -2.401694655418396e-05, -2.3210421204566956e-05, -2.240389585494995e-05, -2.1597370505332947e-05, -2.0790845155715942e-05, -1.9984319806098938e-05, -1.9177794456481934e-05, -1.837126910686493e-05, -1.7564743757247925e-05, -1.675821840763092e-05, -1.5951693058013916e-05, -1.5145167708396912e-05, -1.4338642358779907e-05, -1.3532117009162903e-05, -1.2725591659545898e-05, -1.1919066309928894e-05, -1.111254096031189e-05, -1.0306015610694885e-05, -9.499490261077881e-06, -8.692964911460876e-06, -7.886439561843872e-06, -7.079914212226868e-06, -6.273388862609863e-06, -5.466863512992859e-06, -4.6603381633758545e-06, -3.85381281375885e-06, -3.0472874641418457e-06, -2.2407621145248413e-06, -1.434236764907837e-06, -6.277114152908325e-07, 1.7881393432617188e-07, 9.853392839431763e-07, 1.7918646335601807e-06, 2.598389983177185e-06, 3.4049153327941895e-06, 4.211440682411194e-06, 5.017966032028198e-06, 5.824491381645203e-06, 6.631016731262207e-06, 7.4375420808792114e-06, 8.244067430496216e-06, 9.05059278011322e-06, 9.857118129730225e-06, 1.0663643479347229e-05, 1.1470168828964233e-05, 1.2276694178581238e-05, 1.3083219528198242e-05, 1.3889744877815247e-05, 1.4696270227432251e-05, 1.5502795577049255e-05, 1.630932092666626e-05, 1.7115846276283264e-05, 1.792237162590027e-05, 1.8728896975517273e-05, 1.9535422325134277e-05, 2.0341947674751282e-05, 2.1148473024368286e-05, 2.195499837398529e-05, 2.2761523723602295e-05, 2.35680490732193e-05, 2.4374574422836304e-05, 2.5181099772453308e-05, 2.5987625122070312e-05]}, "gradients/encoder.encoder.layers.10.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 6.0, 8.0, 6.0, 4.0, 13.0, 18.0, 26.0, 20.0, 50.0, 45.0, 75.0, 74.0, 87.0, 97.0, 83.0, 57.0, 76.0, 60.0, 54.0, 36.0, 25.0, 31.0, 16.0, 10.0, 14.0, 6.0, 2.0, 2.0, 4.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-6.496906280517578e-06, -6.32554292678833e-06, -6.154179573059082e-06, -5.982816219329834e-06, -5.811452865600586e-06, -5.640089511871338e-06, -5.46872615814209e-06, -5.297362804412842e-06, -5.125999450683594e-06, -4.954636096954346e-06, -4.783272743225098e-06, -4.61190938949585e-06, -4.4405460357666016e-06, -4.2691826820373535e-06, -4.0978193283081055e-06, -3.926455974578857e-06, -3.7550926208496094e-06, -3.5837292671203613e-06, -3.4123659133911133e-06, -3.2410025596618652e-06, -3.069639205932617e-06, -2.898275852203369e-06, -2.726912498474121e-06, -2.555549144744873e-06, -2.384185791015625e-06, -2.212822437286377e-06, -2.041459083557129e-06, -1.8700957298278809e-06, -1.6987323760986328e-06, -1.5273690223693848e-06, -1.3560056686401367e-06, -1.1846423149108887e-06, -1.0132789611816406e-06, -8.419156074523926e-07, -6.705522537231445e-07, -4.991888999938965e-07, -3.2782554626464844e-07, -1.564621925354004e-07, 1.4901161193847656e-08, 1.862645149230957e-07, 3.5762786865234375e-07, 5.289912223815918e-07, 7.003545761108398e-07, 8.717179298400879e-07, 1.043081283569336e-06, 1.214444637298584e-06, 1.385807991027832e-06, 1.55717134475708e-06, 1.7285346984863281e-06, 1.8998980522155762e-06, 2.0712614059448242e-06, 2.2426247596740723e-06, 2.4139881134033203e-06, 2.5853514671325684e-06, 2.7567148208618164e-06, 2.9280781745910645e-06, 3.0994415283203125e-06, 3.2708048820495605e-06, 3.4421682357788086e-06, 3.6135315895080566e-06, 3.7848949432373047e-06, 3.956258296966553e-06, 4.127621650695801e-06, 4.298985004425049e-06, 4.470348358154297e-06]}, "gradients/encoder.encoder.layers.10.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 6.0, 5.0, 10.0, 7.0, 14.0, 15.0, 29.0, 42.0, 67.0, 111.0, 181.0, 329.0, 609.0, 1111.0, 1973.0, 4000.0, 7657.0, 15461.0, 32659.0, 75875.0, 237751.0, 476559.0, 100410.0, 48896.0, 22167.0, 10983.0, 5390.0, 2850.0, 1482.0, 787.0, 458.0, 257.0, 156.0, 90.0, 51.0, 39.0, 27.0, 20.0, 10.0, 10.0, 6.0, 4.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.436471939086914e-05, -1.3889744877815247e-05, -1.3414770364761353e-05, -1.2939795851707458e-05, -1.2464821338653564e-05, -1.198984682559967e-05, -1.1514872312545776e-05, -1.1039897799491882e-05, -1.0564923286437988e-05, -1.0089948773384094e-05, -9.6149742603302e-06, -9.139999747276306e-06, -8.665025234222412e-06, -8.190050721168518e-06, -7.715076208114624e-06, -7.24010169506073e-06, -6.765127182006836e-06, -6.290152668952942e-06, -5.815178155899048e-06, -5.340203642845154e-06, -4.86522912979126e-06, -4.390254616737366e-06, -3.915280103683472e-06, -3.4403055906295776e-06, -2.9653310775756836e-06, -2.4903565645217896e-06, -2.0153820514678955e-06, -1.5404075384140015e-06, -1.0654330253601074e-06, -5.904585123062134e-07, -1.1548399925231934e-07, 3.594905138015747e-07, 8.344650268554688e-07, 1.3094395399093628e-06, 1.7844140529632568e-06, 2.259388566017151e-06, 2.734363079071045e-06, 3.209337592124939e-06, 3.684312105178833e-06, 4.159286618232727e-06, 4.634261131286621e-06, 5.109235644340515e-06, 5.584210157394409e-06, 6.059184670448303e-06, 6.534159183502197e-06, 7.009133696556091e-06, 7.484108209609985e-06, 7.95908272266388e-06, 8.434057235717773e-06, 8.909031748771667e-06, 9.384006261825562e-06, 9.858980774879456e-06, 1.033395528793335e-05, 1.0808929800987244e-05, 1.1283904314041138e-05, 1.1758878827095032e-05, 1.2233853340148926e-05, 1.270882785320282e-05, 1.3183802366256714e-05, 1.3658776879310608e-05, 1.4133751392364502e-05, 1.4608725905418396e-05, 1.508370041847229e-05, 1.5558674931526184e-05, 1.6033649444580078e-05]}, "gradients/encoder.encoder.layers.10.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 3.0, 3.0, 7.0, 9.0, 11.0, 10.0, 16.0, 17.0, 31.0, 26.0, 21.0, 36.0, 37.0, 53.0, 49.0, 47.0, 73.0, 75.0, 75.0, 58.0, 53.0, 47.0, 35.0, 37.0, 36.0, 32.0, 20.0, 27.0, 14.0, 20.0, 13.0, 6.0, 4.0, 4.0, 1.0, 3.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1742115020751953e-05, -1.1393800377845764e-05, -1.1045485734939575e-05, -1.0697171092033386e-05, -1.0348856449127197e-05, -1.0000541806221008e-05, -9.65222716331482e-06, -9.30391252040863e-06, -8.955597877502441e-06, -8.607283234596252e-06, -8.258968591690063e-06, -7.910653948783875e-06, -7.5623393058776855e-06, -7.214024662971497e-06, -6.865710020065308e-06, -6.517395377159119e-06, -6.16908073425293e-06, -5.820766091346741e-06, -5.472451448440552e-06, -5.124136805534363e-06, -4.775822162628174e-06, -4.427507519721985e-06, -4.079192876815796e-06, -3.730878233909607e-06, -3.382563591003418e-06, -3.034248948097229e-06, -2.68593430519104e-06, -2.337619662284851e-06, -1.989305019378662e-06, -1.6409903764724731e-06, -1.2926757335662842e-06, -9.443610906600952e-07, -5.960464477539062e-07, -2.477318048477173e-07, 1.0058283805847168e-07, 4.4889748096466064e-07, 7.972121238708496e-07, 1.1455267667770386e-06, 1.4938414096832275e-06, 1.8421560525894165e-06, 2.1904706954956055e-06, 2.5387853384017944e-06, 2.8870999813079834e-06, 3.2354146242141724e-06, 3.5837292671203613e-06, 3.93204391002655e-06, 4.280358552932739e-06, 4.628673195838928e-06, 4.976987838745117e-06, 5.325302481651306e-06, 5.673617124557495e-06, 6.021931767463684e-06, 6.370246410369873e-06, 6.718561053276062e-06, 7.066875696182251e-06, 7.41519033908844e-06, 7.763504981994629e-06, 8.111819624900818e-06, 8.460134267807007e-06, 8.808448910713196e-06, 9.156763553619385e-06, 9.505078196525574e-06, 9.853392839431763e-06, 1.0201707482337952e-05, 1.055002212524414e-05]}, "gradients/encoder.encoder.layers.10.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 3.0, 2.0, 3.0, 5.0, 8.0, 13.0, 29.0, 46.0, 78.0, 125.0, 193.0, 257.0, 414.0, 659.0, 924.0, 2018.0, 2505.0, 4013.0, 6657.0, 12441.0, 26383.0, 71398.0, 736233.0, 111961.0, 35246.0, 15584.0, 7953.0, 4776.0, 2970.0, 2403.0, 1040.0, 694.0, 498.0, 343.0, 236.0, 144.0, 117.0, 51.0, 43.0, 32.0, 15.0, 19.0, 11.0, 6.0, 4.0, 2.0, 3.0, 4.0, 3.0, 1.0, 2.0], "bins": [-6.67572021484375e-06, -6.488524377346039e-06, -6.301328539848328e-06, -6.1141327023506165e-06, -5.926936864852905e-06, -5.739741027355194e-06, -5.552545189857483e-06, -5.365349352359772e-06, -5.1781535148620605e-06, -4.990957677364349e-06, -4.803761839866638e-06, -4.616566002368927e-06, -4.429370164871216e-06, -4.242174327373505e-06, -4.0549784898757935e-06, -3.867782652378082e-06, -3.680586814880371e-06, -3.49339097738266e-06, -3.3061951398849487e-06, -3.1189993023872375e-06, -2.9318034648895264e-06, -2.744607627391815e-06, -2.557411789894104e-06, -2.370215952396393e-06, -2.1830201148986816e-06, -1.9958242774009705e-06, -1.8086284399032593e-06, -1.621432602405548e-06, -1.434236764907837e-06, -1.2470409274101257e-06, -1.0598450899124146e-06, -8.726492524147034e-07, -6.854534149169922e-07, -4.98257577419281e-07, -3.110617399215698e-07, -1.2386590242385864e-07, 6.332993507385254e-08, 2.505257725715637e-07, 4.377216100692749e-07, 6.249174475669861e-07, 8.121132850646973e-07, 9.993091225624084e-07, 1.1865049600601196e-06, 1.3737007975578308e-06, 1.560896635055542e-06, 1.7480924725532532e-06, 1.9352883100509644e-06, 2.1224841475486755e-06, 2.3096799850463867e-06, 2.496875822544098e-06, 2.684071660041809e-06, 2.8712674975395203e-06, 3.0584633350372314e-06, 3.2456591725349426e-06, 3.432855010032654e-06, 3.620050847530365e-06, 3.807246685028076e-06, 3.994442522525787e-06, 4.1816383600234985e-06, 4.36883419752121e-06, 4.556030035018921e-06, 4.743225872516632e-06, 4.930421710014343e-06, 5.1176175475120544e-06, 5.304813385009766e-06]}, "gradients/encoder.encoder.layers.10.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 0.0, 2.0, 4.0, 3.0, 2.0, 4.0, 5.0, 1.0, 2.0, 5.0, 6.0, 1.0, 6.0, 4.0, 7.0, 5.0, 4.0, 8.0, 19.0, 10.0, 30.0, 24.0, 49.0, 45.0, 52.0, 84.0, 222.0, 110.0, 56.0, 45.0, 38.0, 38.0, 26.0, 13.0, 13.0, 17.0, 8.0, 4.0, 6.0, 9.0, 4.0, 5.0, 3.0, 3.0, 4.0, 0.0, 1.0, 1.0, 5.0, 0.0, 3.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.6954879760742188e-06, -3.57162207365036e-06, -3.4477561712265015e-06, -3.323890268802643e-06, -3.200024366378784e-06, -3.0761584639549255e-06, -2.952292561531067e-06, -2.8284266591072083e-06, -2.7045607566833496e-06, -2.580694854259491e-06, -2.4568289518356323e-06, -2.3329630494117737e-06, -2.209097146987915e-06, -2.0852312445640564e-06, -1.9613653421401978e-06, -1.8374994397163391e-06, -1.7136335372924805e-06, -1.5897676348686218e-06, -1.4659017324447632e-06, -1.3420358300209045e-06, -1.218169927597046e-06, -1.0943040251731873e-06, -9.704381227493286e-07, -8.4657222032547e-07, -7.227063179016113e-07, -5.988404154777527e-07, -4.7497451305389404e-07, -3.511086106300354e-07, -2.2724270820617676e-07, -1.0337680578231812e-07, 2.0489096641540527e-08, 1.4435499906539917e-07, 2.682209014892578e-07, 3.9208680391311646e-07, 5.159527063369751e-07, 6.398186087608337e-07, 7.636845111846924e-07, 8.87550413608551e-07, 1.0114163160324097e-06, 1.1352822184562683e-06, 1.259148120880127e-06, 1.3830140233039856e-06, 1.5068799257278442e-06, 1.6307458281517029e-06, 1.7546117305755615e-06, 1.8784776329994202e-06, 2.002343535423279e-06, 2.1262094378471375e-06, 2.250075340270996e-06, 2.3739412426948547e-06, 2.4978071451187134e-06, 2.621673047542572e-06, 2.7455389499664307e-06, 2.8694048523902893e-06, 2.993270754814148e-06, 3.1171366572380066e-06, 3.2410025596618652e-06, 3.364868462085724e-06, 3.4887343645095825e-06, 3.612600266933441e-06, 3.7364661693573e-06, 3.8603320717811584e-06, 3.984197974205017e-06, 4.108063876628876e-06, 4.231929779052734e-06]}, "gradients/encoder.encoder.layers.10.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 8.0, 6.0, 5.0, 12.0, 19.0, 24.0, 28.0, 40.0, 51.0, 125.0, 168.0, 239.0, 465.0, 909.0, 1647.0, 2150.0, 5469.0, 11483.0, 17585.0, 60589.0, 647327.0, 222096.0, 37671.0, 21373.0, 9539.0, 4448.0, 1873.0, 1433.0, 752.0, 319.0, 284.0, 151.0, 101.0, 39.0, 43.0, 33.0, 10.0, 15.0, 7.0, 13.0, 3.0, 3.0, 7.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.510185241699219e-06, -7.288530468940735e-06, -7.066875696182251e-06, -6.845220923423767e-06, -6.623566150665283e-06, -6.401911377906799e-06, -6.1802566051483154e-06, -5.9586018323898315e-06, -5.736947059631348e-06, -5.515292286872864e-06, -5.29363751411438e-06, -5.071982741355896e-06, -4.850327968597412e-06, -4.628673195838928e-06, -4.407018423080444e-06, -4.1853636503219604e-06, -3.9637088775634766e-06, -3.7420541048049927e-06, -3.520399332046509e-06, -3.298744559288025e-06, -3.077089786529541e-06, -2.855435013771057e-06, -2.6337802410125732e-06, -2.4121254682540894e-06, -2.1904706954956055e-06, -1.9688159227371216e-06, -1.7471611499786377e-06, -1.5255063772201538e-06, -1.30385160446167e-06, -1.082196831703186e-06, -8.605420589447021e-07, -6.388872861862183e-07, -4.172325134277344e-07, -1.955777406692505e-07, 2.60770320892334e-08, 2.477318048477173e-07, 4.6938657760620117e-07, 6.910413503646851e-07, 9.126961231231689e-07, 1.1343508958816528e-06, 1.3560056686401367e-06, 1.5776604413986206e-06, 1.7993152141571045e-06, 2.0209699869155884e-06, 2.2426247596740723e-06, 2.464279532432556e-06, 2.68593430519104e-06, 2.907589077949524e-06, 3.129243850708008e-06, 3.3508986234664917e-06, 3.5725533962249756e-06, 3.7942081689834595e-06, 4.015862941741943e-06, 4.237517714500427e-06, 4.459172487258911e-06, 4.680827260017395e-06, 4.902482032775879e-06, 5.124136805534363e-06, 5.345791578292847e-06, 5.5674463510513306e-06, 5.7891011238098145e-06, 6.010755896568298e-06, 6.232410669326782e-06, 6.454065442085266e-06, 6.67572021484375e-06]}, "gradients/encoder.encoder.layers.10.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 3.0, 2.0, 2.0, 5.0, 10.0, 4.0, 14.0, 8.0, 22.0, 8.0, 22.0, 27.0, 29.0, 42.0, 75.0, 147.0, 275.0, 50.0, 56.0, 58.0, 36.0, 19.0, 22.0, 20.0, 6.0, 7.0, 16.0, 7.0, 5.0, 3.0, 5.0, 3.0, 4.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.185604095458984e-06, -5.014240741729736e-06, -4.842877388000488e-06, -4.67151403427124e-06, -4.500150680541992e-06, -4.328787326812744e-06, -4.157423973083496e-06, -3.986060619354248e-06, -3.814697265625e-06, -3.643333911895752e-06, -3.471970558166504e-06, -3.300607204437256e-06, -3.129243850708008e-06, -2.9578804969787598e-06, -2.7865171432495117e-06, -2.6151537895202637e-06, -2.4437904357910156e-06, -2.2724270820617676e-06, -2.1010637283325195e-06, -1.9297003746032715e-06, -1.7583370208740234e-06, -1.5869736671447754e-06, -1.4156103134155273e-06, -1.2442469596862793e-06, -1.0728836059570312e-06, -9.015202522277832e-07, -7.301568984985352e-07, -5.587935447692871e-07, -3.8743019104003906e-07, -2.1606683731079102e-07, -4.470348358154297e-08, 1.2665987014770508e-07, 2.980232238769531e-07, 4.6938657760620117e-07, 6.407499313354492e-07, 8.121132850646973e-07, 9.834766387939453e-07, 1.1548399925231934e-06, 1.3262033462524414e-06, 1.4975666999816895e-06, 1.6689300537109375e-06, 1.8402934074401855e-06, 2.0116567611694336e-06, 2.1830201148986816e-06, 2.3543834686279297e-06, 2.5257468223571777e-06, 2.6971101760864258e-06, 2.868473529815674e-06, 3.039836883544922e-06, 3.21120023727417e-06, 3.382563591003418e-06, 3.553926944732666e-06, 3.725290298461914e-06, 3.896653652191162e-06, 4.06801700592041e-06, 4.239380359649658e-06, 4.410743713378906e-06, 4.582107067108154e-06, 4.753470420837402e-06, 4.92483377456665e-06, 5.0961971282958984e-06, 5.2675604820251465e-06, 5.4389238357543945e-06, 5.610287189483643e-06, 5.781650543212891e-06]}, "gradients/encoder.encoder.layers.10.layer_norm.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0, 2.0, 3.0, 1.0, 2.0, 3.0, 3.0, 7.0, 6.0, 11.0, 7.0, 15.0, 12.0, 19.0, 22.0, 22.0, 34.0, 34.0, 67.0, 76.0, 140.0, 184.0, 110.0, 62.0, 41.0, 33.0, 20.0, 20.0, 10.0, 6.0, 5.0, 9.0, 7.0, 3.0, 5.0, 2.0, 3.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.465368303703144e-05, -5.3220934205455706e-05, -5.178818537387997e-05, -5.035543654230423e-05, -4.8922687710728496e-05, -4.748993887915276e-05, -4.6057190047577024e-05, -4.462444121600129e-05, -4.319169238442555e-05, -4.1758943552849814e-05, -4.032619472127408e-05, -3.889344588969834e-05, -3.7460697058122605e-05, -3.602794822654687e-05, -3.459519939497113e-05, -3.3162450563395396e-05, -3.172970173181966e-05, -3.0296952900243923e-05, -2.8864204068668187e-05, -2.743145523709245e-05, -2.5998706405516714e-05, -2.4565957573940977e-05, -2.313320874236524e-05, -2.1700459910789505e-05, -2.0267711079213768e-05, -1.8834962247638032e-05, -1.7402213416062295e-05, -1.596946458448656e-05, -1.4536715752910823e-05, -1.3103966921335086e-05, -1.167121808975935e-05, -1.0238469258183613e-05, -8.80571678862907e-06, -7.3729679570533335e-06, -5.940219125477597e-06, -4.507470293901861e-06, -3.0747214623261243e-06, -1.641972630750388e-06, -2.092237991746515e-07, 1.223525032401085e-06, 2.6562738639768213e-06, 4.089022695552558e-06, 5.521771527128294e-06, 6.9545203587040305e-06, 8.387269190279767e-06, 9.820018021855503e-06, 1.125276685343124e-05, 1.2685515685006976e-05, 1.4118264516582713e-05, 1.555101334815845e-05, 1.6983762179734185e-05, 1.8416511011309922e-05, 1.9849259842885658e-05, 2.1282008674461395e-05, 2.271475750603713e-05, 2.4147506337612867e-05, 2.5580255169188604e-05, 2.701300400076434e-05, 2.8445752832340077e-05, 2.9878501663915813e-05, 3.131125049549155e-05, 3.2743999327067286e-05, 3.417674815864302e-05, 3.560949699021876e-05, 3.7042245821794495e-05]}, "gradients/encoder.encoder.layers.10.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 2.0, 6.0, 4.0, 5.0, 10.0, 15.0, 17.0, 10.0, 15.0, 25.0, 22.0, 36.0, 26.0, 35.0, 19.0, 35.0, 38.0, 41.0, 43.0, 52.0, 50.0, 40.0, 37.0, 51.0, 45.0, 34.0, 42.0, 27.0, 29.0, 29.0, 31.0, 20.0, 22.0, 18.0, 10.0, 7.0, 11.0, 11.0, 9.0, 8.0, 9.0, 4.0, 3.0, 3.0, 2.0, 1.0, 2.0, 2.0, 0.0, 2.0], "bins": [-3.0338764190673828e-05, -2.9482878744602203e-05, -2.862699329853058e-05, -2.7771107852458954e-05, -2.691522240638733e-05, -2.6059336960315704e-05, -2.520345151424408e-05, -2.4347566068172455e-05, -2.349168062210083e-05, -2.2635795176029205e-05, -2.177990972995758e-05, -2.0924024283885956e-05, -2.006813883781433e-05, -1.9212253391742706e-05, -1.835636794567108e-05, -1.7500482499599457e-05, -1.6644597053527832e-05, -1.5788711607456207e-05, -1.4932826161384583e-05, -1.4076940715312958e-05, -1.3221055269241333e-05, -1.2365169823169708e-05, -1.1509284377098083e-05, -1.0653398931026459e-05, -9.797513484954834e-06, -8.94162803888321e-06, -8.085742592811584e-06, -7.22985714673996e-06, -6.373971700668335e-06, -5.51808625459671e-06, -4.6622008085250854e-06, -3.8063153624534607e-06, -2.950429916381836e-06, -2.094544470310211e-06, -1.2386590242385864e-06, -3.8277357816696167e-07, 4.731118679046631e-07, 1.3289973139762878e-06, 2.1848827600479126e-06, 3.0407682061195374e-06, 3.896653652191162e-06, 4.752539098262787e-06, 5.608424544334412e-06, 6.464309990406036e-06, 7.320195436477661e-06, 8.176080882549286e-06, 9.03196632862091e-06, 9.887851774692535e-06, 1.074373722076416e-05, 1.1599622666835785e-05, 1.245550811290741e-05, 1.3311393558979034e-05, 1.416727900505066e-05, 1.5023164451122284e-05, 1.587904989719391e-05, 1.6734935343265533e-05, 1.7590820789337158e-05, 1.8446706235408783e-05, 1.9302591681480408e-05, 2.0158477127552032e-05, 2.1014362573623657e-05, 2.1870248019695282e-05, 2.2726133465766907e-05, 2.358201891183853e-05, 2.4437904357910156e-05]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 4.0, 0.0, 3.0, 8.0, 3.0, 8.0, 7.0, 8.0, 17.0, 19.0, 29.0, 39.0, 67.0, 96.0, 139.0, 217.0, 350.0, 546.0, 770.0, 1374.0, 2552.0, 4190.0, 7860.0, 17548.0, 45485.0, 3921272.0, 144200.0, 24058.0, 10820.0, 5676.0, 2816.0, 1552.0, 984.0, 546.0, 356.0, 251.0, 141.0, 80.0, 60.0, 45.0, 35.0, 19.0, 14.0, 13.0, 6.0, 6.0, 4.0, 2.0, 1.0, 1.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.069639205932617e-05, -2.9663555324077606e-05, -2.863071858882904e-05, -2.7597881853580475e-05, -2.656504511833191e-05, -2.5532208383083344e-05, -2.4499371647834778e-05, -2.3466534912586212e-05, -2.2433698177337646e-05, -2.140086144208908e-05, -2.0368024706840515e-05, -1.933518797159195e-05, -1.8302351236343384e-05, -1.7269514501094818e-05, -1.6236677765846252e-05, -1.5203841030597687e-05, -1.4171004295349121e-05, -1.3138167560100555e-05, -1.210533082485199e-05, -1.1072494089603424e-05, -1.0039657354354858e-05, -9.006820619106293e-06, -7.973983883857727e-06, -6.941147148609161e-06, -5.908310413360596e-06, -4.87547367811203e-06, -3.842636942863464e-06, -2.8098002076148987e-06, -1.776963472366333e-06, -7.441267371177673e-07, 2.8870999813079834e-07, 1.321546733379364e-06, 2.3543834686279297e-06, 3.3872202038764954e-06, 4.420056939125061e-06, 5.452893674373627e-06, 6.485730409622192e-06, 7.518567144870758e-06, 8.551403880119324e-06, 9.58424061536789e-06, 1.0617077350616455e-05, 1.164991408586502e-05, 1.2682750821113586e-05, 1.3715587556362152e-05, 1.4748424291610718e-05, 1.5781261026859283e-05, 1.681409776210785e-05, 1.7846934497356415e-05, 1.887977123260498e-05, 1.9912607967853546e-05, 2.0945444703102112e-05, 2.1978281438350677e-05, 2.3011118173599243e-05, 2.404395490884781e-05, 2.5076791644096375e-05, 2.610962837934494e-05, 2.7142465114593506e-05, 2.817530184984207e-05, 2.9208138585090637e-05, 3.0240975320339203e-05, 3.127381205558777e-05, 3.2306648790836334e-05, 3.33394855260849e-05, 3.4372322261333466e-05, 3.540515899658203e-05]}, "gradients/encoder.encoder.layers.9.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 0.0, 2.0, 5.0, 3.0, 1.0, 4.0, 14.0, 11.0, 15.0, 20.0, 19.0, 21.0, 23.0, 34.0, 46.0, 42.0, 50.0, 73.0, 83.0, 67.0, 59.0, 56.0, 60.0, 50.0, 44.0, 39.0, 40.0, 33.0, 22.0, 16.0, 13.0, 8.0, 7.0, 10.0, 8.0, 2.0, 2.0, 3.0, 3.0, 4.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.993511199951172e-06, -3.859400749206543e-06, -3.725290298461914e-06, -3.591179847717285e-06, -3.4570693969726562e-06, -3.3229589462280273e-06, -3.1888484954833984e-06, -3.0547380447387695e-06, -2.9206275939941406e-06, -2.7865171432495117e-06, -2.652406692504883e-06, -2.518296241760254e-06, -2.384185791015625e-06, -2.250075340270996e-06, -2.115964889526367e-06, -1.9818544387817383e-06, -1.8477439880371094e-06, -1.7136335372924805e-06, -1.5795230865478516e-06, -1.4454126358032227e-06, -1.3113021850585938e-06, -1.1771917343139648e-06, -1.043081283569336e-06, -9.08970832824707e-07, -7.748603820800781e-07, -6.407499313354492e-07, -5.066394805908203e-07, -3.725290298461914e-07, -2.384185791015625e-07, -1.043081283569336e-07, 2.9802322387695312e-08, 1.6391277313232422e-07, 2.980232238769531e-07, 4.3213367462158203e-07, 5.662441253662109e-07, 7.003545761108398e-07, 8.344650268554688e-07, 9.685754776000977e-07, 1.1026859283447266e-06, 1.2367963790893555e-06, 1.3709068298339844e-06, 1.5050172805786133e-06, 1.6391277313232422e-06, 1.773238182067871e-06, 1.9073486328125e-06, 2.041459083557129e-06, 2.175569534301758e-06, 2.3096799850463867e-06, 2.4437904357910156e-06, 2.5779008865356445e-06, 2.7120113372802734e-06, 2.8461217880249023e-06, 2.9802322387695312e-06, 3.11434268951416e-06, 3.248453140258789e-06, 3.382563591003418e-06, 3.516674041748047e-06, 3.6507844924926758e-06, 3.7848949432373047e-06, 3.919005393981934e-06, 4.0531158447265625e-06, 4.187226295471191e-06, 4.32133674621582e-06, 4.455447196960449e-06, 4.589557647705078e-06]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 3.0, 4.0, 4.0, 9.0, 4.0, 16.0, 18.0, 17.0, 39.0, 59.0, 78.0, 102.0, 191.0, 219.0, 409.0, 623.0, 835.0, 1576.0, 2428.0, 3564.0, 7018.0, 12957.0, 21552.0, 58015.0, 325442.0, 3439751.0, 222674.0, 49811.0, 19183.0, 11683.0, 6428.0, 3211.0, 2332.0, 1459.0, 810.0, 629.0, 392.0, 201.0, 181.0, 142.0, 73.0, 46.0, 34.0, 28.0, 18.0, 12.0, 6.0, 3.0, 4.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.329183578491211e-05, -1.28941610455513e-05, -1.249648630619049e-05, -1.2098811566829681e-05, -1.1701136827468872e-05, -1.1303462088108063e-05, -1.0905787348747253e-05, -1.0508112609386444e-05, -1.0110437870025635e-05, -9.712763130664825e-06, -9.315088391304016e-06, -8.917413651943207e-06, -8.519738912582397e-06, -8.122064173221588e-06, -7.724389433860779e-06, -7.3267146944999695e-06, -6.92903995513916e-06, -6.531365215778351e-06, -6.1336904764175415e-06, -5.736015737056732e-06, -5.338340997695923e-06, -4.9406662583351135e-06, -4.542991518974304e-06, -4.145316779613495e-06, -3.7476420402526855e-06, -3.3499673008918762e-06, -2.952292561531067e-06, -2.5546178221702576e-06, -2.1569430828094482e-06, -1.759268343448639e-06, -1.3615936040878296e-06, -9.639188647270203e-07, -5.662441253662109e-07, -1.685693860054016e-07, 2.2910535335540771e-07, 6.26780092716217e-07, 1.0244548320770264e-06, 1.4221295714378357e-06, 1.819804310798645e-06, 2.2174790501594543e-06, 2.6151537895202637e-06, 3.012828528881073e-06, 3.4105032682418823e-06, 3.8081780076026917e-06, 4.205852746963501e-06, 4.60352748632431e-06, 5.00120222568512e-06, 5.398876965045929e-06, 5.796551704406738e-06, 6.194226443767548e-06, 6.591901183128357e-06, 6.989575922489166e-06, 7.387250661849976e-06, 7.784925401210785e-06, 8.182600140571594e-06, 8.580274879932404e-06, 8.977949619293213e-06, 9.375624358654022e-06, 9.773299098014832e-06, 1.0170973837375641e-05, 1.056864857673645e-05, 1.096632331609726e-05, 1.1363998055458069e-05, 1.1761672794818878e-05, 1.2159347534179688e-05]}, "gradients/encoder.encoder.layers.9.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 0.0, 1.0, 2.0, 4.0, 3.0, 5.0, 3.0, 3.0, 4.0, 8.0, 8.0, 6.0, 9.0, 15.0, 13.0, 21.0, 21.0, 19.0, 39.0, 32.0, 62.0, 212.0, 379.0, 1726.0, 760.0, 314.0, 158.0, 54.0, 37.0, 32.0, 24.0, 28.0, 11.0, 11.0, 12.0, 6.0, 7.0, 9.0, 3.0, 4.0, 2.0, 5.0, 2.0, 4.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-8.046627044677734e-06, -7.784925401210785e-06, -7.5232237577438354e-06, -7.261522114276886e-06, -6.9998204708099365e-06, -6.738118827342987e-06, -6.476417183876038e-06, -6.214715540409088e-06, -5.953013896942139e-06, -5.691312253475189e-06, -5.42961061000824e-06, -5.16790896654129e-06, -4.906207323074341e-06, -4.644505679607391e-06, -4.382804036140442e-06, -4.1211023926734924e-06, -3.859400749206543e-06, -3.5976991057395935e-06, -3.335997462272644e-06, -3.0742958188056946e-06, -2.812594175338745e-06, -2.5508925318717957e-06, -2.289190888404846e-06, -2.0274892449378967e-06, -1.7657876014709473e-06, -1.5040859580039978e-06, -1.2423843145370483e-06, -9.806826710700989e-07, -7.189810276031494e-07, -4.5727938413619995e-07, -1.955777406692505e-07, 6.612390279769897e-08, 3.2782554626464844e-07, 5.895271897315979e-07, 8.512288331985474e-07, 1.1129304766654968e-06, 1.3746321201324463e-06, 1.6363337635993958e-06, 1.8980354070663452e-06, 2.1597370505332947e-06, 2.421438694000244e-06, 2.6831403374671936e-06, 2.944841980934143e-06, 3.2065436244010925e-06, 3.468245267868042e-06, 3.7299469113349915e-06, 3.991648554801941e-06, 4.25335019826889e-06, 4.51505184173584e-06, 4.776753485202789e-06, 5.038455128669739e-06, 5.300156772136688e-06, 5.561858415603638e-06, 5.823560059070587e-06, 6.085261702537537e-06, 6.346963346004486e-06, 6.6086649894714355e-06, 6.870366632938385e-06, 7.1320682764053345e-06, 7.393769919872284e-06, 7.655471563339233e-06, 7.917173206806183e-06, 8.178874850273132e-06, 8.440576493740082e-06, 8.702278137207031e-06]}, "gradients/encoder.encoder.layers.9.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 1.0, 2.0, 6.0, 2.0, 9.0, 5.0, 12.0, 7.0, 8.0, 9.0, 16.0, 31.0, 33.0, 27.0, 34.0, 39.0, 57.0, 70.0, 96.0, 101.0, 89.0, 76.0, 56.0, 51.0, 32.0, 28.0, 22.0, 18.0, 14.0, 9.0, 9.0, 10.0, 5.0, 5.0, 5.0, 5.0, 4.0, 2.0, 4.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-3.2347576052416116e-05, -3.140689295832999e-05, -3.046621168323327e-05, -2.9525530408136547e-05, -2.858484731405042e-05, -2.76441660389537e-05, -2.6703484763856977e-05, -2.5762801669770852e-05, -2.482212039467413e-05, -2.3881439119577408e-05, -2.2940756025491282e-05, -2.200007475039456e-05, -2.1059391656308435e-05, -2.0118710381211713e-05, -1.9178027287125587e-05, -1.8237346012028866e-05, -1.7296664736932144e-05, -1.635598346183542e-05, -1.5415300367749296e-05, -1.4474619092652574e-05, -1.353393690806115e-05, -1.2593254723469727e-05, -1.1652572538878303e-05, -1.071189035428688e-05, -9.771207260200754e-06, -8.83052507560933e-06, -7.889842891017906e-06, -6.9491611611738335e-06, -6.008479431329761e-06, -5.067797246738337e-06, -4.127115062146913e-06, -3.1864333323028404e-06, -2.2457516024587676e-06, -1.3050696452410193e-06, -3.643875743364333e-07, 5.762944965681527e-07, 1.516976453785901e-06, 2.4576584110036492e-06, 3.398340595595073e-06, 4.339022325439146e-06, 5.2797045100305695e-06, 6.220386694621993e-06, 7.161068424466066e-06, 8.10175060905749e-06, 9.042432793648914e-06, 9.983114068745635e-06, 1.0923797162831761e-05, 1.1864478437928483e-05, 1.2805160622519907e-05, 1.374584280711133e-05, 1.4686524991702754e-05, 1.5627207176294178e-05, 1.65678884513909e-05, 1.750856972648762e-05, 1.8449252820573747e-05, 1.938993409567047e-05, 2.0330617189756595e-05, 2.1271298464853317e-05, 2.2211981558939442e-05, 2.3152662834036164e-05, 2.409334592812229e-05, 2.503402720321901e-05, 2.5974710297305137e-05, 2.691539157240186e-05, 2.785607284749858e-05]}, "gradients/encoder.encoder.layers.9.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 5.0, 4.0, 2.0, 5.0, 7.0, 9.0, 14.0, 11.0, 9.0, 15.0, 19.0, 19.0, 30.0, 18.0, 36.0, 33.0, 45.0, 32.0, 34.0, 36.0, 51.0, 43.0, 49.0, 44.0, 52.0, 45.0, 43.0, 43.0, 40.0, 27.0, 35.0, 30.0, 18.0, 13.0, 16.0, 19.0, 16.0, 11.0, 9.0, 7.0, 9.0, 2.0, 3.0, 4.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.1636486053466797e-05, -2.09929421544075e-05, -2.0349398255348206e-05, -1.970585435628891e-05, -1.9062310457229614e-05, -1.841876655817032e-05, -1.7775222659111023e-05, -1.7131678760051727e-05, -1.648813486099243e-05, -1.5844590961933136e-05, -1.520104706287384e-05, -1.4557503163814545e-05, -1.3913959264755249e-05, -1.3270415365695953e-05, -1.2626871466636658e-05, -1.1983327567577362e-05, -1.1339783668518066e-05, -1.069623976945877e-05, -1.0052695870399475e-05, -9.40915197134018e-06, -8.765608072280884e-06, -8.122064173221588e-06, -7.4785202741622925e-06, -6.834976375102997e-06, -6.191432476043701e-06, -5.5478885769844055e-06, -4.90434467792511e-06, -4.260800778865814e-06, -3.6172568798065186e-06, -2.973712980747223e-06, -2.3301690816879272e-06, -1.6866251826286316e-06, -1.043081283569336e-06, -3.995373845100403e-07, 2.4400651454925537e-07, 8.87550413608551e-07, 1.5310943126678467e-06, 2.1746382117271423e-06, 2.818182110786438e-06, 3.4617260098457336e-06, 4.105269908905029e-06, 4.748813807964325e-06, 5.392357707023621e-06, 6.035901606082916e-06, 6.679445505142212e-06, 7.3229894042015076e-06, 7.966533303260803e-06, 8.610077202320099e-06, 9.253621101379395e-06, 9.89716500043869e-06, 1.0540708899497986e-05, 1.1184252798557281e-05, 1.1827796697616577e-05, 1.2471340596675873e-05, 1.3114884495735168e-05, 1.3758428394794464e-05, 1.440197229385376e-05, 1.5045516192913055e-05, 1.568906009197235e-05, 1.6332603991031647e-05, 1.6976147890090942e-05, 1.7619691789150238e-05, 1.8263235688209534e-05, 1.890677958726883e-05, 1.9550323486328125e-05]}, "gradients/encoder.encoder.layers.9.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 7.0, 9.0, 5.0, 27.0, 23.0, 24.0, 57.0, 50.0, 93.0, 143.0, 178.0, 213.0, 405.0, 414.0, 578.0, 979.0, 1248.0, 1884.0, 3049.0, 4073.0, 6224.0, 11051.0, 15899.0, 26684.0, 52406.0, 91402.0, 217147.0, 366086.0, 107141.0, 55577.0, 33985.0, 17894.0, 11235.0, 7890.0, 4440.0, 2900.0, 2336.0, 1352.0, 944.0, 745.0, 435.0, 370.0, 285.0, 203.0, 142.0, 107.0, 48.0, 61.0, 39.0, 26.0, 14.0, 14.0, 6.0, 7.0, 3.0, 5.0, 1.0, 3.0], "bins": [-1.8417835235595703e-05, -1.7861835658550262e-05, -1.7305836081504822e-05, -1.674983650445938e-05, -1.619383692741394e-05, -1.56378373503685e-05, -1.5081837773323059e-05, -1.4525838196277618e-05, -1.3969838619232178e-05, -1.3413839042186737e-05, -1.2857839465141296e-05, -1.2301839888095856e-05, -1.1745840311050415e-05, -1.1189840734004974e-05, -1.0633841156959534e-05, -1.0077841579914093e-05, -9.521842002868652e-06, -8.965842425823212e-06, -8.409842848777771e-06, -7.85384327173233e-06, -7.29784369468689e-06, -6.741844117641449e-06, -6.185844540596008e-06, -5.629844963550568e-06, -5.073845386505127e-06, -4.517845809459686e-06, -3.961846232414246e-06, -3.405846655368805e-06, -2.8498470783233643e-06, -2.2938475012779236e-06, -1.737847924232483e-06, -1.1818483471870422e-06, -6.258487701416016e-07, -6.984919309616089e-08, 4.861503839492798e-07, 1.0421499609947205e-06, 1.5981495380401611e-06, 2.154149115085602e-06, 2.7101486921310425e-06, 3.266148269176483e-06, 3.822147846221924e-06, 4.3781474232673645e-06, 4.934147000312805e-06, 5.490146577358246e-06, 6.0461461544036865e-06, 6.602145731449127e-06, 7.158145308494568e-06, 7.714144885540009e-06, 8.27014446258545e-06, 8.82614403963089e-06, 9.38214361667633e-06, 9.938143193721771e-06, 1.0494142770767212e-05, 1.1050142347812653e-05, 1.1606141924858093e-05, 1.2162141501903534e-05, 1.2718141078948975e-05, 1.3274140655994415e-05, 1.3830140233039856e-05, 1.4386139810085297e-05, 1.4942139387130737e-05, 1.5498138964176178e-05, 1.605413854122162e-05, 1.661013811826706e-05, 1.71661376953125e-05]}, "gradients/encoder.encoder.layers.9.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 0.0, 5.0, 1.0, 5.0, 9.0, 9.0, 5.0, 5.0, 16.0, 8.0, 10.0, 15.0, 28.0, 33.0, 37.0, 38.0, 23.0, 41.0, 50.0, 68.0, 67.0, 66.0, 30.0, 50.0, 51.0, 47.0, 44.0, 47.0, 43.0, 14.0, 24.0, 11.0, 23.0, 24.0, 15.0, 6.0, 9.0, 7.0, 8.0, 3.0, 3.0, 3.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-3.3974647521972656e-06, -3.287568688392639e-06, -3.1776726245880127e-06, -3.0677765607833862e-06, -2.9578804969787598e-06, -2.8479844331741333e-06, -2.738088369369507e-06, -2.6281923055648804e-06, -2.518296241760254e-06, -2.4084001779556274e-06, -2.298504114151001e-06, -2.1886080503463745e-06, -2.078711986541748e-06, -1.9688159227371216e-06, -1.8589198589324951e-06, -1.7490237951278687e-06, -1.6391277313232422e-06, -1.5292316675186157e-06, -1.4193356037139893e-06, -1.3094395399093628e-06, -1.1995434761047363e-06, -1.0896474123001099e-06, -9.797513484954834e-07, -8.698552846908569e-07, -7.599592208862305e-07, -6.50063157081604e-07, -5.401670932769775e-07, -4.302710294723511e-07, -3.203749656677246e-07, -2.1047890186309814e-07, -1.0058283805847168e-07, 9.313225746154785e-09, 1.1920928955078125e-07, 2.2910535335540771e-07, 3.390014171600342e-07, 4.4889748096466064e-07, 5.587935447692871e-07, 6.686896085739136e-07, 7.7858567237854e-07, 8.884817361831665e-07, 9.98377799987793e-07, 1.1082738637924194e-06, 1.218169927597046e-06, 1.3280659914016724e-06, 1.4379620552062988e-06, 1.5478581190109253e-06, 1.6577541828155518e-06, 1.7676502466201782e-06, 1.8775463104248047e-06, 1.987442374229431e-06, 2.0973384380340576e-06, 2.207234501838684e-06, 2.3171305656433105e-06, 2.427026629447937e-06, 2.5369226932525635e-06, 2.64681875705719e-06, 2.7567148208618164e-06, 2.866610884666443e-06, 2.9765069484710693e-06, 3.086403012275696e-06, 3.1962990760803223e-06, 3.3061951398849487e-06, 3.416091203689575e-06, 3.5259872674942017e-06, 3.635883331298828e-06]}, "gradients/encoder.encoder.layers.9.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 4.0, 1.0, 4.0, 13.0, 25.0, 18.0, 23.0, 45.0, 68.0, 115.0, 202.0, 270.0, 454.0, 914.0, 1248.0, 2223.0, 4395.0, 6876.0, 12033.0, 25676.0, 41430.0, 83839.0, 283914.0, 358177.0, 109505.0, 57512.0, 25043.0, 14171.0, 9217.0, 4379.0, 2637.0, 1767.0, 867.0, 538.0, 373.0, 187.0, 116.0, 105.0, 49.0, 36.0, 32.0, 18.0, 18.0, 12.0, 2.0, 2.0, 5.0, 2.0, 4.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-1.1742115020751953e-05, -1.1364929378032684e-05, -1.0987743735313416e-05, -1.0610558092594147e-05, -1.0233372449874878e-05, -9.856186807155609e-06, -9.47900116443634e-06, -9.101815521717072e-06, -8.724629878997803e-06, -8.347444236278534e-06, -7.970258593559265e-06, -7.593072950839996e-06, -7.2158873081207275e-06, -6.838701665401459e-06, -6.46151602268219e-06, -6.084330379962921e-06, -5.707144737243652e-06, -5.3299590945243835e-06, -4.952773451805115e-06, -4.575587809085846e-06, -4.198402166366577e-06, -3.821216523647308e-06, -3.4440308809280396e-06, -3.0668452382087708e-06, -2.689659595489502e-06, -2.312473952770233e-06, -1.9352883100509644e-06, -1.5581026673316956e-06, -1.1809170246124268e-06, -8.03731381893158e-07, -4.2654573917388916e-07, -4.936009645462036e-08, 3.2782554626464844e-07, 7.050111889839172e-07, 1.082196831703186e-06, 1.4593824744224548e-06, 1.8365681171417236e-06, 2.2137537598609924e-06, 2.5909394025802612e-06, 2.96812504529953e-06, 3.345310688018799e-06, 3.7224963307380676e-06, 4.0996819734573364e-06, 4.476867616176605e-06, 4.854053258895874e-06, 5.231238901615143e-06, 5.608424544334412e-06, 5.98561018705368e-06, 6.362795829772949e-06, 6.739981472492218e-06, 7.117167115211487e-06, 7.494352757930756e-06, 7.871538400650024e-06, 8.248724043369293e-06, 8.625909686088562e-06, 9.00309532880783e-06, 9.3802809715271e-06, 9.757466614246368e-06, 1.0134652256965637e-05, 1.0511837899684906e-05, 1.0889023542404175e-05, 1.1266209185123444e-05, 1.1643394827842712e-05, 1.2020580470561981e-05, 1.239776611328125e-05]}, "gradients/encoder.encoder.layers.9.attention.v_proj.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 4.0, 2.0, 3.0, 4.0, 7.0, 8.0, 13.0, 14.0, 8.0, 10.0, 12.0, 16.0, 30.0, 17.0, 29.0, 26.0, 29.0, 34.0, 31.0, 35.0, 45.0, 33.0, 49.0, 59.0, 43.0, 51.0, 33.0, 37.0, 47.0, 31.0, 24.0, 30.0, 26.0, 29.0, 18.0, 22.0, 24.0, 17.0, 12.0, 15.0, 8.0, 6.0, 8.0, 2.0, 6.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-8.225440979003906e-06, -7.975846529006958e-06, -7.72625207901001e-06, -7.4766576290130615e-06, -7.227063179016113e-06, -6.977468729019165e-06, -6.727874279022217e-06, -6.4782798290252686e-06, -6.22868537902832e-06, -5.979090929031372e-06, -5.729496479034424e-06, -5.479902029037476e-06, -5.230307579040527e-06, -4.980713129043579e-06, -4.731118679046631e-06, -4.481524229049683e-06, -4.231929779052734e-06, -3.982335329055786e-06, -3.732740879058838e-06, -3.4831464290618896e-06, -3.2335519790649414e-06, -2.983957529067993e-06, -2.734363079071045e-06, -2.4847686290740967e-06, -2.2351741790771484e-06, -1.9855797290802e-06, -1.735985279083252e-06, -1.4863908290863037e-06, -1.2367963790893555e-06, -9.872019290924072e-07, -7.37607479095459e-07, -4.880130290985107e-07, -2.384185791015625e-07, 1.1175870895385742e-08, 2.60770320892334e-07, 5.103647708892822e-07, 7.599592208862305e-07, 1.0095536708831787e-06, 1.259148120880127e-06, 1.5087425708770752e-06, 1.7583370208740234e-06, 2.0079314708709717e-06, 2.25752592086792e-06, 2.507120370864868e-06, 2.7567148208618164e-06, 3.0063092708587646e-06, 3.255903720855713e-06, 3.505498170852661e-06, 3.7550926208496094e-06, 4.004687070846558e-06, 4.254281520843506e-06, 4.503875970840454e-06, 4.753470420837402e-06, 5.003064870834351e-06, 5.252659320831299e-06, 5.502253770828247e-06, 5.751848220825195e-06, 6.0014426708221436e-06, 6.251037120819092e-06, 6.50063157081604e-06, 6.750226020812988e-06, 6.9998204708099365e-06, 7.249414920806885e-06, 7.499009370803833e-06, 7.748603820800781e-06]}, "gradients/encoder.encoder.layers.9.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 2.0, 3.0, 7.0, 10.0, 7.0, 15.0, 35.0, 34.0, 53.0, 82.0, 174.0, 247.0, 429.0, 695.0, 1138.0, 2102.0, 3994.0, 8021.0, 17393.0, 40299.0, 141245.0, 713590.0, 68932.0, 26376.0, 11334.0, 5602.0, 2954.0, 1554.0, 836.0, 532.0, 324.0, 191.0, 132.0, 72.0, 52.0, 26.0, 26.0, 14.0, 15.0, 6.0, 5.0, 1.0, 5.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.748603820800781e-06, -7.508322596549988e-06, -7.268041372299194e-06, -7.027760148048401e-06, -6.787478923797607e-06, -6.547197699546814e-06, -6.3069164752960205e-06, -6.066635251045227e-06, -5.826354026794434e-06, -5.58607280254364e-06, -5.345791578292847e-06, -5.105510354042053e-06, -4.86522912979126e-06, -4.624947905540466e-06, -4.384666681289673e-06, -4.144385457038879e-06, -3.904104232788086e-06, -3.6638230085372925e-06, -3.423541784286499e-06, -3.1832605600357056e-06, -2.942979335784912e-06, -2.7026981115341187e-06, -2.462416887283325e-06, -2.2221356630325317e-06, -1.9818544387817383e-06, -1.7415732145309448e-06, -1.5012919902801514e-06, -1.261010766029358e-06, -1.0207295417785645e-06, -7.80448317527771e-07, -5.401670932769775e-07, -2.998858690261841e-07, -5.960464477539063e-08, 1.8067657947540283e-07, 4.209578037261963e-07, 6.612390279769897e-07, 9.015202522277832e-07, 1.1418014764785767e-06, 1.3820827007293701e-06, 1.6223639249801636e-06, 1.862645149230957e-06, 2.1029263734817505e-06, 2.343207597732544e-06, 2.5834888219833374e-06, 2.823770046234131e-06, 3.0640512704849243e-06, 3.3043324947357178e-06, 3.5446137189865112e-06, 3.7848949432373047e-06, 4.025176167488098e-06, 4.265457391738892e-06, 4.505738615989685e-06, 4.7460198402404785e-06, 4.986301064491272e-06, 5.2265822887420654e-06, 5.466863512992859e-06, 5.707144737243652e-06, 5.947425961494446e-06, 6.187707185745239e-06, 6.427988409996033e-06, 6.668269634246826e-06, 6.90855085849762e-06, 7.148832082748413e-06, 7.3891133069992065e-06, 7.62939453125e-06]}, "gradients/encoder.encoder.layers.9.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 3.0, 3.0, 4.0, 2.0, 4.0, 2.0, 3.0, 7.0, 15.0, 12.0, 17.0, 27.0, 20.0, 24.0, 36.0, 31.0, 77.0, 115.0, 153.0, 139.0, 78.0, 34.0, 38.0, 17.0, 21.0, 18.0, 15.0, 30.0, 27.0, 9.0, 8.0, 2.0, 2.0, 5.0, 2.0, 3.0, 1.0, 0.0, 2.0, 4.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.304813385009766e-06, -5.14741986989975e-06, -4.990026354789734e-06, -4.832632839679718e-06, -4.675239324569702e-06, -4.517845809459686e-06, -4.36045229434967e-06, -4.2030587792396545e-06, -4.045665264129639e-06, -3.888271749019623e-06, -3.730878233909607e-06, -3.573484718799591e-06, -3.416091203689575e-06, -3.2586976885795593e-06, -3.1013041734695435e-06, -2.9439106583595276e-06, -2.7865171432495117e-06, -2.629123628139496e-06, -2.47173011302948e-06, -2.314336597919464e-06, -2.1569430828094482e-06, -1.9995495676994324e-06, -1.8421560525894165e-06, -1.6847625374794006e-06, -1.5273690223693848e-06, -1.369975507259369e-06, -1.212581992149353e-06, -1.0551884770393372e-06, -8.977949619293213e-07, -7.404014468193054e-07, -5.830079317092896e-07, -4.256144165992737e-07, -2.682209014892578e-07, -1.1082738637924194e-07, 4.6566128730773926e-08, 2.039596438407898e-07, 3.6135315895080566e-07, 5.187466740608215e-07, 6.761401891708374e-07, 8.335337042808533e-07, 9.909272193908691e-07, 1.148320734500885e-06, 1.3057142496109009e-06, 1.4631077647209167e-06, 1.6205012798309326e-06, 1.7778947949409485e-06, 1.9352883100509644e-06, 2.0926818251609802e-06, 2.250075340270996e-06, 2.407468855381012e-06, 2.564862370491028e-06, 2.7222558856010437e-06, 2.8796494007110596e-06, 3.0370429158210754e-06, 3.1944364309310913e-06, 3.351829946041107e-06, 3.509223461151123e-06, 3.666616976261139e-06, 3.824010491371155e-06, 3.981404006481171e-06, 4.1387975215911865e-06, 4.296191036701202e-06, 4.453584551811218e-06, 4.610978066921234e-06, 4.76837158203125e-06]}, "gradients/encoder.encoder.layers.9.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 1.0, 2.0, 0.0, 3.0, 4.0, 6.0, 7.0, 11.0, 25.0, 46.0, 34.0, 70.0, 114.0, 178.0, 184.0, 370.0, 592.0, 1023.0, 1175.0, 2455.0, 4637.0, 8793.0, 12895.0, 38610.0, 139680.0, 684888.0, 81520.0, 38480.0, 15812.0, 7547.0, 3191.0, 2494.0, 1447.0, 855.0, 403.0, 368.0, 251.0, 140.0, 60.0, 70.0, 48.0, 28.0, 16.0, 9.0, 10.0, 5.0, 2.0, 1.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-7.68899917602539e-06, -7.465481758117676e-06, -7.241964340209961e-06, -7.018446922302246e-06, -6.794929504394531e-06, -6.571412086486816e-06, -6.3478946685791016e-06, -6.124377250671387e-06, -5.900859832763672e-06, -5.677342414855957e-06, -5.453824996948242e-06, -5.230307579040527e-06, -5.0067901611328125e-06, -4.783272743225098e-06, -4.559755325317383e-06, -4.336237907409668e-06, -4.112720489501953e-06, -3.889203071594238e-06, -3.6656856536865234e-06, -3.4421682357788086e-06, -3.2186508178710938e-06, -2.995133399963379e-06, -2.771615982055664e-06, -2.5480985641479492e-06, -2.3245811462402344e-06, -2.1010637283325195e-06, -1.8775463104248047e-06, -1.6540288925170898e-06, -1.430511474609375e-06, -1.2069940567016602e-06, -9.834766387939453e-07, -7.599592208862305e-07, -5.364418029785156e-07, -3.129243850708008e-07, -8.940696716308594e-08, 1.341104507446289e-07, 3.5762786865234375e-07, 5.811452865600586e-07, 8.046627044677734e-07, 1.0281801223754883e-06, 1.2516975402832031e-06, 1.475214958190918e-06, 1.6987323760986328e-06, 1.9222497940063477e-06, 2.1457672119140625e-06, 2.3692846298217773e-06, 2.592802047729492e-06, 2.816319465637207e-06, 3.039836883544922e-06, 3.2633543014526367e-06, 3.4868717193603516e-06, 3.7103891372680664e-06, 3.933906555175781e-06, 4.157423973083496e-06, 4.380941390991211e-06, 4.604458808898926e-06, 4.827976226806641e-06, 5.0514936447143555e-06, 5.27501106262207e-06, 5.498528480529785e-06, 5.7220458984375e-06, 5.945563316345215e-06, 6.16908073425293e-06, 6.3925981521606445e-06, 6.616115570068359e-06]}, "gradients/encoder.encoder.layers.9.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 4.0, 5.0, 6.0, 15.0, 6.0, 20.0, 13.0, 20.0, 13.0, 33.0, 31.0, 63.0, 44.0, 106.0, 173.0, 148.0, 42.0, 40.0, 44.0, 31.0, 23.0, 21.0, 19.0, 10.0, 15.0, 10.0, 8.0, 3.0, 6.0, 2.0, 4.0, 6.0, 6.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-4.410743713378906e-06, -4.262663424015045e-06, -4.114583134651184e-06, -3.966502845287323e-06, -3.818422555923462e-06, -3.670342266559601e-06, -3.5222619771957397e-06, -3.3741816878318787e-06, -3.2261013984680176e-06, -3.0780211091041565e-06, -2.9299408197402954e-06, -2.7818605303764343e-06, -2.6337802410125732e-06, -2.485699951648712e-06, -2.337619662284851e-06, -2.18953937292099e-06, -2.041459083557129e-06, -1.8933787941932678e-06, -1.7452985048294067e-06, -1.5972182154655457e-06, -1.4491379261016846e-06, -1.3010576367378235e-06, -1.1529773473739624e-06, -1.0048970580101013e-06, -8.568167686462402e-07, -7.087364792823792e-07, -5.606561899185181e-07, -4.12575900554657e-07, -2.644956111907959e-07, -1.1641532182693481e-07, 3.166496753692627e-08, 1.7974525690078735e-07, 3.2782554626464844e-07, 4.759058356285095e-07, 6.239861249923706e-07, 7.720664143562317e-07, 9.201467037200928e-07, 1.0682269930839539e-06, 1.216307282447815e-06, 1.364387571811676e-06, 1.5124678611755371e-06, 1.6605481505393982e-06, 1.8086284399032593e-06, 1.9567087292671204e-06, 2.1047890186309814e-06, 2.2528693079948425e-06, 2.4009495973587036e-06, 2.5490298867225647e-06, 2.6971101760864258e-06, 2.845190465450287e-06, 2.993270754814148e-06, 3.141351044178009e-06, 3.28943133354187e-06, 3.437511622905731e-06, 3.5855919122695923e-06, 3.7336722016334534e-06, 3.8817524909973145e-06, 4.0298327803611755e-06, 4.177913069725037e-06, 4.325993359088898e-06, 4.474073648452759e-06, 4.62215393781662e-06, 4.770234227180481e-06, 4.918314516544342e-06, 5.066394805908203e-06]}, "gradients/encoder.encoder.layers.9.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 1.0, 3.0, 6.0, 5.0, 4.0, 4.0, 4.0, 4.0, 13.0, 15.0, 13.0, 17.0, 20.0, 31.0, 39.0, 43.0, 58.0, 104.0, 183.0, 134.0, 66.0, 59.0, 38.0, 33.0, 20.0, 20.0, 17.0, 15.0, 9.0, 12.0, 4.0, 5.0, 2.0, 2.0, 2.0, 2.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-5.207859067013487e-05, -5.0764076149789616e-05, -4.9449557991465554e-05, -4.81350434711203e-05, -4.6820525312796235e-05, -4.550601079245098e-05, -4.4191496272105724e-05, -4.287697811378166e-05, -4.15624599554576e-05, -4.024794543511234e-05, -3.893342727678828e-05, -3.7618912756443024e-05, -3.630439459811896e-05, -3.4989880077773705e-05, -3.367536555742845e-05, -3.2360847399104387e-05, -3.104633287875913e-05, -2.973181653942447e-05, -2.8417300200089812e-05, -2.7102785679744557e-05, -2.5788267521420494e-05, -2.4473753001075238e-05, -2.315923666174058e-05, -2.184472032240592e-05, -2.053020398307126e-05, -1.92156876437366e-05, -1.790117130440194e-05, -1.6586654965067282e-05, -1.5272140444722027e-05, -1.3957623195892666e-05, -1.2643107766052708e-05, -1.1328591426718049e-05, -1.0014071449404582e-05, -8.699555110069923e-06, -7.385039225482615e-06, -6.070523340895306e-06, -4.756007001560647e-06, -3.4414906622259878e-06, -2.1269752323860303e-06, -8.12458893051371e-07, 5.020574462832883e-07, 1.8165735582442721e-06, 3.131089670205256e-06, 4.445605554792564e-06, 5.760121894127224e-06, 7.074638233461883e-06, 8.38915366330184e-06, 9.7036700026365e-06, 1.1018186341971159e-05, 1.2332702681305818e-05, 1.3647219020640478e-05, 1.4961734450480435e-05, 1.6276251699309796e-05, 1.7590766219655052e-05, 1.890528255898971e-05, 2.021979889832437e-05, 2.153431523765903e-05, 2.284883157699369e-05, 2.4163347916328348e-05, 2.5477864255663007e-05, 2.6792378776008263e-05, 2.8106896934332326e-05, 2.9421411454677582e-05, 3.0735929613001645e-05, 3.20504441333469e-05]}, "gradients/encoder.encoder.layers.9.layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 4.0, 4.0, 1.0, 6.0, 5.0, 5.0, 5.0, 13.0, 11.0, 17.0, 9.0, 15.0, 17.0, 17.0, 28.0, 21.0, 20.0, 26.0, 28.0, 31.0, 37.0, 35.0, 40.0, 44.0, 41.0, 38.0, 51.0, 34.0, 38.0, 30.0, 42.0, 34.0, 33.0, 35.0, 25.0, 19.0, 14.0, 20.0, 14.0, 16.0, 17.0, 10.0, 8.0, 10.0, 13.0, 4.0, 7.0, 10.0, 1.0, 2.0, 2.0, 3.0, 3.0, 1.0, 2.0, 0.0, 1.0], "bins": [-2.5153160095214844e-05, -2.438761293888092e-05, -2.3622065782546997e-05, -2.2856518626213074e-05, -2.209097146987915e-05, -2.1325424313545227e-05, -2.0559877157211304e-05, -1.979433000087738e-05, -1.9028782844543457e-05, -1.8263235688209534e-05, -1.749768853187561e-05, -1.6732141375541687e-05, -1.5966594219207764e-05, -1.520104706287384e-05, -1.4435499906539917e-05, -1.3669952750205994e-05, -1.290440559387207e-05, -1.2138858437538147e-05, -1.1373311281204224e-05, -1.06077641248703e-05, -9.842216968536377e-06, -9.076669812202454e-06, -8.31112265586853e-06, -7.545575499534607e-06, -6.780028343200684e-06, -6.01448118686676e-06, -5.248934030532837e-06, -4.4833868741989136e-06, -3.7178397178649902e-06, -2.952292561531067e-06, -2.1867454051971436e-06, -1.4211982488632202e-06, -6.556510925292969e-07, 1.0989606380462646e-07, 8.754432201385498e-07, 1.6409903764724731e-06, 2.4065375328063965e-06, 3.17208468914032e-06, 3.937631845474243e-06, 4.7031790018081665e-06, 5.46872615814209e-06, 6.234273314476013e-06, 6.9998204708099365e-06, 7.76536762714386e-06, 8.530914783477783e-06, 9.296461939811707e-06, 1.006200909614563e-05, 1.0827556252479553e-05, 1.1593103408813477e-05, 1.23586505651474e-05, 1.3124197721481323e-05, 1.3889744877815247e-05, 1.465529203414917e-05, 1.5420839190483093e-05, 1.6186386346817017e-05, 1.695193350315094e-05, 1.7717480659484863e-05, 1.8483027815818787e-05, 1.924857497215271e-05, 2.0014122128486633e-05, 2.0779669284820557e-05, 2.154521644115448e-05, 2.2310763597488403e-05, 2.3076310753822327e-05, 2.384185791015625e-05]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 2.0, 6.0, 2.0, 7.0, 8.0, 12.0, 12.0, 21.0, 26.0, 34.0, 51.0, 74.0, 102.0, 148.0, 204.0, 309.0, 383.0, 621.0, 931.0, 1415.0, 1986.0, 3442.0, 5577.0, 9586.0, 15430.0, 32847.0, 131397.0, 3820306.0, 94809.0, 32798.0, 16646.0, 9409.0, 5463.0, 3279.0, 2300.0, 1481.0, 976.0, 643.0, 447.0, 310.0, 249.0, 148.0, 113.0, 78.0, 62.0, 38.0, 25.0, 27.0, 14.0, 16.0, 12.0, 7.0, 3.0, 4.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.996755599975586e-05, -1.9266270101070404e-05, -1.856498420238495e-05, -1.7863698303699493e-05, -1.7162412405014038e-05, -1.6461126506328583e-05, -1.5759840607643127e-05, -1.5058554708957672e-05, -1.4357268810272217e-05, -1.3655982911586761e-05, -1.2954697012901306e-05, -1.225341111421585e-05, -1.1552125215530396e-05, -1.085083931684494e-05, -1.0149553418159485e-05, -9.44826751947403e-06, -8.746981620788574e-06, -8.045695722103119e-06, -7.3444098234176636e-06, -6.643123924732208e-06, -5.941838026046753e-06, -5.240552127361298e-06, -4.539266228675842e-06, -3.837980329990387e-06, -3.1366944313049316e-06, -2.4354085326194763e-06, -1.734122633934021e-06, -1.0328367352485657e-06, -3.3155083656311035e-07, 3.6973506212234497e-07, 1.0710209608078003e-06, 1.7723068594932556e-06, 2.473592758178711e-06, 3.1748786568641663e-06, 3.876164555549622e-06, 4.577450454235077e-06, 5.278736352920532e-06, 5.9800222516059875e-06, 6.681308150291443e-06, 7.382594048976898e-06, 8.083879947662354e-06, 8.785165846347809e-06, 9.486451745033264e-06, 1.018773764371872e-05, 1.0889023542404175e-05, 1.159030944108963e-05, 1.2291595339775085e-05, 1.299288123846054e-05, 1.3694167137145996e-05, 1.4395453035831451e-05, 1.5096738934516907e-05, 1.5798024833202362e-05, 1.6499310731887817e-05, 1.7200596630573273e-05, 1.7901882529258728e-05, 1.8603168427944183e-05, 1.930445432662964e-05, 2.0005740225315094e-05, 2.070702612400055e-05, 2.1408312022686005e-05, 2.210959792137146e-05, 2.2810883820056915e-05, 2.351216971874237e-05, 2.4213455617427826e-05, 2.491474151611328e-05]}, "gradients/encoder.encoder.layers.8.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 4.0, 2.0, 2.0, 1.0, 1.0, 6.0, 10.0, 5.0, 11.0, 11.0, 15.0, 20.0, 24.0, 25.0, 15.0, 38.0, 33.0, 40.0, 45.0, 63.0, 65.0, 59.0, 60.0, 63.0, 26.0, 40.0, 44.0, 54.0, 39.0, 28.0, 24.0, 17.0, 34.0, 14.0, 12.0, 9.0, 11.0, 11.0, 2.0, 6.0, 5.0, 5.0, 3.0, 1.0, 3.0, 1.0, 1.0, 2.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.337860107421875e-06, -3.2242387533187866e-06, -3.1106173992156982e-06, -2.99699604511261e-06, -2.8833746910095215e-06, -2.769753336906433e-06, -2.6561319828033447e-06, -2.5425106287002563e-06, -2.428889274597168e-06, -2.3152679204940796e-06, -2.201646566390991e-06, -2.088025212287903e-06, -1.9744038581848145e-06, -1.860782504081726e-06, -1.7471611499786377e-06, -1.6335397958755493e-06, -1.519918441772461e-06, -1.4062970876693726e-06, -1.2926757335662842e-06, -1.1790543794631958e-06, -1.0654330253601074e-06, -9.51811671257019e-07, -8.381903171539307e-07, -7.245689630508423e-07, -6.109476089477539e-07, -4.973262548446655e-07, -3.8370490074157715e-07, -2.7008354663848877e-07, -1.564621925354004e-07, -4.284083843231201e-08, 7.078051567077637e-08, 1.8440186977386475e-07, 2.980232238769531e-07, 4.116445779800415e-07, 5.252659320831299e-07, 6.388872861862183e-07, 7.525086402893066e-07, 8.66129994392395e-07, 9.797513484954834e-07, 1.0933727025985718e-06, 1.2069940567016602e-06, 1.3206154108047485e-06, 1.434236764907837e-06, 1.5478581190109253e-06, 1.6614794731140137e-06, 1.775100827217102e-06, 1.8887221813201904e-06, 2.002343535423279e-06, 2.115964889526367e-06, 2.2295862436294556e-06, 2.343207597732544e-06, 2.4568289518356323e-06, 2.5704503059387207e-06, 2.684071660041809e-06, 2.7976930141448975e-06, 2.911314368247986e-06, 3.0249357223510742e-06, 3.1385570764541626e-06, 3.252178430557251e-06, 3.3657997846603394e-06, 3.4794211387634277e-06, 3.593042492866516e-06, 3.7066638469696045e-06, 3.820285201072693e-06, 3.933906555175781e-06]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 4.0, 6.0, 1.0, 11.0, 18.0, 17.0, 28.0, 48.0, 55.0, 91.0, 144.0, 211.0, 360.0, 458.0, 806.0, 1347.0, 2136.0, 3758.0, 6428.0, 11414.0, 21706.0, 46600.0, 141429.0, 2612179.0, 1148408.0, 111614.0, 35704.0, 21858.0, 11348.0, 6497.0, 3759.0, 2264.0, 1348.0, 821.0, 510.0, 326.0, 192.0, 150.0, 79.0, 52.0, 40.0, 28.0, 13.0, 10.0, 10.0, 2.0, 5.0, 4.0, 2.0, 0.0, 0.0, 1.0], "bins": [-1.2695789337158203e-05, -1.2342818081378937e-05, -1.198984682559967e-05, -1.1636875569820404e-05, -1.1283904314041138e-05, -1.0930933058261871e-05, -1.0577961802482605e-05, -1.0224990546703339e-05, -9.872019290924072e-06, -9.519048035144806e-06, -9.16607677936554e-06, -8.813105523586273e-06, -8.460134267807007e-06, -8.10716301202774e-06, -7.754191756248474e-06, -7.401220500469208e-06, -7.048249244689941e-06, -6.695277988910675e-06, -6.342306733131409e-06, -5.989335477352142e-06, -5.636364221572876e-06, -5.28339296579361e-06, -4.930421710014343e-06, -4.577450454235077e-06, -4.2244791984558105e-06, -3.871507942676544e-06, -3.518536686897278e-06, -3.1655654311180115e-06, -2.812594175338745e-06, -2.4596229195594788e-06, -2.1066516637802124e-06, -1.753680408000946e-06, -1.4007091522216797e-06, -1.0477378964424133e-06, -6.94766640663147e-07, -3.417953848838806e-07, 1.1175870895385742e-08, 3.641471266746521e-07, 7.171183824539185e-07, 1.0700896382331848e-06, 1.4230608940124512e-06, 1.7760321497917175e-06, 2.129003405570984e-06, 2.4819746613502502e-06, 2.8349459171295166e-06, 3.187917172908783e-06, 3.5408884286880493e-06, 3.893859684467316e-06, 4.246830940246582e-06, 4.599802196025848e-06, 4.952773451805115e-06, 5.305744707584381e-06, 5.6587159633636475e-06, 6.011687219142914e-06, 6.36465847492218e-06, 6.7176297307014465e-06, 7.070600986480713e-06, 7.423572242259979e-06, 7.776543498039246e-06, 8.129514753818512e-06, 8.482486009597778e-06, 8.835457265377045e-06, 9.188428521156311e-06, 9.541399776935577e-06, 9.894371032714844e-06]}, "gradients/encoder.encoder.layers.8.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 8.0, 4.0, 3.0, 6.0, 10.0, 14.0, 11.0, 11.0, 20.0, 18.0, 20.0, 34.0, 41.0, 44.0, 59.0, 160.0, 348.0, 816.0, 1050.0, 696.0, 301.0, 116.0, 66.0, 32.0, 41.0, 27.0, 24.0, 16.0, 10.0, 13.0, 9.0, 7.0, 6.0, 13.0, 8.0, 5.0, 5.0, 3.0, 1.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.344650268554688e-06, -8.060596883296967e-06, -7.776543498039246e-06, -7.492490112781525e-06, -7.208436727523804e-06, -6.924383342266083e-06, -6.640329957008362e-06, -6.356276571750641e-06, -6.07222318649292e-06, -5.788169801235199e-06, -5.504116415977478e-06, -5.220063030719757e-06, -4.936009645462036e-06, -4.651956260204315e-06, -4.367902874946594e-06, -4.083849489688873e-06, -3.7997961044311523e-06, -3.5157427191734314e-06, -3.2316893339157104e-06, -2.9476359486579895e-06, -2.6635825634002686e-06, -2.3795291781425476e-06, -2.0954757928848267e-06, -1.8114224076271057e-06, -1.5273690223693848e-06, -1.2433156371116638e-06, -9.592622518539429e-07, -6.752088665962219e-07, -3.91155481338501e-07, -1.0710209608078003e-07, 1.7695128917694092e-07, 4.6100467443466187e-07, 7.450580596923828e-07, 1.0291114449501038e-06, 1.3131648302078247e-06, 1.5972182154655457e-06, 1.8812716007232666e-06, 2.1653249859809875e-06, 2.4493783712387085e-06, 2.7334317564964294e-06, 3.0174851417541504e-06, 3.3015385270118713e-06, 3.5855919122695923e-06, 3.869645297527313e-06, 4.153698682785034e-06, 4.437752068042755e-06, 4.721805453300476e-06, 5.005858838558197e-06, 5.289912223815918e-06, 5.573965609073639e-06, 5.85801899433136e-06, 6.142072379589081e-06, 6.426125764846802e-06, 6.710179150104523e-06, 6.994232535362244e-06, 7.278285920619965e-06, 7.5623393058776855e-06, 7.846392691135406e-06, 8.130446076393127e-06, 8.414499461650848e-06, 8.69855284690857e-06, 8.98260623216629e-06, 9.266659617424011e-06, 9.550713002681732e-06, 9.834766387939453e-06]}, "gradients/encoder.encoder.layers.8.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 2.0, 1.0, 3.0, 6.0, 3.0, 6.0, 6.0, 7.0, 11.0, 8.0, 8.0, 15.0, 15.0, 20.0, 22.0, 41.0, 30.0, 54.0, 59.0, 90.0, 107.0, 88.0, 81.0, 66.0, 62.0, 45.0, 29.0, 25.0, 19.0, 13.0, 13.0, 12.0, 6.0, 12.0, 6.0, 4.0, 4.0, 2.0, 2.0, 4.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0], "bins": [-3.823702354566194e-05, -3.7079298635944724e-05, -3.59215700882487e-05, -3.476384517853148e-05, -3.360611663083546e-05, -3.244839172111824e-05, -3.129066317342222e-05, -3.0132938263705e-05, -2.8975209716008976e-05, -2.7817482987302355e-05, -2.6659756258595735e-05, -2.5502029529889114e-05, -2.4344302801182494e-05, -2.3186576072475873e-05, -2.2028849343769252e-05, -2.0871124434052035e-05, -1.9713397705345415e-05, -1.8555670976638794e-05, -1.7397944247932173e-05, -1.6240217519225553e-05, -1.5082490790518932e-05, -1.3924764061812311e-05, -1.2767038242600393e-05, -1.1609311513893772e-05, -1.0451584785187151e-05, -9.29385805648053e-06, -8.13613132777391e-06, -6.97840505381464e-06, -5.82067832510802e-06, -4.662951596401399e-06, -3.5052253224421293e-06, -2.3474985937355086e-06, -1.189771865028888e-06, -3.2045250009105075e-08, 1.1256813650106778e-06, 2.283407866343623e-06, 3.4411345950502437e-06, 4.598861323756864e-06, 5.756587597716134e-06, 6.914314326422755e-06, 8.072041055129375e-06, 9.229767783835996e-06, 1.0387494512542617e-05, 1.1545220331754535e-05, 1.2702947060461156e-05, 1.3860673789167777e-05, 1.5018400517874397e-05, 1.6176127246581018e-05, 1.733385397528764e-05, 1.849158070399426e-05, 1.964930743270088e-05, 2.08070341614075e-05, 2.196476089011412e-05, 2.3122487618820742e-05, 2.428021252853796e-05, 2.5437941076233983e-05, 2.65956659859512e-05, 2.775339271465782e-05, 2.891111944336444e-05, 3.0068846172071062e-05, 3.122657290077768e-05, 3.23842978104949e-05, 3.3542026358190924e-05, 3.469975126790814e-05, 3.5857479815604165e-05]}, "gradients/encoder.encoder.layers.8.final_layer_norm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 2.0, 2.0, 1.0, 3.0, 8.0, 4.0, 7.0, 4.0, 12.0, 11.0, 14.0, 19.0, 21.0, 22.0, 38.0, 33.0, 38.0, 39.0, 30.0, 43.0, 42.0, 44.0, 43.0, 54.0, 40.0, 38.0, 36.0, 46.0, 33.0, 35.0, 32.0, 44.0, 26.0, 26.0, 22.0, 18.0, 21.0, 9.0, 14.0, 10.0, 6.0, 4.0, 5.0, 3.0, 4.0, 3.0, 4.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.568960189819336e-05, -2.4924054741859436e-05, -2.4158507585525513e-05, -2.339296042919159e-05, -2.2627413272857666e-05, -2.1861866116523743e-05, -2.109631896018982e-05, -2.0330771803855896e-05, -1.9565224647521973e-05, -1.879967749118805e-05, -1.8034130334854126e-05, -1.7268583178520203e-05, -1.650303602218628e-05, -1.5737488865852356e-05, -1.4971941709518433e-05, -1.420639455318451e-05, -1.3440847396850586e-05, -1.2675300240516663e-05, -1.190975308418274e-05, -1.1144205927848816e-05, -1.0378658771514893e-05, -9.61311161518097e-06, -8.847564458847046e-06, -8.082017302513123e-06, -7.316470146179199e-06, -6.550922989845276e-06, -5.7853758335113525e-06, -5.019828677177429e-06, -4.254281520843506e-06, -3.4887343645095825e-06, -2.723187208175659e-06, -1.957640051841736e-06, -1.1920928955078125e-06, -4.2654573917388916e-07, 3.390014171600342e-07, 1.1045485734939575e-06, 1.8700957298278809e-06, 2.635642886161804e-06, 3.4011900424957275e-06, 4.166737198829651e-06, 4.932284355163574e-06, 5.6978315114974976e-06, 6.463378667831421e-06, 7.228925824165344e-06, 7.994472980499268e-06, 8.760020136833191e-06, 9.525567293167114e-06, 1.0291114449501038e-05, 1.1056661605834961e-05, 1.1822208762168884e-05, 1.2587755918502808e-05, 1.3353303074836731e-05, 1.4118850231170654e-05, 1.4884397387504578e-05, 1.56499445438385e-05, 1.6415491700172424e-05, 1.7181038856506348e-05, 1.794658601284027e-05, 1.8712133169174194e-05, 1.9477680325508118e-05, 2.024322748184204e-05, 2.1008774638175964e-05, 2.1774321794509888e-05, 2.253986895084381e-05, 2.3305416107177734e-05]}, "gradients/encoder.encoder.layers.8.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 5.0, 9.0, 6.0, 10.0, 12.0, 13.0, 30.0, 37.0, 68.0, 101.0, 154.0, 235.0, 363.0, 563.0, 1092.0, 1967.0, 3226.0, 6588.0, 13204.0, 25818.0, 64760.0, 168972.0, 518582.0, 145313.0, 49800.0, 24168.0, 11156.0, 5271.0, 3024.0, 1689.0, 890.0, 552.0, 328.0, 218.0, 96.0, 85.0, 44.0, 29.0, 20.0, 24.0, 17.0, 7.0, 8.0, 3.0, 3.0, 1.0, 1.0, 0.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.4437904357910156e-05, -2.368353307247162e-05, -2.292916178703308e-05, -2.2174790501594543e-05, -2.1420419216156006e-05, -2.0666047930717468e-05, -1.991167664527893e-05, -1.9157305359840393e-05, -1.8402934074401855e-05, -1.7648562788963318e-05, -1.689419150352478e-05, -1.6139820218086243e-05, -1.5385448932647705e-05, -1.4631077647209167e-05, -1.387670636177063e-05, -1.3122335076332092e-05, -1.2367963790893555e-05, -1.1613592505455017e-05, -1.085922122001648e-05, -1.0104849934577942e-05, -9.350478649139404e-06, -8.596107363700867e-06, -7.841736078262329e-06, -7.0873647928237915e-06, -6.332993507385254e-06, -5.578622221946716e-06, -4.824250936508179e-06, -4.069879651069641e-06, -3.3155083656311035e-06, -2.561137080192566e-06, -1.8067657947540283e-06, -1.0523945093154907e-06, -2.980232238769531e-07, 4.5634806156158447e-07, 1.210719347000122e-06, 1.9650906324386597e-06, 2.7194619178771973e-06, 3.473833203315735e-06, 4.2282044887542725e-06, 4.98257577419281e-06, 5.736947059631348e-06, 6.491318345069885e-06, 7.245689630508423e-06, 8.00006091594696e-06, 8.754432201385498e-06, 9.508803486824036e-06, 1.0263174772262573e-05, 1.101754605770111e-05, 1.1771917343139648e-05, 1.2526288628578186e-05, 1.3280659914016724e-05, 1.4035031199455261e-05, 1.4789402484893799e-05, 1.5543773770332336e-05, 1.6298145055770874e-05, 1.705251634120941e-05, 1.780688762664795e-05, 1.8561258912086487e-05, 1.9315630197525024e-05, 2.0070001482963562e-05, 2.08243727684021e-05, 2.1578744053840637e-05, 2.2333115339279175e-05, 2.3087486624717712e-05, 2.384185791015625e-05]}, "gradients/encoder.encoder.layers.8.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 5.0, 4.0, 4.0, 3.0, 7.0, 6.0, 9.0, 13.0, 11.0, 20.0, 37.0, 35.0, 37.0, 48.0, 48.0, 60.0, 87.0, 73.0, 50.0, 77.0, 52.0, 49.0, 64.0, 40.0, 34.0, 19.0, 32.0, 15.0, 16.0, 12.0, 12.0, 6.0, 10.0, 5.0, 4.0, 4.0, 2.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.337860107421875e-06, -3.200024366378784e-06, -3.0621886253356934e-06, -2.9243528842926025e-06, -2.7865171432495117e-06, -2.648681402206421e-06, -2.51084566116333e-06, -2.3730099201202393e-06, -2.2351741790771484e-06, -2.0973384380340576e-06, -1.959502696990967e-06, -1.821666955947876e-06, -1.6838312149047852e-06, -1.5459954738616943e-06, -1.4081597328186035e-06, -1.2703239917755127e-06, -1.1324882507324219e-06, -9.94652509689331e-07, -8.568167686462402e-07, -7.189810276031494e-07, -5.811452865600586e-07, -4.4330954551696777e-07, -3.0547380447387695e-07, -1.6763806343078613e-07, -2.9802322387695312e-08, 1.0803341865539551e-07, 2.4586915969848633e-07, 3.8370490074157715e-07, 5.21540641784668e-07, 6.593763828277588e-07, 7.972121238708496e-07, 9.350478649139404e-07, 1.0728836059570312e-06, 1.210719347000122e-06, 1.3485550880432129e-06, 1.4863908290863037e-06, 1.6242265701293945e-06, 1.7620623111724854e-06, 1.8998980522155762e-06, 2.037733793258667e-06, 2.175569534301758e-06, 2.3134052753448486e-06, 2.4512410163879395e-06, 2.5890767574310303e-06, 2.726912498474121e-06, 2.864748239517212e-06, 3.0025839805603027e-06, 3.1404197216033936e-06, 3.2782554626464844e-06, 3.416091203689575e-06, 3.553926944732666e-06, 3.691762685775757e-06, 3.829598426818848e-06, 3.9674341678619385e-06, 4.105269908905029e-06, 4.24310564994812e-06, 4.380941390991211e-06, 4.518777132034302e-06, 4.656612873077393e-06, 4.794448614120483e-06, 4.932284355163574e-06, 5.070120096206665e-06, 5.207955837249756e-06, 5.345791578292847e-06, 5.4836273193359375e-06]}, "gradients/encoder.encoder.layers.8.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 2.0, 3.0, 9.0, 15.0, 16.0, 26.0, 41.0, 66.0, 71.0, 165.0, 196.0, 323.0, 669.0, 894.0, 1482.0, 2917.0, 4381.0, 7437.0, 15460.0, 25083.0, 46646.0, 119544.0, 360663.0, 283837.0, 82453.0, 41595.0, 25377.0, 11740.0, 6828.0, 4530.0, 2281.0, 1376.0, 996.0, 480.0, 349.0, 228.0, 122.0, 89.0, 62.0, 32.0, 18.0, 24.0, 12.0, 7.0, 5.0, 3.0, 6.0, 2.0, 2.0, 1.0, 1.0, 1.0, 1.0], "bins": [-1.2814998626708984e-05, -1.24368816614151e-05, -1.2058764696121216e-05, -1.1680647730827332e-05, -1.1302530765533447e-05, -1.0924413800239563e-05, -1.0546296834945679e-05, -1.0168179869651794e-05, -9.79006290435791e-06, -9.411945939064026e-06, -9.033828973770142e-06, -8.655712008476257e-06, -8.277595043182373e-06, -7.899478077888489e-06, -7.5213611125946045e-06, -7.14324414730072e-06, -6.765127182006836e-06, -6.387010216712952e-06, -6.008893251419067e-06, -5.630776286125183e-06, -5.252659320831299e-06, -4.8745423555374146e-06, -4.49642539024353e-06, -4.118308424949646e-06, -3.7401914596557617e-06, -3.3620744943618774e-06, -2.983957529067993e-06, -2.605840563774109e-06, -2.2277235984802246e-06, -1.8496066331863403e-06, -1.471489667892456e-06, -1.0933727025985718e-06, -7.152557373046875e-07, -3.371387720108032e-07, 4.0978193283081055e-08, 4.1909515857696533e-07, 7.972121238708496e-07, 1.1753290891647339e-06, 1.5534460544586182e-06, 1.9315630197525024e-06, 2.3096799850463867e-06, 2.687796950340271e-06, 3.0659139156341553e-06, 3.4440308809280396e-06, 3.822147846221924e-06, 4.200264811515808e-06, 4.578381776809692e-06, 4.956498742103577e-06, 5.334615707397461e-06, 5.712732672691345e-06, 6.0908496379852295e-06, 6.468966603279114e-06, 6.847083568572998e-06, 7.225200533866882e-06, 7.603317499160767e-06, 7.981434464454651e-06, 8.359551429748535e-06, 8.73766839504242e-06, 9.115785360336304e-06, 9.493902325630188e-06, 9.872019290924072e-06, 1.0250136256217957e-05, 1.062825322151184e-05, 1.1006370186805725e-05, 1.138448715209961e-05]}, "gradients/encoder.encoder.layers.8.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 1.0, 2.0, 4.0, 2.0, 1.0, 2.0, 7.0, 7.0, 1.0, 11.0, 9.0, 11.0, 16.0, 15.0, 16.0, 32.0, 34.0, 30.0, 40.0, 24.0, 45.0, 42.0, 30.0, 56.0, 59.0, 45.0, 58.0, 36.0, 60.0, 32.0, 33.0, 41.0, 26.0, 27.0, 34.0, 11.0, 22.0, 9.0, 19.0, 12.0, 11.0, 5.0, 11.0, 7.0, 5.0, 6.0, 3.0, 1.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-8.285045623779297e-06, -8.009374141693115e-06, -7.733702659606934e-06, -7.458031177520752e-06, -7.18235969543457e-06, -6.906688213348389e-06, -6.631016731262207e-06, -6.355345249176025e-06, -6.079673767089844e-06, -5.804002285003662e-06, -5.5283308029174805e-06, -5.252659320831299e-06, -4.976987838745117e-06, -4.7013163566589355e-06, -4.425644874572754e-06, -4.149973392486572e-06, -3.874301910400391e-06, -3.598630428314209e-06, -3.3229589462280273e-06, -3.0472874641418457e-06, -2.771615982055664e-06, -2.4959444999694824e-06, -2.2202730178833008e-06, -1.944601535797119e-06, -1.6689300537109375e-06, -1.3932585716247559e-06, -1.1175870895385742e-06, -8.419156074523926e-07, -5.662441253662109e-07, -2.905726432800293e-07, -1.4901161193847656e-08, 2.60770320892334e-07, 5.364418029785156e-07, 8.121132850646973e-07, 1.087784767150879e-06, 1.3634562492370605e-06, 1.6391277313232422e-06, 1.914799213409424e-06, 2.1904706954956055e-06, 2.466142177581787e-06, 2.7418136596679688e-06, 3.0174851417541504e-06, 3.293156623840332e-06, 3.5688281059265137e-06, 3.844499588012695e-06, 4.120171070098877e-06, 4.395842552185059e-06, 4.67151403427124e-06, 4.947185516357422e-06, 5.2228569984436035e-06, 5.498528480529785e-06, 5.774199962615967e-06, 6.0498714447021484e-06, 6.32554292678833e-06, 6.601214408874512e-06, 6.876885890960693e-06, 7.152557373046875e-06, 7.428228855133057e-06, 7.703900337219238e-06, 7.97957181930542e-06, 8.255243301391602e-06, 8.530914783477783e-06, 8.806586265563965e-06, 9.082257747650146e-06, 9.357929229736328e-06]}, "gradients/encoder.encoder.layers.8.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 2.0, 1.0, 0.0, 2.0, 6.0, 1.0, 9.0, 11.0, 14.0, 14.0, 14.0, 49.0, 78.0, 118.0, 83.0, 223.0, 366.0, 619.0, 469.0, 1281.0, 2242.0, 4066.0, 3093.0, 10179.0, 20908.0, 54095.0, 63023.0, 579196.0, 210788.0, 53725.0, 20878.0, 5861.0, 7413.0, 4061.0, 2293.0, 755.0, 1013.0, 605.0, 371.0, 136.0, 187.0, 108.0, 67.0, 31.0, 37.0, 30.0, 12.0, 8.0, 1.0, 11.0, 3.0, 2.0, 1.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0], "bins": [-3.2186508178710938e-06, -3.1134113669395447e-06, -3.0081719160079956e-06, -2.9029324650764465e-06, -2.7976930141448975e-06, -2.6924535632133484e-06, -2.5872141122817993e-06, -2.4819746613502502e-06, -2.376735210418701e-06, -2.271495759487152e-06, -2.166256308555603e-06, -2.061016857624054e-06, -1.955777406692505e-06, -1.8505379557609558e-06, -1.7452985048294067e-06, -1.6400590538978577e-06, -1.5348196029663086e-06, -1.4295801520347595e-06, -1.3243407011032104e-06, -1.2191012501716614e-06, -1.1138617992401123e-06, -1.0086223483085632e-06, -9.033828973770142e-07, -7.981434464454651e-07, -6.92903995513916e-07, -5.876645445823669e-07, -4.824250936508179e-07, -3.771856427192688e-07, -2.7194619178771973e-07, -1.6670674085617065e-07, -6.146728992462158e-08, 4.377216100692749e-08, 1.4901161193847656e-07, 2.5425106287002563e-07, 3.594905138015747e-07, 4.647299647331238e-07, 5.699694156646729e-07, 6.752088665962219e-07, 7.80448317527771e-07, 8.856877684593201e-07, 9.909272193908691e-07, 1.0961666703224182e-06, 1.2014061212539673e-06, 1.3066455721855164e-06, 1.4118850231170654e-06, 1.5171244740486145e-06, 1.6223639249801636e-06, 1.7276033759117126e-06, 1.8328428268432617e-06, 1.938082277774811e-06, 2.04332172870636e-06, 2.148561179637909e-06, 2.253800630569458e-06, 2.359040081501007e-06, 2.464279532432556e-06, 2.5695189833641052e-06, 2.6747584342956543e-06, 2.7799978852272034e-06, 2.8852373361587524e-06, 2.9904767870903015e-06, 3.0957162380218506e-06, 3.2009556889533997e-06, 3.3061951398849487e-06, 3.411434590816498e-06, 3.516674041748047e-06]}, "gradients/encoder.encoder.layers.8.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 2.0, 1.0, 2.0, 3.0, 4.0, 2.0, 7.0, 9.0, 9.0, 8.0, 15.0, 10.0, 9.0, 15.0, 29.0, 30.0, 26.0, 31.0, 34.0, 105.0, 81.0, 124.0, 80.0, 112.0, 36.0, 35.0, 31.0, 47.0, 18.0, 10.0, 11.0, 22.0, 4.0, 9.0, 4.0, 3.0, 8.0, 3.0, 3.0, 5.0, 4.0, 0.0, 2.0, 4.0, 0.0, 0.0, 2.0, 2.0, 3.0], "bins": [-2.682209014892578e-06, -2.6086345314979553e-06, -2.5350600481033325e-06, -2.4614855647087097e-06, -2.387911081314087e-06, -2.314336597919464e-06, -2.2407621145248413e-06, -2.1671876311302185e-06, -2.0936131477355957e-06, -2.020038664340973e-06, -1.94646418094635e-06, -1.8728896975517273e-06, -1.7993152141571045e-06, -1.7257407307624817e-06, -1.6521662473678589e-06, -1.578591763973236e-06, -1.5050172805786133e-06, -1.4314427971839905e-06, -1.3578683137893677e-06, -1.2842938303947449e-06, -1.210719347000122e-06, -1.1371448636054993e-06, -1.0635703802108765e-06, -9.899958968162537e-07, -9.164214134216309e-07, -8.428469300270081e-07, -7.692724466323853e-07, -6.956979632377625e-07, -6.221234798431396e-07, -5.485489964485168e-07, -4.7497451305389404e-07, -4.0140002965927124e-07, -3.2782554626464844e-07, -2.5425106287002563e-07, -1.8067657947540283e-07, -1.0710209608078003e-07, -3.3527612686157227e-08, 4.0046870708465576e-08, 1.1362135410308838e-07, 1.8719583749771118e-07, 2.60770320892334e-07, 3.343448042869568e-07, 4.079192876815796e-07, 4.814937710762024e-07, 5.550682544708252e-07, 6.28642737865448e-07, 7.022172212600708e-07, 7.757917046546936e-07, 8.493661880493164e-07, 9.229406714439392e-07, 9.96515154838562e-07, 1.0700896382331848e-06, 1.1436641216278076e-06, 1.2172386050224304e-06, 1.2908130884170532e-06, 1.364387571811676e-06, 1.4379620552062988e-06, 1.5115365386009216e-06, 1.5851110219955444e-06, 1.6586855053901672e-06, 1.73225998878479e-06, 1.8058344721794128e-06, 1.8794089555740356e-06, 1.9529834389686584e-06, 2.0265579223632812e-06]}, "gradients/encoder.encoder.layers.8.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 3.0, 2.0, 3.0, 5.0, 11.0, 16.0, 16.0, 23.0, 34.0, 72.0, 82.0, 147.0, 218.0, 339.0, 907.0, 1080.0, 2071.0, 3329.0, 6144.0, 11693.0, 22666.0, 50973.0, 184715.0, 609016.0, 85963.0, 33646.0, 16158.0, 8419.0, 4478.0, 2565.0, 1421.0, 872.0, 490.0, 349.0, 230.0, 175.0, 77.0, 48.0, 32.0, 21.0, 20.0, 9.0, 12.0, 4.0, 6.0, 2.0, 0.0, 2.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.6954879760742188e-06, -3.573484718799591e-06, -3.4514814615249634e-06, -3.3294782042503357e-06, -3.207474946975708e-06, -3.0854716897010803e-06, -2.9634684324264526e-06, -2.841465175151825e-06, -2.7194619178771973e-06, -2.5974586606025696e-06, -2.475455403327942e-06, -2.353452146053314e-06, -2.2314488887786865e-06, -2.109445631504059e-06, -1.987442374229431e-06, -1.8654391169548035e-06, -1.7434358596801758e-06, -1.621432602405548e-06, -1.4994293451309204e-06, -1.3774260878562927e-06, -1.255422830581665e-06, -1.1334195733070374e-06, -1.0114163160324097e-06, -8.89413058757782e-07, -7.674098014831543e-07, -6.454065442085266e-07, -5.234032869338989e-07, -4.0140002965927124e-07, -2.7939677238464355e-07, -1.5739351511001587e-07, -3.5390257835388184e-08, 8.66129994392395e-08, 2.086162567138672e-07, 3.3061951398849487e-07, 4.5262277126312256e-07, 5.746260285377502e-07, 6.966292858123779e-07, 8.186325430870056e-07, 9.406358003616333e-07, 1.062639057636261e-06, 1.1846423149108887e-06, 1.3066455721855164e-06, 1.428648829460144e-06, 1.5506520867347717e-06, 1.6726553440093994e-06, 1.794658601284027e-06, 1.9166618585586548e-06, 2.0386651158332825e-06, 2.16066837310791e-06, 2.282671630382538e-06, 2.4046748876571655e-06, 2.5266781449317932e-06, 2.648681402206421e-06, 2.7706846594810486e-06, 2.8926879167556763e-06, 3.014691174030304e-06, 3.1366944313049316e-06, 3.2586976885795593e-06, 3.380700945854187e-06, 3.5027042031288147e-06, 3.6247074604034424e-06, 3.74671071767807e-06, 3.868713974952698e-06, 3.9907172322273254e-06, 4.112720489501953e-06]}, "gradients/encoder.encoder.layers.8.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 2.0, 6.0, 2.0, 2.0, 3.0, 7.0, 6.0, 16.0, 14.0, 8.0, 14.0, 13.0, 36.0, 16.0, 46.0, 17.0, 38.0, 100.0, 86.0, 240.0, 66.0, 63.0, 20.0, 38.0, 10.0, 15.0, 21.0, 12.0, 18.0, 13.0, 23.0, 3.0, 5.0, 10.0, 5.0, 3.0, 2.0, 5.0, 1.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.9206275939941406e-06, -2.8349459171295166e-06, -2.7492642402648926e-06, -2.6635825634002686e-06, -2.5779008865356445e-06, -2.4922192096710205e-06, -2.4065375328063965e-06, -2.3208558559417725e-06, -2.2351741790771484e-06, -2.1494925022125244e-06, -2.0638108253479004e-06, -1.9781291484832764e-06, -1.8924474716186523e-06, -1.8067657947540283e-06, -1.7210841178894043e-06, -1.6354024410247803e-06, -1.5497207641601562e-06, -1.4640390872955322e-06, -1.3783574104309082e-06, -1.2926757335662842e-06, -1.2069940567016602e-06, -1.1213123798370361e-06, -1.0356307029724121e-06, -9.499490261077881e-07, -8.642673492431641e-07, -7.7858567237854e-07, -6.92903995513916e-07, -6.07222318649292e-07, -5.21540641784668e-07, -4.3585896492004395e-07, -3.501772880554199e-07, -2.644956111907959e-07, -1.7881393432617188e-07, -9.313225746154785e-08, -7.450580596923828e-09, 7.82310962677002e-08, 1.6391277313232422e-07, 2.4959444999694824e-07, 3.3527612686157227e-07, 4.209578037261963e-07, 5.066394805908203e-07, 5.923211574554443e-07, 6.780028343200684e-07, 7.636845111846924e-07, 8.493661880493164e-07, 9.350478649139404e-07, 1.0207295417785645e-06, 1.1064112186431885e-06, 1.1920928955078125e-06, 1.2777745723724365e-06, 1.3634562492370605e-06, 1.4491379261016846e-06, 1.5348196029663086e-06, 1.6205012798309326e-06, 1.7061829566955566e-06, 1.7918646335601807e-06, 1.8775463104248047e-06, 1.9632279872894287e-06, 2.0489096641540527e-06, 2.1345913410186768e-06, 2.2202730178833008e-06, 2.305954694747925e-06, 2.391636371612549e-06, 2.477318048477173e-06, 2.562999725341797e-06]}, "gradients/encoder.encoder.layers.8.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 0.0, 2.0, 1.0, 3.0, 0.0, 2.0, 0.0, 2.0, 3.0, 8.0, 3.0, 7.0, 6.0, 8.0, 18.0, 8.0, 25.0, 25.0, 35.0, 53.0, 70.0, 88.0, 151.0, 128.0, 95.0, 61.0, 37.0, 37.0, 29.0, 21.0, 10.0, 15.0, 8.0, 6.0, 12.0, 9.0, 6.0, 5.0, 4.0, 4.0, 1.0, 0.0, 2.0, 1.0, 1.0, 2.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.774926517507993e-05, -3.652905797935091e-05, -3.530885078362189e-05, -3.408863994991407e-05, -3.286843275418505e-05, -3.1648225558456033e-05, -3.0428018362727016e-05, -2.9207809348008595e-05, -2.7987600333290175e-05, -2.6767393137561157e-05, -2.5547184122842737e-05, -2.432697692711372e-05, -2.31067679123953e-05, -2.188656071666628e-05, -2.0666353520937264e-05, -1.9446144506218843e-05, -1.8225937310489826e-05, -1.700573011476081e-05, -1.5785521100042388e-05, -1.456531390431337e-05, -1.334510488959495e-05, -1.2124897693865933e-05, -1.0904689588642213e-05, -9.684481483418494e-06, -8.464273378194775e-06, -7.244065272971056e-06, -6.023857167747337e-06, -4.803649517270969e-06, -3.58344141204725e-06, -2.363233306823531e-06, -1.143025656347163e-06, 7.718244887655601e-08, 1.297390554100275e-06, 2.517598659323994e-06, 3.7378065371740377e-06, 4.958014415024081e-06, 6.1782225202478e-06, 7.398430625471519e-06, 8.618638275947887e-06, 9.838846381171606e-06, 1.1059054486395326e-05, 1.2279262591619045e-05, 1.3499470696842764e-05, 1.4719678802066483e-05, 1.59398859977955e-05, 1.716009501251392e-05, 1.8380302208242938e-05, 1.9600509403971955e-05, 2.0820718418690376e-05, 2.2040925614419393e-05, 2.3261134629137814e-05, 2.448134182486683e-05, 2.5701550839585252e-05, 2.692175803531427e-05, 2.814196705003269e-05, 2.9362174245761707e-05, 3.0582381441490725e-05, 3.180258863721974e-05, 3.302279583294876e-05, 3.4243006666656584e-05, 3.54632138623856e-05, 3.668342105811462e-05, 3.7903628253843635e-05, 3.912383544957265e-05, 4.034404628328048e-05]}, "gradients/encoder.encoder.layers.8.layer_norm.bias": {"_type": "histogram", "values": [2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 7.0, 3.0, 10.0, 6.0, 11.0, 10.0, 12.0, 9.0, 16.0, 21.0, 15.0, 21.0, 26.0, 25.0, 23.0, 33.0, 41.0, 32.0, 51.0, 39.0, 44.0, 31.0, 40.0, 44.0, 36.0, 31.0, 27.0, 32.0, 35.0, 27.0, 34.0, 32.0, 28.0, 30.0, 15.0, 22.0, 16.0, 12.0, 10.0, 12.0, 6.0, 6.0, 10.0, 3.0, 1.0, 5.0, 3.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.3365020751953125e-05, -2.2630207240581512e-05, -2.18953937292099e-05, -2.1160580217838287e-05, -2.0425766706466675e-05, -1.9690953195095062e-05, -1.895613968372345e-05, -1.8221326172351837e-05, -1.7486512660980225e-05, -1.6751699149608612e-05, -1.6016885638237e-05, -1.5282072126865387e-05, -1.4547258615493774e-05, -1.3812445104122162e-05, -1.307763159275055e-05, -1.2342818081378937e-05, -1.1608004570007324e-05, -1.0873191058635712e-05, -1.0138377547264099e-05, -9.403564035892487e-06, -8.668750524520874e-06, -7.933937013149261e-06, -7.199123501777649e-06, -6.464309990406036e-06, -5.729496479034424e-06, -4.994682967662811e-06, -4.259869456291199e-06, -3.525055944919586e-06, -2.7902424335479736e-06, -2.055428922176361e-06, -1.3206154108047485e-06, -5.85801899433136e-07, 1.4901161193847656e-07, 8.838251233100891e-07, 1.6186386346817017e-06, 2.353452146053314e-06, 3.0882656574249268e-06, 3.823079168796539e-06, 4.557892680168152e-06, 5.292706191539764e-06, 6.027519702911377e-06, 6.7623332142829895e-06, 7.497146725654602e-06, 8.231960237026215e-06, 8.966773748397827e-06, 9.70158725976944e-06, 1.0436400771141052e-05, 1.1171214282512665e-05, 1.1906027793884277e-05, 1.264084130525589e-05, 1.3375654816627502e-05, 1.4110468327999115e-05, 1.4845281839370728e-05, 1.558009535074234e-05, 1.6314908862113953e-05, 1.7049722373485565e-05, 1.7784535884857178e-05, 1.851934939622879e-05, 1.9254162907600403e-05, 1.9988976418972015e-05, 2.0723789930343628e-05, 2.145860344171524e-05, 2.2193416953086853e-05, 2.2928230464458466e-05, 2.3663043975830078e-05]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 2.0, 4.0, 9.0, 10.0, 20.0, 23.0, 34.0, 65.0, 82.0, 113.0, 200.0, 277.0, 365.0, 569.0, 784.0, 1095.0, 1661.0, 2758.0, 5211.0, 8089.0, 13875.0, 26673.0, 63601.0, 2572404.0, 1377905.0, 58431.0, 25906.0, 13767.0, 8206.0, 4572.0, 2679.0, 1519.0, 995.0, 704.0, 486.0, 361.0, 234.0, 155.0, 141.0, 80.0, 61.0, 41.0, 35.0, 33.0, 19.0, 15.0, 6.0, 5.0, 4.0, 2.0, 5.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9371509552001953e-05, -1.865345984697342e-05, -1.7935410141944885e-05, -1.721736043691635e-05, -1.6499310731887817e-05, -1.5781261026859283e-05, -1.506321132183075e-05, -1.4345161616802216e-05, -1.3627111911773682e-05, -1.2909062206745148e-05, -1.2191012501716614e-05, -1.147296279668808e-05, -1.0754913091659546e-05, -1.0036863386631012e-05, -9.318813681602478e-06, -8.600763976573944e-06, -7.88271427154541e-06, -7.164664566516876e-06, -6.446614861488342e-06, -5.728565156459808e-06, -5.010515451431274e-06, -4.2924657464027405e-06, -3.5744160413742065e-06, -2.8563663363456726e-06, -2.1383166313171387e-06, -1.4202669262886047e-06, -7.022172212600708e-07, 1.5832483768463135e-08, 7.338821887969971e-07, 1.451931893825531e-06, 2.169981598854065e-06, 2.888031303882599e-06, 3.606081008911133e-06, 4.324130713939667e-06, 5.042180418968201e-06, 5.760230123996735e-06, 6.4782798290252686e-06, 7.1963295340538025e-06, 7.914379239082336e-06, 8.63242894411087e-06, 9.350478649139404e-06, 1.0068528354167938e-05, 1.0786578059196472e-05, 1.1504627764225006e-05, 1.222267746925354e-05, 1.2940727174282074e-05, 1.3658776879310608e-05, 1.4376826584339142e-05, 1.5094876289367676e-05, 1.581292599439621e-05, 1.6530975699424744e-05, 1.7249025404453278e-05, 1.796707510948181e-05, 1.8685124814510345e-05, 1.940317451953888e-05, 2.0121224224567413e-05, 2.0839273929595947e-05, 2.155732363462448e-05, 2.2275373339653015e-05, 2.299342304468155e-05, 2.3711472749710083e-05, 2.4429522454738617e-05, 2.514757215976715e-05, 2.5865621864795685e-05, 2.658367156982422e-05]}, "gradients/encoder.encoder.layers.7.feed_forward.output_dense.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 3.0, 3.0, 2.0, 1.0, 5.0, 0.0, 4.0, 5.0, 3.0, 2.0, 7.0, 13.0, 12.0, 14.0, 28.0, 24.0, 22.0, 25.0, 56.0, 38.0, 52.0, 53.0, 60.0, 62.0, 55.0, 88.0, 49.0, 50.0, 46.0, 35.0, 27.0, 34.0, 44.0, 21.0, 22.0, 6.0, 14.0, 6.0, 4.0, 4.0, 1.0, 3.0, 3.0, 1.0, 0.0, 3.0, 5.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.4570693969726562e-06, -3.3294782042503357e-06, -3.201887011528015e-06, -3.0742958188056946e-06, -2.946704626083374e-06, -2.8191134333610535e-06, -2.691522240638733e-06, -2.5639310479164124e-06, -2.436339855194092e-06, -2.3087486624717712e-06, -2.1811574697494507e-06, -2.05356627702713e-06, -1.9259750843048096e-06, -1.798383891582489e-06, -1.6707926988601685e-06, -1.543201506137848e-06, -1.4156103134155273e-06, -1.2880191206932068e-06, -1.1604279279708862e-06, -1.0328367352485657e-06, -9.052455425262451e-07, -7.776543498039246e-07, -6.50063157081604e-07, -5.224719643592834e-07, -3.948807716369629e-07, -2.6728957891464233e-07, -1.3969838619232178e-07, -1.210719347000122e-08, 1.1548399925231934e-07, 2.430751919746399e-07, 3.7066638469696045e-07, 4.98257577419281e-07, 6.258487701416016e-07, 7.534399628639221e-07, 8.810311555862427e-07, 1.0086223483085632e-06, 1.1362135410308838e-06, 1.2638047337532043e-06, 1.391395926475525e-06, 1.5189871191978455e-06, 1.646578311920166e-06, 1.7741695046424866e-06, 1.9017606973648071e-06, 2.0293518900871277e-06, 2.1569430828094482e-06, 2.284534275531769e-06, 2.4121254682540894e-06, 2.53971666097641e-06, 2.6673078536987305e-06, 2.794899046421051e-06, 2.9224902391433716e-06, 3.050081431865692e-06, 3.1776726245880127e-06, 3.3052638173103333e-06, 3.432855010032654e-06, 3.5604462027549744e-06, 3.688037395477295e-06, 3.8156285881996155e-06, 3.943219780921936e-06, 4.070810973644257e-06, 4.198402166366577e-06, 4.325993359088898e-06, 4.453584551811218e-06, 4.581175744533539e-06, 4.708766937255859e-06]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 5.0, 6.0, 9.0, 17.0, 25.0, 47.0, 58.0, 94.0, 117.0, 189.0, 254.0, 456.0, 617.0, 901.0, 1632.0, 2200.0, 3450.0, 6918.0, 9868.0, 21807.0, 35734.0, 77699.0, 388337.0, 3095076.0, 361455.0, 102937.0, 35522.0, 19044.0, 12610.0, 6038.0, 4411.0, 2219.0, 1475.0, 1122.0, 608.0, 438.0, 306.0, 170.0, 139.0, 100.0, 55.0, 40.0, 29.0, 23.0, 10.0, 10.0, 7.0, 2.0, 6.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0073184967041016e-05, -9.753741323947906e-06, -9.434297680854797e-06, -9.114854037761688e-06, -8.795410394668579e-06, -8.47596675157547e-06, -8.15652310848236e-06, -7.837079465389252e-06, -7.517635822296143e-06, -7.1981921792030334e-06, -6.878748536109924e-06, -6.559304893016815e-06, -6.239861249923706e-06, -5.920417606830597e-06, -5.600973963737488e-06, -5.281530320644379e-06, -4.9620866775512695e-06, -4.64264303445816e-06, -4.323199391365051e-06, -4.003755748271942e-06, -3.684312105178833e-06, -3.364868462085724e-06, -3.0454248189926147e-06, -2.7259811758995056e-06, -2.4065375328063965e-06, -2.0870938897132874e-06, -1.7676502466201782e-06, -1.448206603527069e-06, -1.12876296043396e-06, -8.093193173408508e-07, -4.898756742477417e-07, -1.7043203115463257e-07, 1.4901161193847656e-07, 4.684552550315857e-07, 7.878988981246948e-07, 1.107342541217804e-06, 1.426786184310913e-06, 1.7462298274040222e-06, 2.0656734704971313e-06, 2.3851171135902405e-06, 2.7045607566833496e-06, 3.0240043997764587e-06, 3.343448042869568e-06, 3.662891685962677e-06, 3.982335329055786e-06, 4.301778972148895e-06, 4.621222615242004e-06, 4.9406662583351135e-06, 5.260109901428223e-06, 5.579553544521332e-06, 5.898997187614441e-06, 6.21844083070755e-06, 6.537884473800659e-06, 6.857328116893768e-06, 7.1767717599868774e-06, 7.4962154030799866e-06, 7.815659046173096e-06, 8.135102689266205e-06, 8.454546332359314e-06, 8.773989975452423e-06, 9.093433618545532e-06, 9.412877261638641e-06, 9.73232090473175e-06, 1.005176454782486e-05, 1.0371208190917969e-05]}, "gradients/encoder.encoder.layers.7.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 0.0, 2.0, 2.0, 3.0, 5.0, 5.0, 8.0, 5.0, 6.0, 10.0, 9.0, 18.0, 22.0, 18.0, 28.0, 36.0, 31.0, 44.0, 57.0, 75.0, 156.0, 225.0, 481.0, 1265.0, 662.0, 393.0, 147.0, 78.0, 66.0, 37.0, 27.0, 27.0, 19.0, 25.0, 10.0, 14.0, 16.0, 10.0, 6.0, 8.0, 3.0, 7.0, 2.0, 4.0, 4.0, 3.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-8.52346420288086e-06, -8.262693881988525e-06, -8.001923561096191e-06, -7.741153240203857e-06, -7.4803829193115234e-06, -7.2196125984191895e-06, -6.9588422775268555e-06, -6.6980719566345215e-06, -6.4373016357421875e-06, -6.1765313148498535e-06, -5.9157609939575195e-06, -5.6549906730651855e-06, -5.3942203521728516e-06, -5.133450031280518e-06, -4.872679710388184e-06, -4.61190938949585e-06, -4.351139068603516e-06, -4.090368747711182e-06, -3.829598426818848e-06, -3.5688281059265137e-06, -3.3080577850341797e-06, -3.0472874641418457e-06, -2.7865171432495117e-06, -2.5257468223571777e-06, -2.2649765014648438e-06, -2.0042061805725098e-06, -1.7434358596801758e-06, -1.4826655387878418e-06, -1.2218952178955078e-06, -9.611248970031738e-07, -7.003545761108398e-07, -4.3958425521850586e-07, -1.7881393432617188e-07, 8.195638656616211e-08, 3.427267074584961e-07, 6.034970283508301e-07, 8.642673492431641e-07, 1.125037670135498e-06, 1.385807991027832e-06, 1.646578311920166e-06, 1.9073486328125e-06, 2.168118953704834e-06, 2.428889274597168e-06, 2.689659595489502e-06, 2.950429916381836e-06, 3.21120023727417e-06, 3.471970558166504e-06, 3.732740879058838e-06, 3.993511199951172e-06, 4.254281520843506e-06, 4.51505184173584e-06, 4.775822162628174e-06, 5.036592483520508e-06, 5.297362804412842e-06, 5.558133125305176e-06, 5.81890344619751e-06, 6.079673767089844e-06, 6.340444087982178e-06, 6.601214408874512e-06, 6.861984729766846e-06, 7.12275505065918e-06, 7.383525371551514e-06, 7.644295692443848e-06, 7.905066013336182e-06, 8.165836334228516e-06]}, "gradients/encoder.encoder.layers.7.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 9.0, 5.0, 2.0, 3.0, 4.0, 3.0, 4.0, 8.0, 10.0, 15.0, 15.0, 12.0, 17.0, 17.0, 33.0, 48.0, 52.0, 60.0, 83.0, 97.0, 96.0, 82.0, 78.0, 55.0, 35.0, 34.0, 28.0, 18.0, 17.0, 9.0, 20.0, 7.0, 3.0, 8.0, 6.0, 5.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-4.951489972881973e-05, -4.815965439775027e-05, -4.680440542870201e-05, -4.544916009763256e-05, -4.4093911128584296e-05, -4.273866579751484e-05, -4.1383420466445386e-05, -4.0028171497397125e-05, -3.867292616632767e-05, -3.7317680835258216e-05, -3.5962431866209954e-05, -3.46071865351405e-05, -3.325193756609224e-05, -3.189669223502278e-05, -3.054144326597452e-05, -2.9186197934905067e-05, -2.783095078484621e-05, -2.647570363478735e-05, -2.5120456484728493e-05, -2.3765209334669635e-05, -2.240996400360018e-05, -2.1054716853541322e-05, -1.9699469703482464e-05, -1.834422437241301e-05, -1.6988975403364748e-05, -1.563372825330589e-05, -1.4278482012741733e-05, -1.2923234862682875e-05, -1.1567988622118719e-05, -1.021274147205986e-05, -8.857494322001003e-06, -7.502248081436846e-06, -6.14700184087269e-06, -4.791755145561183e-06, -3.4365082228760002e-06, -2.0812613001908176e-06, -7.260146048793104e-07, 6.292320904321969e-07, 1.984479240491055e-06, 3.3397254810552113e-06, 4.694972631114069e-06, 6.050219326425577e-06, 7.405466021737084e-06, 8.760713171795942e-06, 1.01159603218548e-05, 1.1471206562418956e-05, 1.2826453712477814e-05, 1.418169995304197e-05, 1.553694710310083e-05, 1.6892194253159687e-05, 1.8247441403218545e-05, 1.9602688553277403e-05, 2.0957933884346858e-05, 2.2313181034405716e-05, 2.3668428184464574e-05, 2.502367351553403e-05, 2.637892248458229e-05, 2.7734169634641148e-05, 2.9089416784700006e-05, 3.044466211576946e-05, 3.179991108481772e-05, 3.315515641588718e-05, 3.451040538493544e-05, 3.586565071600489e-05, 3.722089604707435e-05]}, "gradients/encoder.encoder.layers.7.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 4.0, 4.0, 3.0, 5.0, 9.0, 17.0, 16.0, 12.0, 18.0, 25.0, 23.0, 21.0, 37.0, 33.0, 38.0, 34.0, 49.0, 53.0, 54.0, 57.0, 50.0, 41.0, 46.0, 53.0, 39.0, 33.0, 35.0, 38.0, 25.0, 19.0, 20.0, 14.0, 16.0, 13.0, 14.0, 15.0, 10.0, 7.0, 6.0, 2.0, 2.0, 0.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.331899642944336e-05, -3.2364390790462494e-05, -3.140978515148163e-05, -3.0455179512500763e-05, -2.9500573873519897e-05, -2.8545968234539032e-05, -2.7591362595558167e-05, -2.66367569565773e-05, -2.5682151317596436e-05, -2.472754567861557e-05, -2.3772940039634705e-05, -2.281833440065384e-05, -2.1863728761672974e-05, -2.0909123122692108e-05, -1.9954517483711243e-05, -1.8999911844730377e-05, -1.8045306205749512e-05, -1.7090700566768646e-05, -1.613609492778778e-05, -1.5181489288806915e-05, -1.422688364982605e-05, -1.3272278010845184e-05, -1.2317672371864319e-05, -1.1363066732883453e-05, -1.0408461093902588e-05, -9.453855454921722e-06, -8.499249815940857e-06, -7.5446441769599915e-06, -6.590038537979126e-06, -5.6354328989982605e-06, -4.680827260017395e-06, -3.7262216210365295e-06, -2.771615982055664e-06, -1.8170103430747986e-06, -8.624047040939331e-07, 9.220093488693237e-08, 1.0468065738677979e-06, 2.0014122128486633e-06, 2.956017851829529e-06, 3.910623490810394e-06, 4.86522912979126e-06, 5.819834768772125e-06, 6.774440407752991e-06, 7.729046046733856e-06, 8.683651685714722e-06, 9.638257324695587e-06, 1.0592862963676453e-05, 1.1547468602657318e-05, 1.2502074241638184e-05, 1.3456679880619049e-05, 1.4411285519599915e-05, 1.536589115858078e-05, 1.6320496797561646e-05, 1.727510243654251e-05, 1.8229708075523376e-05, 1.9184313714504242e-05, 2.0138919353485107e-05, 2.1093524992465973e-05, 2.204813063144684e-05, 2.3002736270427704e-05, 2.395734190940857e-05, 2.4911947548389435e-05, 2.58665531873703e-05, 2.6821158826351166e-05, 2.777576446533203e-05]}, "gradients/encoder.encoder.layers.7.attention.out_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0, 3.0, 3.0, 7.0, 4.0, 11.0, 9.0, 20.0, 25.0, 31.0, 51.0, 68.0, 108.0, 185.0, 350.0, 535.0, 934.0, 1779.0, 3770.0, 7606.0, 16763.0, 40257.0, 115534.0, 550891.0, 202473.0, 61453.0, 24339.0, 10684.0, 5208.0, 2396.0, 1195.0, 697.0, 409.0, 270.0, 178.0, 88.0, 66.0, 39.0, 36.0, 23.0, 11.0, 25.0, 8.0, 8.0, 7.0, 2.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.5153160095214844e-05, -2.4306587874889374e-05, -2.3460015654563904e-05, -2.2613443434238434e-05, -2.1766871213912964e-05, -2.0920298993587494e-05, -2.0073726773262024e-05, -1.9227154552936554e-05, -1.8380582332611084e-05, -1.7534010112285614e-05, -1.6687437891960144e-05, -1.5840865671634674e-05, -1.4994293451309204e-05, -1.4147721230983734e-05, -1.3301149010658264e-05, -1.2454576790332794e-05, -1.1608004570007324e-05, -1.0761432349681854e-05, -9.914860129356384e-06, -9.068287909030914e-06, -8.221715688705444e-06, -7.375143468379974e-06, -6.528571248054504e-06, -5.6819990277290344e-06, -4.8354268074035645e-06, -3.9888545870780945e-06, -3.1422823667526245e-06, -2.2957101464271545e-06, -1.4491379261016846e-06, -6.025657057762146e-07, 2.4400651454925537e-07, 1.0905787348747253e-06, 1.9371509552001953e-06, 2.7837231755256653e-06, 3.6302953958511353e-06, 4.476867616176605e-06, 5.323439836502075e-06, 6.170012056827545e-06, 7.016584277153015e-06, 7.863156497478485e-06, 8.709728717803955e-06, 9.556300938129425e-06, 1.0402873158454895e-05, 1.1249445378780365e-05, 1.2096017599105835e-05, 1.2942589819431305e-05, 1.3789162039756775e-05, 1.4635734260082245e-05, 1.5482306480407715e-05, 1.6328878700733185e-05, 1.7175450921058655e-05, 1.8022023141384125e-05, 1.8868595361709595e-05, 1.9715167582035065e-05, 2.0561739802360535e-05, 2.1408312022686005e-05, 2.2254884243011475e-05, 2.3101456463336945e-05, 2.3948028683662415e-05, 2.4794600903987885e-05, 2.5641173124313354e-05, 2.6487745344638824e-05, 2.7334317564964294e-05, 2.8180889785289764e-05, 2.9027462005615234e-05]}, "gradients/encoder.encoder.layers.7.attention.out_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 2.0, 2.0, 1.0, 2.0, 7.0, 5.0, 10.0, 8.0, 9.0, 26.0, 25.0, 28.0, 36.0, 58.0, 48.0, 47.0, 91.0, 100.0, 90.0, 35.0, 65.0, 68.0, 61.0, 28.0, 33.0, 35.0, 26.0, 15.0, 18.0, 9.0, 8.0, 4.0, 5.0, 3.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.635883331298828e-06, -3.471970558166504e-06, -3.3080577850341797e-06, -3.1441450119018555e-06, -2.9802322387695312e-06, -2.816319465637207e-06, -2.652406692504883e-06, -2.4884939193725586e-06, -2.3245811462402344e-06, -2.16066837310791e-06, -1.996755599975586e-06, -1.8328428268432617e-06, -1.6689300537109375e-06, -1.5050172805786133e-06, -1.341104507446289e-06, -1.1771917343139648e-06, -1.0132789611816406e-06, -8.493661880493164e-07, -6.854534149169922e-07, -5.21540641784668e-07, -3.5762786865234375e-07, -1.9371509552001953e-07, -2.9802322387695312e-08, 1.341104507446289e-07, 2.980232238769531e-07, 4.6193599700927734e-07, 6.258487701416016e-07, 7.897615432739258e-07, 9.5367431640625e-07, 1.1175870895385742e-06, 1.2814998626708984e-06, 1.4454126358032227e-06, 1.6093254089355469e-06, 1.773238182067871e-06, 1.9371509552001953e-06, 2.1010637283325195e-06, 2.2649765014648438e-06, 2.428889274597168e-06, 2.592802047729492e-06, 2.7567148208618164e-06, 2.9206275939941406e-06, 3.084540367126465e-06, 3.248453140258789e-06, 3.4123659133911133e-06, 3.5762786865234375e-06, 3.7401914596557617e-06, 3.904104232788086e-06, 4.06801700592041e-06, 4.231929779052734e-06, 4.395842552185059e-06, 4.559755325317383e-06, 4.723668098449707e-06, 4.887580871582031e-06, 5.0514936447143555e-06, 5.21540641784668e-06, 5.379319190979004e-06, 5.543231964111328e-06, 5.707144737243652e-06, 5.8710575103759766e-06, 6.034970283508301e-06, 6.198883056640625e-06, 6.362795829772949e-06, 6.5267086029052734e-06, 6.690621376037598e-06, 6.854534149169922e-06]}, "gradients/encoder.encoder.layers.7.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 4.0, 3.0, 4.0, 4.0, 9.0, 10.0, 25.0, 21.0, 47.0, 76.0, 123.0, 167.0, 228.0, 416.0, 438.0, 878.0, 1059.0, 2007.0, 2664.0, 5131.0, 6660.0, 12723.0, 17471.0, 35067.0, 50885.0, 122746.0, 319773.0, 264688.0, 93039.0, 41279.0, 28975.0, 14478.0, 10683.0, 5420.0, 4110.0, 2300.0, 1782.0, 958.0, 780.0, 431.0, 353.0, 199.0, 150.0, 116.0, 52.0, 52.0, 25.0, 18.0, 14.0, 10.0, 4.0, 5.0, 3.0, 4.0, 2.0, 1.0, 1.0, 0.0, 2.0], "bins": [-1.049041748046875e-05, -1.016072928905487e-05, -9.831041097640991e-06, -9.501352906227112e-06, -9.171664714813232e-06, -8.841976523399353e-06, -8.512288331985474e-06, -8.182600140571594e-06, -7.852911949157715e-06, -7.5232237577438354e-06, -7.193535566329956e-06, -6.863847374916077e-06, -6.534159183502197e-06, -6.204470992088318e-06, -5.8747828006744385e-06, -5.545094609260559e-06, -5.21540641784668e-06, -4.8857182264328e-06, -4.556030035018921e-06, -4.2263418436050415e-06, -3.896653652191162e-06, -3.5669654607772827e-06, -3.2372772693634033e-06, -2.907589077949524e-06, -2.5779008865356445e-06, -2.248212695121765e-06, -1.9185245037078857e-06, -1.5888363122940063e-06, -1.259148120880127e-06, -9.294599294662476e-07, -5.997717380523682e-07, -2.7008354663848877e-07, 5.960464477539063e-08, 3.8929283618927e-07, 7.189810276031494e-07, 1.0486692190170288e-06, 1.3783574104309082e-06, 1.7080456018447876e-06, 2.037733793258667e-06, 2.3674219846725464e-06, 2.6971101760864258e-06, 3.026798367500305e-06, 3.3564865589141846e-06, 3.686174750328064e-06, 4.015862941741943e-06, 4.345551133155823e-06, 4.675239324569702e-06, 5.0049275159835815e-06, 5.334615707397461e-06, 5.66430389881134e-06, 5.99399209022522e-06, 6.323680281639099e-06, 6.6533684730529785e-06, 6.983056664466858e-06, 7.312744855880737e-06, 7.642433047294617e-06, 7.972121238708496e-06, 8.301809430122375e-06, 8.631497621536255e-06, 8.961185812950134e-06, 9.290874004364014e-06, 9.620562195777893e-06, 9.950250387191772e-06, 1.0279938578605652e-05, 1.0609626770019531e-05]}, "gradients/encoder.encoder.layers.7.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 4.0, 2.0, 1.0, 5.0, 4.0, 1.0, 9.0, 6.0, 4.0, 9.0, 10.0, 7.0, 13.0, 16.0, 24.0, 22.0, 23.0, 22.0, 30.0, 33.0, 23.0, 36.0, 37.0, 27.0, 58.0, 44.0, 56.0, 65.0, 37.0, 41.0, 40.0, 20.0, 37.0, 33.0, 31.0, 22.0, 21.0, 18.0, 19.0, 21.0, 22.0, 9.0, 19.0, 7.0, 5.0, 5.0, 3.0, 2.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-9.000301361083984e-06, -8.722767233848572e-06, -8.44523310661316e-06, -8.167698979377747e-06, -7.890164852142334e-06, -7.612630724906921e-06, -7.335096597671509e-06, -7.057562470436096e-06, -6.780028343200684e-06, -6.502494215965271e-06, -6.224960088729858e-06, -5.947425961494446e-06, -5.669891834259033e-06, -5.392357707023621e-06, -5.114823579788208e-06, -4.837289452552795e-06, -4.559755325317383e-06, -4.28222119808197e-06, -4.004687070846558e-06, -3.727152943611145e-06, -3.4496188163757324e-06, -3.17208468914032e-06, -2.8945505619049072e-06, -2.6170164346694946e-06, -2.339482307434082e-06, -2.0619481801986694e-06, -1.7844140529632568e-06, -1.5068799257278442e-06, -1.2293457984924316e-06, -9.51811671257019e-07, -6.742775440216064e-07, -3.9674341678619385e-07, -1.1920928955078125e-07, 1.5832483768463135e-07, 4.3585896492004395e-07, 7.133930921554565e-07, 9.909272193908691e-07, 1.2684613466262817e-06, 1.5459954738616943e-06, 1.823529601097107e-06, 2.1010637283325195e-06, 2.378597855567932e-06, 2.6561319828033447e-06, 2.9336661100387573e-06, 3.21120023727417e-06, 3.4887343645095825e-06, 3.766268491744995e-06, 4.043802618980408e-06, 4.32133674621582e-06, 4.598870873451233e-06, 4.8764050006866455e-06, 5.153939127922058e-06, 5.431473255157471e-06, 5.709007382392883e-06, 5.986541509628296e-06, 6.2640756368637085e-06, 6.541609764099121e-06, 6.819143891334534e-06, 7.096678018569946e-06, 7.374212145805359e-06, 7.651746273040771e-06, 7.929280400276184e-06, 8.206814527511597e-06, 8.48434865474701e-06, 8.761882781982422e-06]}, "gradients/encoder.encoder.layers.7.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 9.0, 9.0, 2.0, 15.0, 14.0, 21.0, 32.0, 33.0, 85.0, 94.0, 141.0, 231.0, 169.0, 533.0, 778.0, 1260.0, 2199.0, 1664.0, 5210.0, 9785.0, 19730.0, 47463.0, 54930.0, 630581.0, 184076.0, 47693.0, 19546.0, 5570.0, 7113.0, 3854.0, 2238.0, 1306.0, 425.0, 671.0, 385.0, 250.0, 150.0, 51.0, 92.0, 57.0, 29.0, 21.0, 2.0, 11.0, 14.0, 13.0, 3.0, 1.0, 3.0, 1.0, 3.0, 1.0], "bins": [-3.814697265625e-06, -3.70759516954422e-06, -3.60049307346344e-06, -3.49339097738266e-06, -3.38628888130188e-06, -3.2791867852211e-06, -3.17208468914032e-06, -3.06498259305954e-06, -2.9578804969787598e-06, -2.8507784008979797e-06, -2.7436763048171997e-06, -2.6365742087364197e-06, -2.5294721126556396e-06, -2.4223700165748596e-06, -2.3152679204940796e-06, -2.2081658244132996e-06, -2.1010637283325195e-06, -1.9939616322517395e-06, -1.8868595361709595e-06, -1.7797574400901794e-06, -1.6726553440093994e-06, -1.5655532479286194e-06, -1.4584511518478394e-06, -1.3513490557670593e-06, -1.2442469596862793e-06, -1.1371448636054993e-06, -1.0300427675247192e-06, -9.229406714439392e-07, -8.158385753631592e-07, -7.087364792823792e-07, -6.016343832015991e-07, -4.945322871208191e-07, -3.8743019104003906e-07, -2.8032809495925903e-07, -1.73225998878479e-07, -6.612390279769897e-08, 4.0978193283081055e-08, 1.4808028936386108e-07, 2.551823854446411e-07, 3.6228448152542114e-07, 4.6938657760620117e-07, 5.764886736869812e-07, 6.835907697677612e-07, 7.906928658485413e-07, 8.977949619293213e-07, 1.0048970580101013e-06, 1.1119991540908813e-06, 1.2191012501716614e-06, 1.3262033462524414e-06, 1.4333054423332214e-06, 1.5404075384140015e-06, 1.6475096344947815e-06, 1.7546117305755615e-06, 1.8617138266563416e-06, 1.9688159227371216e-06, 2.0759180188179016e-06, 2.1830201148986816e-06, 2.2901222109794617e-06, 2.3972243070602417e-06, 2.5043264031410217e-06, 2.6114284992218018e-06, 2.7185305953025818e-06, 2.825632691383362e-06, 2.932734787464142e-06, 3.039836883544922e-06]}, "gradients/encoder.encoder.layers.7.attention.k_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 5.0, 2.0, 3.0, 5.0, 3.0, 8.0, 2.0, 7.0, 12.0, 7.0, 14.0, 12.0, 20.0, 16.0, 35.0, 24.0, 30.0, 78.0, 47.0, 278.0, 52.0, 91.0, 50.0, 30.0, 40.0, 10.0, 31.0, 10.0, 24.0, 18.0, 15.0, 4.0, 2.0, 8.0, 1.0, 3.0, 3.0, 2.0, 1.0, 0.0, 3.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.384185791015625e-06, -2.298504114151001e-06, -2.212822437286377e-06, -2.127140760421753e-06, -2.041459083557129e-06, -1.955777406692505e-06, -1.8700957298278809e-06, -1.7844140529632568e-06, -1.6987323760986328e-06, -1.6130506992340088e-06, -1.5273690223693848e-06, -1.4416873455047607e-06, -1.3560056686401367e-06, -1.2703239917755127e-06, -1.1846423149108887e-06, -1.0989606380462646e-06, -1.0132789611816406e-06, -9.275972843170166e-07, -8.419156074523926e-07, -7.562339305877686e-07, -6.705522537231445e-07, -5.848705768585205e-07, -4.991888999938965e-07, -4.1350722312927246e-07, -3.2782554626464844e-07, -2.421438694000244e-07, -1.564621925354004e-07, -7.078051567077637e-08, 1.4901161193847656e-08, 1.0058283805847168e-07, 1.862645149230957e-07, 2.7194619178771973e-07, 3.5762786865234375e-07, 4.4330954551696777e-07, 5.289912223815918e-07, 6.146728992462158e-07, 7.003545761108398e-07, 7.860362529754639e-07, 8.717179298400879e-07, 9.57399606704712e-07, 1.043081283569336e-06, 1.12876296043396e-06, 1.214444637298584e-06, 1.300126314163208e-06, 1.385807991027832e-06, 1.471489667892456e-06, 1.55717134475708e-06, 1.642853021621704e-06, 1.7285346984863281e-06, 1.8142163753509521e-06, 1.8998980522155762e-06, 1.9855797290802e-06, 2.0712614059448242e-06, 2.1569430828094482e-06, 2.2426247596740723e-06, 2.3283064365386963e-06, 2.4139881134033203e-06, 2.4996697902679443e-06, 2.5853514671325684e-06, 2.6710331439971924e-06, 2.7567148208618164e-06, 2.8423964977264404e-06, 2.9280781745910645e-06, 3.0137598514556885e-06, 3.0994415283203125e-06]}, "gradients/encoder.encoder.layers.7.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 9.0, 9.0, 10.0, 13.0, 26.0, 27.0, 39.0, 54.0, 73.0, 120.0, 202.0, 318.0, 490.0, 795.0, 1219.0, 1942.0, 3255.0, 5666.0, 10146.0, 20261.0, 46527.0, 173954.0, 641360.0, 79553.0, 29776.0, 14233.0, 7534.0, 4341.0, 2446.0, 1530.0, 935.0, 597.0, 393.0, 224.0, 158.0, 92.0, 68.0, 53.0, 34.0, 30.0, 20.0, 12.0, 8.0, 6.0, 2.0, 0.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.7550926208496094e-06, -3.6349520087242126e-06, -3.514811396598816e-06, -3.394670784473419e-06, -3.2745301723480225e-06, -3.1543895602226257e-06, -3.034248948097229e-06, -2.9141083359718323e-06, -2.7939677238464355e-06, -2.673827111721039e-06, -2.553686499595642e-06, -2.4335458874702454e-06, -2.3134052753448486e-06, -2.193264663219452e-06, -2.073124051094055e-06, -1.9529834389686584e-06, -1.8328428268432617e-06, -1.712702214717865e-06, -1.5925616025924683e-06, -1.4724209904670715e-06, -1.3522803783416748e-06, -1.232139766216278e-06, -1.1119991540908813e-06, -9.918585419654846e-07, -8.717179298400879e-07, -7.515773177146912e-07, -6.314367055892944e-07, -5.112960934638977e-07, -3.91155481338501e-07, -2.7101486921310425e-07, -1.5087425708770752e-07, -3.073364496231079e-08, 8.940696716308594e-08, 2.0954757928848267e-07, 3.296881914138794e-07, 4.498288035392761e-07, 5.699694156646729e-07, 6.901100277900696e-07, 8.102506399154663e-07, 9.30391252040863e-07, 1.0505318641662598e-06, 1.1706724762916565e-06, 1.2908130884170532e-06, 1.41095370054245e-06, 1.5310943126678467e-06, 1.6512349247932434e-06, 1.7713755369186401e-06, 1.8915161490440369e-06, 2.0116567611694336e-06, 2.1317973732948303e-06, 2.251937985420227e-06, 2.3720785975456238e-06, 2.4922192096710205e-06, 2.6123598217964172e-06, 2.732500433921814e-06, 2.8526410460472107e-06, 2.9727816581726074e-06, 3.092922270298004e-06, 3.213062882423401e-06, 3.3332034945487976e-06, 3.4533441066741943e-06, 3.573484718799591e-06, 3.693625330924988e-06, 3.8137659430503845e-06, 3.933906555175781e-06]}, "gradients/encoder.encoder.layers.7.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 1.0, 1.0, 6.0, 0.0, 5.0, 4.0, 10.0, 3.0, 12.0, 16.0, 6.0, 18.0, 20.0, 24.0, 30.0, 35.0, 72.0, 65.0, 281.0, 126.0, 56.0, 33.0, 38.0, 34.0, 26.0, 14.0, 14.0, 12.0, 6.0, 5.0, 9.0, 6.0, 1.0, 6.0, 5.0, 2.0, 6.0, 1.0, 4.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.337860107421875e-06, -3.2354146242141724e-06, -3.1329691410064697e-06, -3.030523657798767e-06, -2.9280781745910645e-06, -2.825632691383362e-06, -2.723187208175659e-06, -2.6207417249679565e-06, -2.518296241760254e-06, -2.4158507585525513e-06, -2.3134052753448486e-06, -2.210959792137146e-06, -2.1085143089294434e-06, -2.0060688257217407e-06, -1.903623342514038e-06, -1.8011778593063354e-06, -1.6987323760986328e-06, -1.5962868928909302e-06, -1.4938414096832275e-06, -1.391395926475525e-06, -1.2889504432678223e-06, -1.1865049600601196e-06, -1.084059476852417e-06, -9.816139936447144e-07, -8.791685104370117e-07, -7.767230272293091e-07, -6.742775440216064e-07, -5.718320608139038e-07, -4.6938657760620117e-07, -3.6694109439849854e-07, -2.644956111907959e-07, -1.6205012798309326e-07, -5.960464477539063e-08, 4.284083843231201e-08, 1.4528632164001465e-07, 2.477318048477173e-07, 3.501772880554199e-07, 4.5262277126312256e-07, 5.550682544708252e-07, 6.575137376785278e-07, 7.599592208862305e-07, 8.624047040939331e-07, 9.648501873016357e-07, 1.0672956705093384e-06, 1.169741153717041e-06, 1.2721866369247437e-06, 1.3746321201324463e-06, 1.477077603340149e-06, 1.5795230865478516e-06, 1.6819685697555542e-06, 1.7844140529632568e-06, 1.8868595361709595e-06, 1.989305019378662e-06, 2.0917505025863647e-06, 2.1941959857940674e-06, 2.29664146900177e-06, 2.3990869522094727e-06, 2.5015324354171753e-06, 2.603977918624878e-06, 2.7064234018325806e-06, 2.808868885040283e-06, 2.911314368247986e-06, 3.0137598514556885e-06, 3.116205334663391e-06, 3.2186508178710938e-06]}, "gradients/encoder.encoder.layers.7.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 1.0, 0.0, 4.0, 2.0, 3.0, 7.0, 12.0, 11.0, 12.0, 12.0, 22.0, 23.0, 34.0, 39.0, 57.0, 82.0, 147.0, 205.0, 108.0, 54.0, 34.0, 38.0, 25.0, 15.0, 12.0, 12.0, 12.0, 5.0, 6.0, 7.0, 5.0, 2.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.9154205044033006e-05, -4.763062679558061e-05, -4.610704490914941e-05, -4.458346666069701e-05, -4.305988841224462e-05, -4.1536306525813416e-05, -4.001272827736102e-05, -3.848914639092982e-05, -3.696556814247742e-05, -3.544198989402503e-05, -3.3918408007593825e-05, -3.239482975914143e-05, -3.087124787271023e-05, -2.9347669624257833e-05, -2.7824091375805438e-05, -2.630051130836364e-05, -2.477693124092184e-05, -2.325335117348004e-05, -2.1729771106038243e-05, -2.0206192857585847e-05, -1.868261279014405e-05, -1.715903272270225e-05, -1.5635454474249855e-05, -1.4111874406808056e-05, -1.2588294339366257e-05, -1.1064714271924458e-05, -9.541135113977361e-06, -8.017555956030264e-06, -6.493975888588466e-06, -4.970396275894018e-06, -3.44681666319957e-06, -1.923237505252473e-06, -3.996537998318672e-07, 1.1239258128625806e-06, 2.6475054255570285e-06, 4.171085038251476e-06, 5.694664650945924e-06, 7.218244263640372e-06, 8.74182387633482e-06, 1.0265403034281917e-05, 1.1788983101723716e-05, 1.3312563169165514e-05, 1.4836142327112611e-05, 1.635972148505971e-05, 1.7883301552501507e-05, 1.9406881619943306e-05, 2.09304598683957e-05, 2.24540399358375e-05, 2.39776200032793e-05, 2.5501200070721097e-05, 2.7024780138162896e-05, 2.854835838661529e-05, 3.007193845405709e-05, 3.159551852149889e-05, 3.3119096769951284e-05, 3.464267501840368e-05, 3.616625690483488e-05, 3.768983515328728e-05, 3.921341703971848e-05, 4.0736995288170874e-05, 4.226057353662327e-05, 4.378415542305447e-05, 4.530773367150687e-05, 4.683131555793807e-05, 4.8354893806390464e-05]}, "gradients/encoder.encoder.layers.7.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 3.0, 1.0, 2.0, 3.0, 1.0, 9.0, 4.0, 5.0, 18.0, 11.0, 14.0, 21.0, 16.0, 19.0, 19.0, 16.0, 27.0, 23.0, 24.0, 23.0, 39.0, 37.0, 36.0, 45.0, 42.0, 44.0, 43.0, 30.0, 50.0, 46.0, 35.0, 32.0, 38.0, 37.0, 30.0, 26.0, 16.0, 19.0, 16.0, 21.0, 14.0, 8.0, 10.0, 12.0, 8.0, 6.0, 4.0, 2.0, 5.0, 3.0, 0.0, 2.0, 1.0, 1.0, 2.0], "bins": [-2.7000904083251953e-05, -2.6221387088298798e-05, -2.5441870093345642e-05, -2.4662353098392487e-05, -2.388283610343933e-05, -2.3103319108486176e-05, -2.232380211353302e-05, -2.1544285118579865e-05, -2.076476812362671e-05, -1.9985251128673553e-05, -1.9205734133720398e-05, -1.8426217138767242e-05, -1.7646700143814087e-05, -1.686718314886093e-05, -1.6087666153907776e-05, -1.530814915895462e-05, -1.4528632164001465e-05, -1.374911516904831e-05, -1.2969598174095154e-05, -1.2190081179141998e-05, -1.1410564184188843e-05, -1.0631047189235687e-05, -9.851530194282532e-06, -9.072013199329376e-06, -8.29249620437622e-06, -7.512979209423065e-06, -6.73346221446991e-06, -5.953945219516754e-06, -5.174428224563599e-06, -4.394911229610443e-06, -3.6153942346572876e-06, -2.835877239704132e-06, -2.0563602447509766e-06, -1.276843249797821e-06, -4.973262548446655e-07, 2.8219074010849e-07, 1.0617077350616455e-06, 1.841224730014801e-06, 2.6207417249679565e-06, 3.400258719921112e-06, 4.179775714874268e-06, 4.959292709827423e-06, 5.738809704780579e-06, 6.518326699733734e-06, 7.29784369468689e-06, 8.077360689640045e-06, 8.8568776845932e-06, 9.636394679546356e-06, 1.0415911674499512e-05, 1.1195428669452667e-05, 1.1974945664405823e-05, 1.2754462659358978e-05, 1.3533979654312134e-05, 1.431349664926529e-05, 1.5093013644218445e-05, 1.58725306391716e-05, 1.6652047634124756e-05, 1.743156462907791e-05, 1.8211081624031067e-05, 1.8990598618984222e-05, 1.9770115613937378e-05, 2.0549632608890533e-05, 2.132914960384369e-05, 2.2108666598796844e-05, 2.288818359375e-05]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 1.0, 4.0, 3.0, 7.0, 8.0, 7.0, 15.0, 26.0, 32.0, 49.0, 50.0, 70.0, 127.0, 165.0, 219.0, 398.0, 462.0, 739.0, 1094.0, 1508.0, 2355.0, 3935.0, 5702.0, 10819.0, 17651.0, 33242.0, 100075.0, 3066906.0, 818410.0, 63225.0, 25898.0, 14525.0, 9480.0, 5459.0, 3916.0, 2326.0, 1506.0, 1115.0, 739.0, 490.0, 363.0, 278.0, 199.0, 179.0, 106.0, 111.0, 77.0, 60.0, 38.0, 34.0, 26.0, 22.0, 13.0, 11.0, 8.0, 4.0, 3.0, 2.0, 1.0, 6.0], "bins": [-1.9669532775878906e-05, -1.9052065908908844e-05, -1.8434599041938782e-05, -1.781713217496872e-05, -1.7199665307998657e-05, -1.6582198441028595e-05, -1.5964731574058533e-05, -1.534726470708847e-05, -1.4729797840118408e-05, -1.4112330973148346e-05, -1.3494864106178284e-05, -1.2877397239208221e-05, -1.225993037223816e-05, -1.1642463505268097e-05, -1.1024996638298035e-05, -1.0407529771327972e-05, -9.79006290435791e-06, -9.172596037387848e-06, -8.555129170417786e-06, -7.937662303447723e-06, -7.320195436477661e-06, -6.702728569507599e-06, -6.085261702537537e-06, -5.467794835567474e-06, -4.850327968597412e-06, -4.23286110162735e-06, -3.6153942346572876e-06, -2.9979273676872253e-06, -2.380460500717163e-06, -1.7629936337471008e-06, -1.1455267667770386e-06, -5.280598998069763e-07, 8.940696716308594e-08, 7.068738341331482e-07, 1.3243407011032104e-06, 1.9418075680732727e-06, 2.559274435043335e-06, 3.1767413020133972e-06, 3.7942081689834595e-06, 4.411675035953522e-06, 5.029141902923584e-06, 5.646608769893646e-06, 6.2640756368637085e-06, 6.881542503833771e-06, 7.499009370803833e-06, 8.116476237773895e-06, 8.733943104743958e-06, 9.35140997171402e-06, 9.968876838684082e-06, 1.0586343705654144e-05, 1.1203810572624207e-05, 1.1821277439594269e-05, 1.2438744306564331e-05, 1.3056211173534393e-05, 1.3673678040504456e-05, 1.4291144907474518e-05, 1.490861177444458e-05, 1.5526078641414642e-05, 1.6143545508384705e-05, 1.6761012375354767e-05, 1.737847924232483e-05, 1.799594610929489e-05, 1.8613412976264954e-05, 1.9230879843235016e-05, 1.9848346710205078e-05]}, "gradients/encoder.encoder.layers.6.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 2.0, 4.0, 6.0, 5.0, 3.0, 5.0, 6.0, 7.0, 17.0, 12.0, 24.0, 19.0, 26.0, 33.0, 35.0, 55.0, 49.0, 48.0, 54.0, 57.0, 67.0, 83.0, 63.0, 38.0, 39.0, 42.0, 28.0, 35.0, 22.0, 21.0, 21.0, 27.0, 14.0, 8.0, 7.0, 7.0, 5.0, 3.0, 4.0, 1.0, 0.0, 2.0, 4.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0], "bins": [-3.933906555175781e-06, -3.809109330177307e-06, -3.684312105178833e-06, -3.559514880180359e-06, -3.4347176551818848e-06, -3.3099204301834106e-06, -3.1851232051849365e-06, -3.0603259801864624e-06, -2.9355287551879883e-06, -2.810731530189514e-06, -2.68593430519104e-06, -2.561137080192566e-06, -2.436339855194092e-06, -2.3115426301956177e-06, -2.1867454051971436e-06, -2.0619481801986694e-06, -1.9371509552001953e-06, -1.8123537302017212e-06, -1.687556505203247e-06, -1.562759280204773e-06, -1.4379620552062988e-06, -1.3131648302078247e-06, -1.1883676052093506e-06, -1.0635703802108765e-06, -9.387731552124023e-07, -8.139759302139282e-07, -6.891787052154541e-07, -5.6438148021698e-07, -4.3958425521850586e-07, -3.1478703022003174e-07, -1.8998980522155762e-07, -6.51925802230835e-08, 5.960464477539063e-08, 1.8440186977386475e-07, 3.0919909477233887e-07, 4.33996319770813e-07, 5.587935447692871e-07, 6.835907697677612e-07, 8.083879947662354e-07, 9.331852197647095e-07, 1.0579824447631836e-06, 1.1827796697616577e-06, 1.3075768947601318e-06, 1.432374119758606e-06, 1.55717134475708e-06, 1.6819685697555542e-06, 1.8067657947540283e-06, 1.9315630197525024e-06, 2.0563602447509766e-06, 2.1811574697494507e-06, 2.305954694747925e-06, 2.430751919746399e-06, 2.555549144744873e-06, 2.680346369743347e-06, 2.8051435947418213e-06, 2.9299408197402954e-06, 3.0547380447387695e-06, 3.1795352697372437e-06, 3.3043324947357178e-06, 3.429129719734192e-06, 3.553926944732666e-06, 3.67872416973114e-06, 3.8035213947296143e-06, 3.928318619728088e-06, 4.0531158447265625e-06]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 4.0, 10.0, 12.0, 10.0, 12.0, 32.0, 49.0, 82.0, 111.0, 189.0, 212.0, 454.0, 675.0, 1136.0, 1919.0, 3311.0, 4391.0, 8887.0, 15736.0, 29930.0, 62922.0, 176691.0, 1102030.0, 2481478.0, 175291.0, 62214.0, 29445.0, 15459.0, 8676.0, 4460.0, 3244.0, 1938.0, 1240.0, 773.0, 436.0, 280.0, 191.0, 122.0, 85.0, 51.0, 43.0, 25.0, 6.0, 12.0, 6.0, 7.0, 3.0, 4.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1146068572998047e-05, -1.0797753930091858e-05, -1.0449439287185669e-05, -1.010112464427948e-05, -9.752810001373291e-06, -9.404495358467102e-06, -9.056180715560913e-06, -8.707866072654724e-06, -8.359551429748535e-06, -8.011236786842346e-06, -7.662922143936157e-06, -7.314607501029968e-06, -6.966292858123779e-06, -6.61797821521759e-06, -6.269663572311401e-06, -5.921348929405212e-06, -5.5730342864990234e-06, -5.2247196435928345e-06, -4.8764050006866455e-06, -4.5280903577804565e-06, -4.179775714874268e-06, -3.831461071968079e-06, -3.4831464290618896e-06, -3.1348317861557007e-06, -2.7865171432495117e-06, -2.4382025003433228e-06, -2.089887857437134e-06, -1.7415732145309448e-06, -1.3932585716247559e-06, -1.044943928718567e-06, -6.966292858123779e-07, -3.4831464290618896e-07, 0.0, 3.4831464290618896e-07, 6.966292858123779e-07, 1.044943928718567e-06, 1.3932585716247559e-06, 1.7415732145309448e-06, 2.089887857437134e-06, 2.4382025003433228e-06, 2.7865171432495117e-06, 3.1348317861557007e-06, 3.4831464290618896e-06, 3.831461071968079e-06, 4.179775714874268e-06, 4.5280903577804565e-06, 4.8764050006866455e-06, 5.2247196435928345e-06, 5.5730342864990234e-06, 5.921348929405212e-06, 6.269663572311401e-06, 6.61797821521759e-06, 6.966292858123779e-06, 7.314607501029968e-06, 7.662922143936157e-06, 8.011236786842346e-06, 8.359551429748535e-06, 8.707866072654724e-06, 9.056180715560913e-06, 9.404495358467102e-06, 9.752810001373291e-06, 1.010112464427948e-05, 1.0449439287185669e-05, 1.0797753930091858e-05, 1.1146068572998047e-05]}, "gradients/encoder.encoder.layers.6.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 4.0, 6.0, 9.0, 12.0, 10.0, 13.0, 16.0, 16.0, 14.0, 21.0, 28.0, 35.0, 46.0, 53.0, 71.0, 74.0, 119.0, 254.0, 599.0, 1127.0, 801.0, 265.0, 131.0, 79.0, 58.0, 40.0, 31.0, 28.0, 31.0, 15.0, 13.0, 15.0, 17.0, 11.0, 5.0, 3.0, 5.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.655952453613281e-06, -9.348616003990173e-06, -9.041279554367065e-06, -8.733943104743958e-06, -8.42660665512085e-06, -8.119270205497742e-06, -7.811933755874634e-06, -7.504597306251526e-06, -7.197260856628418e-06, -6.88992440700531e-06, -6.582587957382202e-06, -6.275251507759094e-06, -5.967915058135986e-06, -5.660578608512878e-06, -5.3532421588897705e-06, -5.045905709266663e-06, -4.738569259643555e-06, -4.431232810020447e-06, -4.123896360397339e-06, -3.816559910774231e-06, -3.509223461151123e-06, -3.201887011528015e-06, -2.8945505619049072e-06, -2.5872141122817993e-06, -2.2798776626586914e-06, -1.9725412130355835e-06, -1.6652047634124756e-06, -1.3578683137893677e-06, -1.0505318641662598e-06, -7.431954145431519e-07, -4.3585896492004395e-07, -1.2852251529693604e-07, 1.7881393432617188e-07, 4.861503839492798e-07, 7.934868335723877e-07, 1.1008232831954956e-06, 1.4081597328186035e-06, 1.7154961824417114e-06, 2.0228326320648193e-06, 2.3301690816879272e-06, 2.637505531311035e-06, 2.944841980934143e-06, 3.252178430557251e-06, 3.559514880180359e-06, 3.866851329803467e-06, 4.174187779426575e-06, 4.481524229049683e-06, 4.7888606786727905e-06, 5.0961971282958984e-06, 5.403533577919006e-06, 5.710870027542114e-06, 6.018206477165222e-06, 6.32554292678833e-06, 6.632879376411438e-06, 6.940215826034546e-06, 7.247552275657654e-06, 7.554888725280762e-06, 7.86222517490387e-06, 8.169561624526978e-06, 8.476898074150085e-06, 8.784234523773193e-06, 9.091570973396301e-06, 9.39890742301941e-06, 9.706243872642517e-06, 1.0013580322265625e-05]}, "gradients/encoder.encoder.layers.6.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 1.0, 5.0, 2.0, 5.0, 6.0, 10.0, 5.0, 10.0, 8.0, 8.0, 10.0, 10.0, 10.0, 23.0, 26.0, 27.0, 50.0, 55.0, 76.0, 107.0, 130.0, 114.0, 83.0, 68.0, 48.0, 30.0, 22.0, 15.0, 6.0, 16.0, 4.0, 7.0, 6.0, 1.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0], "bins": [-8.536320819985121e-05, -8.346345566678792e-05, -8.156370313372463e-05, -7.966395060066134e-05, -7.776419806759804e-05, -7.586444553453475e-05, -7.396469300147146e-05, -7.206494046840817e-05, -7.016518793534487e-05, -6.826543540228158e-05, -6.636568286921829e-05, -6.4465930336155e-05, -6.25661778030917e-05, -6.066642527002841e-05, -5.876667273696512e-05, -5.686691656592302e-05, -5.496716039488092e-05, -5.306740786181763e-05, -5.1167655328754336e-05, -4.926790279569104e-05, -4.736815026262775e-05, -4.546839772956446e-05, -4.3568645196501166e-05, -4.1668889025459066e-05, -3.976914013037458e-05, -3.786938759731129e-05, -3.5969635064247996e-05, -3.40698825311847e-05, -3.217012999812141e-05, -3.0270375646068715e-05, -2.8370623113005422e-05, -2.6470868760952726e-05, -2.4571116227889434e-05, -2.267136369482614e-05, -2.077161116176285e-05, -1.8871858628699556e-05, -1.697210427664686e-05, -1.5072351743583567e-05, -1.3172599210520275e-05, -1.127284576796228e-05, -9.373093234898988e-06, -7.473340247088345e-06, -5.573587259277701e-06, -3.673834726214409e-06, -1.7740817384037655e-06, 1.256712494068779e-07, 2.0254237824701704e-06, 3.925177225028165e-06, 5.824929758091457e-06, 7.72468229115475e-06, 9.624435733712744e-06, 1.1524188266776036e-05, 1.342394170933403e-05, 1.5323694242397323e-05, 1.7223446775460616e-05, 1.9123199308523908e-05, 2.10229518415872e-05, 2.2922704374650493e-05, 2.4822456907713786e-05, 2.6722209440777078e-05, 2.8621963792829774e-05, 3.052171814488247e-05, 3.242147067794576e-05, 3.4321223211009055e-05, 3.622097574407235e-05]}, "gradients/encoder.encoder.layers.6.final_layer_norm.bias": {"_type": "histogram", "values": [4.0, 3.0, 2.0, 2.0, 6.0, 1.0, 4.0, 8.0, 10.0, 6.0, 6.0, 17.0, 18.0, 18.0, 25.0, 17.0, 27.0, 25.0, 29.0, 24.0, 30.0, 27.0, 35.0, 42.0, 36.0, 58.0, 33.0, 33.0, 26.0, 35.0, 32.0, 36.0, 40.0, 28.0, 29.0, 24.0, 28.0, 27.0, 20.0, 23.0, 18.0, 17.0, 12.0, 10.0, 12.0, 10.0, 10.0, 12.0, 5.0, 3.0, 7.0, 3.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.4080276489257812e-05, -2.319272607564926e-05, -2.230517566204071e-05, -2.141762524843216e-05, -2.053007483482361e-05, -1.9642524421215057e-05, -1.8754974007606506e-05, -1.7867423593997955e-05, -1.6979873180389404e-05, -1.6092322766780853e-05, -1.5204772353172302e-05, -1.4317221939563751e-05, -1.34296715259552e-05, -1.254212111234665e-05, -1.1654570698738098e-05, -1.0767020285129547e-05, -9.879469871520996e-06, -8.991919457912445e-06, -8.104369044303894e-06, -7.216818630695343e-06, -6.329268217086792e-06, -5.441717803478241e-06, -4.55416738986969e-06, -3.666616976261139e-06, -2.779066562652588e-06, -1.8915161490440369e-06, -1.0039657354354858e-06, -1.1641532182693481e-07, 7.711350917816162e-07, 1.6586855053901672e-06, 2.5462359189987183e-06, 3.4337863326072693e-06, 4.32133674621582e-06, 5.208887159824371e-06, 6.096437573432922e-06, 6.983987987041473e-06, 7.871538400650024e-06, 8.759088814258575e-06, 9.646639227867126e-06, 1.0534189641475677e-05, 1.1421740055084229e-05, 1.230929046869278e-05, 1.319684088230133e-05, 1.4084391295909882e-05, 1.4971941709518433e-05, 1.5859492123126984e-05, 1.6747042536735535e-05, 1.7634592950344086e-05, 1.8522143363952637e-05, 1.9409693777561188e-05, 2.029724419116974e-05, 2.118479460477829e-05, 2.207234501838684e-05, 2.2959895431995392e-05, 2.3847445845603943e-05, 2.4734996259212494e-05, 2.5622546672821045e-05, 2.6510097086429596e-05, 2.7397647500038147e-05, 2.8285197913646698e-05, 2.917274832725525e-05, 3.00602987408638e-05, 3.094784915447235e-05, 3.18353995680809e-05, 3.272294998168945e-05]}, "gradients/encoder.encoder.layers.6.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 8.0, 10.0, 15.0, 21.0, 18.0, 34.0, 59.0, 88.0, 85.0, 133.0, 220.0, 334.0, 487.0, 663.0, 1025.0, 1371.0, 2252.0, 3437.0, 5495.0, 8902.0, 14625.0, 25648.0, 40376.0, 88107.0, 230277.0, 381989.0, 114452.0, 54289.0, 29481.0, 15244.0, 10515.0, 6566.0, 4210.0, 2651.0, 1702.0, 1170.0, 726.0, 582.0, 386.0, 277.0, 193.0, 144.0, 94.0, 61.0, 34.0, 33.0, 21.0, 15.0, 9.0, 10.0, 7.0, 9.0, 4.0, 2.0, 0.0, 2.0, 1.0, 1.0], "bins": [-1.6450881958007812e-05, -1.5922822058200836e-05, -1.539476215839386e-05, -1.4866702258586884e-05, -1.4338642358779907e-05, -1.3810582458972931e-05, -1.3282522559165955e-05, -1.2754462659358978e-05, -1.2226402759552002e-05, -1.1698342859745026e-05, -1.117028295993805e-05, -1.0642223060131073e-05, -1.0114163160324097e-05, -9.58610326051712e-06, -9.058043360710144e-06, -8.529983460903168e-06, -8.001923561096191e-06, -7.473863661289215e-06, -6.945803761482239e-06, -6.4177438616752625e-06, -5.889683961868286e-06, -5.36162406206131e-06, -4.8335641622543335e-06, -4.305504262447357e-06, -3.777444362640381e-06, -3.2493844628334045e-06, -2.7213245630264282e-06, -2.193264663219452e-06, -1.6652047634124756e-06, -1.1371448636054993e-06, -6.09084963798523e-07, -8.102506399154663e-08, 4.470348358154297e-07, 9.75094735622406e-07, 1.5031546354293823e-06, 2.0312145352363586e-06, 2.559274435043335e-06, 3.0873343348503113e-06, 3.6153942346572876e-06, 4.143454134464264e-06, 4.67151403427124e-06, 5.1995739340782166e-06, 5.727633833885193e-06, 6.255693733692169e-06, 6.7837536334991455e-06, 7.311813533306122e-06, 7.839873433113098e-06, 8.367933332920074e-06, 8.89599323272705e-06, 9.424053132534027e-06, 9.952113032341003e-06, 1.048017293214798e-05, 1.1008232831954956e-05, 1.1536292731761932e-05, 1.2064352631568909e-05, 1.2592412531375885e-05, 1.3120472431182861e-05, 1.3648532330989838e-05, 1.4176592230796814e-05, 1.470465213060379e-05, 1.5232712030410767e-05, 1.5760771930217743e-05, 1.628883183002472e-05, 1.6816891729831696e-05, 1.7344951629638672e-05]}, "gradients/encoder.encoder.layers.6.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 0.0, 2.0, 1.0, 4.0, 4.0, 3.0, 4.0, 9.0, 4.0, 10.0, 12.0, 11.0, 19.0, 21.0, 41.0, 37.0, 28.0, 41.0, 44.0, 53.0, 53.0, 65.0, 69.0, 49.0, 47.0, 80.0, 43.0, 45.0, 26.0, 28.0, 29.0, 17.0, 20.0, 17.0, 11.0, 14.0, 10.0, 9.0, 4.0, 3.0, 9.0, 4.0, 4.0, 2.0, 3.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-3.6954879760742188e-06, -3.5706907510757446e-06, -3.4458935260772705e-06, -3.3210963010787964e-06, -3.1962990760803223e-06, -3.071501851081848e-06, -2.946704626083374e-06, -2.8219074010849e-06, -2.6971101760864258e-06, -2.5723129510879517e-06, -2.4475157260894775e-06, -2.3227185010910034e-06, -2.1979212760925293e-06, -2.073124051094055e-06, -1.948326826095581e-06, -1.823529601097107e-06, -1.6987323760986328e-06, -1.5739351511001587e-06, -1.4491379261016846e-06, -1.3243407011032104e-06, -1.1995434761047363e-06, -1.0747462511062622e-06, -9.499490261077881e-07, -8.25151801109314e-07, -7.003545761108398e-07, -5.755573511123657e-07, -4.507601261138916e-07, -3.259629011154175e-07, -2.0116567611694336e-07, -7.636845111846924e-08, 4.842877388000488e-08, 1.73225998878479e-07, 2.980232238769531e-07, 4.2282044887542725e-07, 5.476176738739014e-07, 6.724148988723755e-07, 7.972121238708496e-07, 9.220093488693237e-07, 1.0468065738677979e-06, 1.171603798866272e-06, 1.296401023864746e-06, 1.4211982488632202e-06, 1.5459954738616943e-06, 1.6707926988601685e-06, 1.7955899238586426e-06, 1.9203871488571167e-06, 2.045184373855591e-06, 2.169981598854065e-06, 2.294778823852539e-06, 2.419576048851013e-06, 2.5443732738494873e-06, 2.6691704988479614e-06, 2.7939677238464355e-06, 2.9187649488449097e-06, 3.043562173843384e-06, 3.168359398841858e-06, 3.293156623840332e-06, 3.417953848838806e-06, 3.5427510738372803e-06, 3.6675482988357544e-06, 3.7923455238342285e-06, 3.917142748832703e-06, 4.041939973831177e-06, 4.166737198829651e-06, 4.291534423828125e-06]}, "gradients/encoder.encoder.layers.6.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 3.0, 6.0, 16.0, 14.0, 18.0, 32.0, 64.0, 94.0, 110.0, 235.0, 333.0, 581.0, 1162.0, 1564.0, 3255.0, 4833.0, 7788.0, 16149.0, 24464.0, 43426.0, 105970.0, 258143.0, 370479.0, 95877.0, 47907.0, 29797.0, 14229.0, 8646.0, 5757.0, 2973.0, 1922.0, 1038.0, 630.0, 424.0, 233.0, 134.0, 98.0, 45.0, 45.0, 19.0, 15.0, 14.0, 8.0, 5.0, 4.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-1.2934207916259766e-05, -1.255422830581665e-05, -1.2174248695373535e-05, -1.179426908493042e-05, -1.1414289474487305e-05, -1.103430986404419e-05, -1.0654330253601074e-05, -1.0274350643157959e-05, -9.894371032714844e-06, -9.514391422271729e-06, -9.134411811828613e-06, -8.754432201385498e-06, -8.374452590942383e-06, -7.994472980499268e-06, -7.614493370056152e-06, -7.234513759613037e-06, -6.854534149169922e-06, -6.474554538726807e-06, -6.094574928283691e-06, -5.714595317840576e-06, -5.334615707397461e-06, -4.954636096954346e-06, -4.5746564865112305e-06, -4.194676876068115e-06, -3.814697265625e-06, -3.4347176551818848e-06, -3.0547380447387695e-06, -2.6747584342956543e-06, -2.294778823852539e-06, -1.914799213409424e-06, -1.5348196029663086e-06, -1.1548399925231934e-06, -7.748603820800781e-07, -3.948807716369629e-07, -1.4901161193847656e-08, 3.650784492492676e-07, 7.450580596923828e-07, 1.125037670135498e-06, 1.5050172805786133e-06, 1.8849968910217285e-06, 2.2649765014648438e-06, 2.644956111907959e-06, 3.0249357223510742e-06, 3.4049153327941895e-06, 3.7848949432373047e-06, 4.16487455368042e-06, 4.544854164123535e-06, 4.92483377456665e-06, 5.304813385009766e-06, 5.684792995452881e-06, 6.064772605895996e-06, 6.444752216339111e-06, 6.8247318267822266e-06, 7.204711437225342e-06, 7.584691047668457e-06, 7.964670658111572e-06, 8.344650268554688e-06, 8.724629878997803e-06, 9.104609489440918e-06, 9.484589099884033e-06, 9.864568710327148e-06, 1.0244548320770264e-05, 1.0624527931213379e-05, 1.1004507541656494e-05, 1.138448715209961e-05]}, "gradients/encoder.encoder.layers.6.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 5.0, 3.0, 7.0, 2.0, 7.0, 10.0, 14.0, 7.0, 14.0, 10.0, 28.0, 28.0, 21.0, 24.0, 22.0, 35.0, 35.0, 40.0, 39.0, 40.0, 49.0, 53.0, 58.0, 47.0, 43.0, 51.0, 42.0, 38.0, 21.0, 34.0, 24.0, 34.0, 25.0, 21.0, 8.0, 14.0, 18.0, 11.0, 9.0, 5.0, 7.0, 2.0, 3.0, 2.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.940696716308594e-06, -8.643604815006256e-06, -8.346512913703918e-06, -8.04942101240158e-06, -7.752329111099243e-06, -7.4552372097969055e-06, -7.158145308494568e-06, -6.86105340719223e-06, -6.563961505889893e-06, -6.266869604587555e-06, -5.969777703285217e-06, -5.67268580198288e-06, -5.375593900680542e-06, -5.078501999378204e-06, -4.781410098075867e-06, -4.484318196773529e-06, -4.187226295471191e-06, -3.890134394168854e-06, -3.593042492866516e-06, -3.2959505915641785e-06, -2.998858690261841e-06, -2.701766788959503e-06, -2.4046748876571655e-06, -2.107582986354828e-06, -1.8104910850524902e-06, -1.5133991837501526e-06, -1.216307282447815e-06, -9.192153811454773e-07, -6.221234798431396e-07, -3.25031578540802e-07, -2.7939677238464355e-08, 2.691522240638733e-07, 5.662441253662109e-07, 8.633360266685486e-07, 1.1604279279708862e-06, 1.4575198292732239e-06, 1.7546117305755615e-06, 2.051703631877899e-06, 2.348795533180237e-06, 2.6458874344825745e-06, 2.942979335784912e-06, 3.2400712370872498e-06, 3.5371631383895874e-06, 3.834255039691925e-06, 4.131346940994263e-06, 4.4284388422966e-06, 4.725530743598938e-06, 5.022622644901276e-06, 5.319714546203613e-06, 5.616806447505951e-06, 5.9138983488082886e-06, 6.210990250110626e-06, 6.508082151412964e-06, 6.8051740527153015e-06, 7.102265954017639e-06, 7.399357855319977e-06, 7.696449756622314e-06, 7.993541657924652e-06, 8.29063355922699e-06, 8.587725460529327e-06, 8.884817361831665e-06, 9.181909263134003e-06, 9.47900116443634e-06, 9.776093065738678e-06, 1.0073184967041016e-05]}, "gradients/encoder.encoder.layers.6.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 0.0, 5.0, 6.0, 11.0, 9.0, 16.0, 19.0, 46.0, 71.0, 112.0, 268.0, 323.0, 856.0, 953.0, 1607.0, 4174.0, 5072.0, 15631.0, 22061.0, 50447.0, 637568.0, 207927.0, 63268.0, 15547.0, 8864.0, 6807.0, 2550.0, 2103.0, 772.0, 687.0, 268.0, 198.0, 145.0, 61.0, 41.0, 16.0, 16.0, 11.0, 8.0, 11.0, 2.0, 6.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.993511199951172e-06, -3.850087523460388e-06, -3.7066638469696045e-06, -3.563240170478821e-06, -3.419816493988037e-06, -3.2763928174972534e-06, -3.1329691410064697e-06, -2.989545464515686e-06, -2.8461217880249023e-06, -2.7026981115341187e-06, -2.559274435043335e-06, -2.4158507585525513e-06, -2.2724270820617676e-06, -2.129003405570984e-06, -1.9855797290802e-06, -1.8421560525894165e-06, -1.6987323760986328e-06, -1.5553086996078491e-06, -1.4118850231170654e-06, -1.2684613466262817e-06, -1.125037670135498e-06, -9.816139936447144e-07, -8.381903171539307e-07, -6.94766640663147e-07, -5.513429641723633e-07, -4.079192876815796e-07, -2.644956111907959e-07, -1.210719347000122e-07, 2.2351741790771484e-08, 1.6577541828155518e-07, 3.0919909477233887e-07, 4.5262277126312256e-07, 5.960464477539062e-07, 7.394701242446899e-07, 8.828938007354736e-07, 1.0263174772262573e-06, 1.169741153717041e-06, 1.3131648302078247e-06, 1.4565885066986084e-06, 1.600012183189392e-06, 1.7434358596801758e-06, 1.8868595361709595e-06, 2.030283212661743e-06, 2.173706889152527e-06, 2.3171305656433105e-06, 2.4605542421340942e-06, 2.603977918624878e-06, 2.7474015951156616e-06, 2.8908252716064453e-06, 3.034248948097229e-06, 3.1776726245880127e-06, 3.3210963010787964e-06, 3.46451997756958e-06, 3.6079436540603638e-06, 3.7513673305511475e-06, 3.894791007041931e-06, 4.038214683532715e-06, 4.1816383600234985e-06, 4.325062036514282e-06, 4.468485713005066e-06, 4.61190938949585e-06, 4.755333065986633e-06, 4.898756742477417e-06, 5.042180418968201e-06, 5.185604095458984e-06]}, "gradients/encoder.encoder.layers.6.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 7.0, 1.0, 1.0, 2.0, 4.0, 2.0, 9.0, 8.0, 4.0, 12.0, 15.0, 3.0, 16.0, 18.0, 8.0, 18.0, 31.0, 55.0, 36.0, 118.0, 188.0, 71.0, 135.0, 74.0, 25.0, 22.0, 31.0, 13.0, 14.0, 21.0, 6.0, 6.0, 10.0, 7.0, 2.0, 7.0, 3.0, 2.0, 2.0, 3.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-3.814697265625e-06, -3.7141144275665283e-06, -3.6135315895080566e-06, -3.512948751449585e-06, -3.4123659133911133e-06, -3.3117830753326416e-06, -3.21120023727417e-06, -3.1106173992156982e-06, -3.0100345611572266e-06, -2.909451723098755e-06, -2.808868885040283e-06, -2.7082860469818115e-06, -2.60770320892334e-06, -2.507120370864868e-06, -2.4065375328063965e-06, -2.305954694747925e-06, -2.205371856689453e-06, -2.1047890186309814e-06, -2.0042061805725098e-06, -1.903623342514038e-06, -1.8030405044555664e-06, -1.7024576663970947e-06, -1.601874828338623e-06, -1.5012919902801514e-06, -1.4007091522216797e-06, -1.300126314163208e-06, -1.1995434761047363e-06, -1.0989606380462646e-06, -9.98377799987793e-07, -8.977949619293213e-07, -7.972121238708496e-07, -6.966292858123779e-07, -5.960464477539062e-07, -4.954636096954346e-07, -3.948807716369629e-07, -2.942979335784912e-07, -1.9371509552001953e-07, -9.313225746154785e-08, 7.450580596923828e-09, 1.0803341865539551e-07, 2.086162567138672e-07, 3.0919909477233887e-07, 4.0978193283081055e-07, 5.103647708892822e-07, 6.109476089477539e-07, 7.115304470062256e-07, 8.121132850646973e-07, 9.126961231231689e-07, 1.0132789611816406e-06, 1.1138617992401123e-06, 1.214444637298584e-06, 1.3150274753570557e-06, 1.4156103134155273e-06, 1.516193151473999e-06, 1.6167759895324707e-06, 1.7173588275909424e-06, 1.817941665649414e-06, 1.9185245037078857e-06, 2.0191073417663574e-06, 2.119690179824829e-06, 2.2202730178833008e-06, 2.3208558559417725e-06, 2.421438694000244e-06, 2.522021532058716e-06, 2.6226043701171875e-06]}, "gradients/encoder.encoder.layers.6.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 4.0, 21.0, 8.0, 21.0, 35.0, 55.0, 65.0, 137.0, 145.0, 250.0, 642.0, 722.0, 1891.0, 2302.0, 6518.0, 8632.0, 16420.0, 65288.0, 192931.0, 649996.0, 51449.0, 29482.0, 8460.0, 6640.0, 2329.0, 1464.0, 1235.0, 462.0, 415.0, 158.0, 162.0, 65.0, 47.0, 44.0, 17.0, 23.0, 7.0, 9.0, 3.0, 5.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-4.947185516357422e-06, -4.801899194717407e-06, -4.656612873077393e-06, -4.511326551437378e-06, -4.366040229797363e-06, -4.220753908157349e-06, -4.075467586517334e-06, -3.930181264877319e-06, -3.7848949432373047e-06, -3.63960862159729e-06, -3.4943222999572754e-06, -3.3490359783172607e-06, -3.203749656677246e-06, -3.0584633350372314e-06, -2.913177013397217e-06, -2.767890691757202e-06, -2.6226043701171875e-06, -2.477318048477173e-06, -2.332031726837158e-06, -2.1867454051971436e-06, -2.041459083557129e-06, -1.8961727619171143e-06, -1.7508864402770996e-06, -1.605600118637085e-06, -1.4603137969970703e-06, -1.3150274753570557e-06, -1.169741153717041e-06, -1.0244548320770264e-06, -8.791685104370117e-07, -7.338821887969971e-07, -5.885958671569824e-07, -4.4330954551696777e-07, -2.980232238769531e-07, -1.5273690223693848e-07, -7.450580596923828e-09, 1.3783574104309082e-07, 2.8312206268310547e-07, 4.284083843231201e-07, 5.736947059631348e-07, 7.189810276031494e-07, 8.642673492431641e-07, 1.0095536708831787e-06, 1.1548399925231934e-06, 1.300126314163208e-06, 1.4454126358032227e-06, 1.5906989574432373e-06, 1.735985279083252e-06, 1.8812716007232666e-06, 2.0265579223632812e-06, 2.171844244003296e-06, 2.3171305656433105e-06, 2.462416887283325e-06, 2.60770320892334e-06, 2.7529895305633545e-06, 2.898275852203369e-06, 3.043562173843384e-06, 3.1888484954833984e-06, 3.334134817123413e-06, 3.4794211387634277e-06, 3.6247074604034424e-06, 3.769993782043457e-06, 3.915280103683472e-06, 4.060566425323486e-06, 4.205852746963501e-06, 4.351139068603516e-06]}, "gradients/encoder.encoder.layers.6.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 0.0, 5.0, 6.0, 6.0, 9.0, 6.0, 7.0, 14.0, 7.0, 6.0, 18.0, 26.0, 33.0, 16.0, 32.0, 53.0, 108.0, 84.0, 193.0, 107.0, 78.0, 39.0, 20.0, 37.0, 20.0, 17.0, 8.0, 19.0, 6.0, 9.0, 3.0, 3.0, 4.0, 1.0, 1.0, 5.0, 1.0, 2.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.159046173095703e-06, -3.053806722164154e-06, -2.948567271232605e-06, -2.843327820301056e-06, -2.738088369369507e-06, -2.6328489184379578e-06, -2.5276094675064087e-06, -2.4223700165748596e-06, -2.3171305656433105e-06, -2.2118911147117615e-06, -2.1066516637802124e-06, -2.0014122128486633e-06, -1.8961727619171143e-06, -1.7909333109855652e-06, -1.6856938600540161e-06, -1.580454409122467e-06, -1.475214958190918e-06, -1.369975507259369e-06, -1.2647360563278198e-06, -1.1594966053962708e-06, -1.0542571544647217e-06, -9.490177035331726e-07, -8.437782526016235e-07, -7.385388016700745e-07, -6.332993507385254e-07, -5.280598998069763e-07, -4.2282044887542725e-07, -3.175809979438782e-07, -2.123415470123291e-07, -1.0710209608078003e-07, -1.862645149230957e-09, 1.0337680578231812e-07, 2.086162567138672e-07, 3.1385570764541626e-07, 4.1909515857696533e-07, 5.243346095085144e-07, 6.295740604400635e-07, 7.348135113716125e-07, 8.400529623031616e-07, 9.452924132347107e-07, 1.0505318641662598e-06, 1.1557713150978088e-06, 1.261010766029358e-06, 1.366250216960907e-06, 1.471489667892456e-06, 1.5767291188240051e-06, 1.6819685697555542e-06, 1.7872080206871033e-06, 1.8924474716186523e-06, 1.9976869225502014e-06, 2.1029263734817505e-06, 2.2081658244132996e-06, 2.3134052753448486e-06, 2.4186447262763977e-06, 2.5238841772079468e-06, 2.629123628139496e-06, 2.734363079071045e-06, 2.839602530002594e-06, 2.944841980934143e-06, 3.050081431865692e-06, 3.155320882797241e-06, 3.2605603337287903e-06, 3.3657997846603394e-06, 3.4710392355918884e-06, 3.5762786865234375e-06]}, "gradients/encoder.encoder.layers.6.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 1.0, 1.0, 0.0, 4.0, 0.0, 9.0, 5.0, 11.0, 9.0, 10.0, 11.0, 19.0, 16.0, 18.0, 32.0, 29.0, 40.0, 49.0, 66.0, 92.0, 149.0, 125.0, 76.0, 59.0, 41.0, 27.0, 19.0, 20.0, 8.0, 11.0, 13.0, 7.0, 11.0, 4.0, 2.0, 8.0, 0.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-4.190566687611863e-05, -4.066220935783349e-05, -3.9418755477527156e-05, -3.8175297959242016e-05, -3.693184407893568e-05, -3.568838656065054e-05, -3.444493268034421e-05, -3.320147516205907e-05, -3.1958021281752735e-05, -3.0714563763467595e-05, -2.947110988316126e-05, -2.8227654183865525e-05, -2.6984198484569788e-05, -2.574074278527405e-05, -2.4497287085978314e-05, -2.3253829567693174e-05, -2.2010373868397437e-05, -2.07669181691017e-05, -1.9523462469805963e-05, -1.8280006770510226e-05, -1.703655107121449e-05, -1.5793095371918753e-05, -1.4549638763128314e-05, -1.3306183063832577e-05, -1.206272736453684e-05, -1.0819271665241104e-05, -9.575815965945367e-06, -8.332359357154928e-06, -7.088904112606542e-06, -5.845448413310805e-06, -4.601992259267718e-06, -3.3585365599719808e-06, -2.115080860676244e-06, -8.716250476936693e-07, 3.7183076528890524e-07, 1.6152866919583175e-06, 2.8587423912540544e-06, 4.102198090549791e-06, 5.345654244592879e-06, 6.589109943888616e-06, 7.832565643184353e-06, 9.07602134248009e-06, 1.0319477041775826e-05, 1.1562933650566265e-05, 1.2806389349862002e-05, 1.4049845049157739e-05, 1.5293300748453476e-05, 1.6536756447749212e-05, 1.778021214704495e-05, 1.9023667846340686e-05, 2.0267123545636423e-05, 2.151057924493216e-05, 2.2754034944227897e-05, 2.3997490643523633e-05, 2.5240948161808774e-05, 2.6484402042115107e-05, 2.7727859560400248e-05, 2.8971315259695984e-05, 3.021477095899172e-05, 3.145822847727686e-05, 3.2701682357583195e-05, 3.3945139875868335e-05, 3.518859375617467e-05, 3.643205127445981e-05, 3.767550515476614e-05]}, "gradients/encoder.encoder.layers.6.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 4.0, 2.0, 5.0, 3.0, 7.0, 4.0, 11.0, 10.0, 11.0, 18.0, 24.0, 16.0, 30.0, 30.0, 33.0, 25.0, 32.0, 30.0, 32.0, 31.0, 31.0, 32.0, 33.0, 33.0, 39.0, 34.0, 43.0, 30.0, 32.0, 43.0, 32.0, 37.0, 23.0, 24.0, 26.0, 23.0, 21.0, 17.0, 19.0, 15.0, 7.0, 7.0, 13.0, 6.0, 5.0, 6.0, 4.0, 5.0, 3.0, 5.0, 2.0, 3.0, 2.0, 0.0, 2.0], "bins": [-2.5153160095214844e-05, -2.4404376745224e-05, -2.3655593395233154e-05, -2.290681004524231e-05, -2.2158026695251465e-05, -2.140924334526062e-05, -2.0660459995269775e-05, -1.991167664527893e-05, -1.9162893295288086e-05, -1.841410994529724e-05, -1.7665326595306396e-05, -1.6916543245315552e-05, -1.6167759895324707e-05, -1.5418976545333862e-05, -1.4670193195343018e-05, -1.3921409845352173e-05, -1.3172626495361328e-05, -1.2423843145370483e-05, -1.1675059795379639e-05, -1.0926276445388794e-05, -1.017749309539795e-05, -9.428709745407104e-06, -8.67992639541626e-06, -7.931143045425415e-06, -7.18235969543457e-06, -6.433576345443726e-06, -5.684792995452881e-06, -4.936009645462036e-06, -4.187226295471191e-06, -3.4384429454803467e-06, -2.689659595489502e-06, -1.9408762454986572e-06, -1.1920928955078125e-06, -4.4330954551696777e-07, 3.0547380447387695e-07, 1.0542571544647217e-06, 1.8030405044555664e-06, 2.551823854446411e-06, 3.300607204437256e-06, 4.049390554428101e-06, 4.798173904418945e-06, 5.54695725440979e-06, 6.295740604400635e-06, 7.0445239543914795e-06, 7.793307304382324e-06, 8.542090654373169e-06, 9.290874004364014e-06, 1.0039657354354858e-05, 1.0788440704345703e-05, 1.1537224054336548e-05, 1.2286007404327393e-05, 1.3034790754318237e-05, 1.3783574104309082e-05, 1.4532357454299927e-05, 1.528114080429077e-05, 1.6029924154281616e-05, 1.677870750427246e-05, 1.7527490854263306e-05, 1.827627420425415e-05, 1.9025057554244995e-05, 1.977384090423584e-05, 2.0522624254226685e-05, 2.127140760421753e-05, 2.2020190954208374e-05, 2.276897430419922e-05]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 6.0, 1.0, 2.0, 8.0, 10.0, 10.0, 21.0, 24.0, 44.0, 53.0, 53.0, 78.0, 105.0, 172.0, 233.0, 301.0, 411.0, 704.0, 1017.0, 1575.0, 2660.0, 5222.0, 9398.0, 19093.0, 44463.0, 516667.0, 3463802.0, 74075.0, 25709.0, 12044.0, 6840.0, 3549.0, 2137.0, 1250.0, 914.0, 534.0, 368.0, 262.0, 158.0, 89.0, 62.0, 47.0, 38.0, 24.0, 15.0, 11.0, 7.0, 11.0, 3.0, 3.0, 4.0, 3.0, 4.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-2.384185791015625e-05, -2.305302768945694e-05, -2.226419746875763e-05, -2.147536724805832e-05, -2.068653702735901e-05, -1.98977068066597e-05, -1.9108876585960388e-05, -1.8320046365261078e-05, -1.7531216144561768e-05, -1.6742385923862457e-05, -1.5953555703163147e-05, -1.5164725482463837e-05, -1.4375895261764526e-05, -1.3587065041065216e-05, -1.2798234820365906e-05, -1.2009404599666595e-05, -1.1220574378967285e-05, -1.0431744158267975e-05, -9.642913937568665e-06, -8.854083716869354e-06, -8.065253496170044e-06, -7.276423275470734e-06, -6.487593054771423e-06, -5.698762834072113e-06, -4.909932613372803e-06, -4.1211023926734924e-06, -3.332272171974182e-06, -2.543441951274872e-06, -1.7546117305755615e-06, -9.657815098762512e-07, -1.7695128917694092e-07, 6.118789315223694e-07, 1.4007091522216797e-06, 2.18953937292099e-06, 2.9783695936203003e-06, 3.7671998143196106e-06, 4.556030035018921e-06, 5.344860255718231e-06, 6.1336904764175415e-06, 6.922520697116852e-06, 7.711350917816162e-06, 8.500181138515472e-06, 9.289011359214783e-06, 1.0077841579914093e-05, 1.0866671800613403e-05, 1.1655502021312714e-05, 1.2444332242012024e-05, 1.3233162462711334e-05, 1.4021992683410645e-05, 1.4810822904109955e-05, 1.5599653124809265e-05, 1.6388483345508575e-05, 1.7177313566207886e-05, 1.7966143786907196e-05, 1.8754974007606506e-05, 1.9543804228305817e-05, 2.0332634449005127e-05, 2.1121464669704437e-05, 2.1910294890403748e-05, 2.2699125111103058e-05, 2.3487955331802368e-05, 2.427678555250168e-05, 2.506561577320099e-05, 2.58544459939003e-05, 2.664327621459961e-05]}, "gradients/encoder.encoder.layers.5.feed_forward.output_dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 2.0, 2.0, 0.0, 1.0, 4.0, 6.0, 5.0, 2.0, 13.0, 14.0, 19.0, 22.0, 33.0, 56.0, 57.0, 51.0, 57.0, 97.0, 97.0, 54.0, 77.0, 71.0, 53.0, 53.0, 36.0, 25.0, 16.0, 24.0, 22.0, 8.0, 7.0, 2.0, 8.0, 3.0, 4.0, 2.0, 3.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.887580871582031e-06, -4.7245994210243225e-06, -4.561617970466614e-06, -4.398636519908905e-06, -4.235655069351196e-06, -4.0726736187934875e-06, -3.909692168235779e-06, -3.74671071767807e-06, -3.5837292671203613e-06, -3.4207478165626526e-06, -3.257766366004944e-06, -3.094784915447235e-06, -2.9318034648895264e-06, -2.7688220143318176e-06, -2.605840563774109e-06, -2.4428591132164e-06, -2.2798776626586914e-06, -2.1168962121009827e-06, -1.953914761543274e-06, -1.7909333109855652e-06, -1.6279518604278564e-06, -1.4649704098701477e-06, -1.301988959312439e-06, -1.1390075087547302e-06, -9.760260581970215e-07, -8.130446076393127e-07, -6.50063157081604e-07, -4.870817065238953e-07, -3.241002559661865e-07, -1.6111880540847778e-07, 1.862645149230957e-09, 1.648440957069397e-07, 3.2782554626464844e-07, 4.908069968223572e-07, 6.537884473800659e-07, 8.167698979377747e-07, 9.797513484954834e-07, 1.1427327990531921e-06, 1.3057142496109009e-06, 1.4686957001686096e-06, 1.6316771507263184e-06, 1.794658601284027e-06, 1.957640051841736e-06, 2.1206215023994446e-06, 2.2836029529571533e-06, 2.446584403514862e-06, 2.609565854072571e-06, 2.7725473046302795e-06, 2.9355287551879883e-06, 3.098510205745697e-06, 3.2614916563034058e-06, 3.4244731068611145e-06, 3.5874545574188232e-06, 3.750436007976532e-06, 3.913417458534241e-06, 4.0763989090919495e-06, 4.239380359649658e-06, 4.402361810207367e-06, 4.565343260765076e-06, 4.7283247113227844e-06, 4.891306161880493e-06, 5.054287612438202e-06, 5.217269062995911e-06, 5.380250513553619e-06, 5.543231964111328e-06]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 3.0, 8.0, 6.0, 10.0, 15.0, 23.0, 33.0, 49.0, 64.0, 124.0, 143.0, 238.0, 321.0, 473.0, 927.0, 1223.0, 1941.0, 3966.0, 5757.0, 12316.0, 18762.0, 35352.0, 97959.0, 270072.0, 2899099.0, 638160.0, 103074.0, 52225.0, 21350.0, 12048.0, 7926.0, 3908.0, 2333.0, 1704.0, 855.0, 649.0, 337.0, 240.0, 195.0, 113.0, 78.0, 58.0, 49.0, 33.0, 24.0, 15.0, 14.0, 7.0, 5.0, 3.0, 0.0, 3.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-1.0132789611816406e-05, -9.812414646148682e-06, -9.492039680480957e-06, -9.171664714813232e-06, -8.851289749145508e-06, -8.530914783477783e-06, -8.210539817810059e-06, -7.890164852142334e-06, -7.569789886474609e-06, -7.249414920806885e-06, -6.92903995513916e-06, -6.6086649894714355e-06, -6.288290023803711e-06, -5.967915058135986e-06, -5.647540092468262e-06, -5.327165126800537e-06, -5.0067901611328125e-06, -4.686415195465088e-06, -4.366040229797363e-06, -4.045665264129639e-06, -3.725290298461914e-06, -3.4049153327941895e-06, -3.084540367126465e-06, -2.7641654014587402e-06, -2.4437904357910156e-06, -2.123415470123291e-06, -1.8030405044555664e-06, -1.4826655387878418e-06, -1.1622905731201172e-06, -8.419156074523926e-07, -5.21540641784668e-07, -2.0116567611694336e-07, 1.1920928955078125e-07, 4.3958425521850586e-07, 7.599592208862305e-07, 1.080334186553955e-06, 1.4007091522216797e-06, 1.7210841178894043e-06, 2.041459083557129e-06, 2.3618340492248535e-06, 2.682209014892578e-06, 3.0025839805603027e-06, 3.3229589462280273e-06, 3.643333911895752e-06, 3.9637088775634766e-06, 4.284083843231201e-06, 4.604458808898926e-06, 4.92483377456665e-06, 5.245208740234375e-06, 5.5655837059021e-06, 5.885958671569824e-06, 6.206333637237549e-06, 6.5267086029052734e-06, 6.847083568572998e-06, 7.167458534240723e-06, 7.487833499908447e-06, 7.808208465576172e-06, 8.128583431243896e-06, 8.448958396911621e-06, 8.769333362579346e-06, 9.08970832824707e-06, 9.410083293914795e-06, 9.73045825958252e-06, 1.0050833225250244e-05, 1.0371208190917969e-05]}, "gradients/encoder.encoder.layers.5.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 2.0, 2.0, 4.0, 6.0, 1.0, 6.0, 4.0, 10.0, 9.0, 16.0, 17.0, 23.0, 35.0, 37.0, 39.0, 50.0, 72.0, 88.0, 126.0, 372.0, 707.0, 1277.0, 481.0, 227.0, 127.0, 77.0, 42.0, 50.0, 36.0, 36.0, 23.0, 15.0, 19.0, 12.0, 8.0, 8.0, 6.0, 5.0, 6.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0967254638671875e-05, -1.064687967300415e-05, -1.0326504707336426e-05, -1.0006129741668701e-05, -9.685754776000977e-06, -9.365379810333252e-06, -9.045004844665527e-06, -8.724629878997803e-06, -8.404254913330078e-06, -8.083879947662354e-06, -7.763504981994629e-06, -7.443130016326904e-06, -7.12275505065918e-06, -6.802380084991455e-06, -6.4820051193237305e-06, -6.161630153656006e-06, -5.841255187988281e-06, -5.520880222320557e-06, -5.200505256652832e-06, -4.880130290985107e-06, -4.559755325317383e-06, -4.239380359649658e-06, -3.919005393981934e-06, -3.598630428314209e-06, -3.2782554626464844e-06, -2.9578804969787598e-06, -2.637505531311035e-06, -2.3171305656433105e-06, -1.996755599975586e-06, -1.6763806343078613e-06, -1.3560056686401367e-06, -1.0356307029724121e-06, -7.152557373046875e-07, -3.948807716369629e-07, -7.450580596923828e-08, 2.4586915969848633e-07, 5.662441253662109e-07, 8.866190910339355e-07, 1.2069940567016602e-06, 1.5273690223693848e-06, 1.8477439880371094e-06, 2.168118953704834e-06, 2.4884939193725586e-06, 2.808868885040283e-06, 3.129243850708008e-06, 3.4496188163757324e-06, 3.769993782043457e-06, 4.090368747711182e-06, 4.410743713378906e-06, 4.731118679046631e-06, 5.0514936447143555e-06, 5.37186861038208e-06, 5.692243576049805e-06, 6.012618541717529e-06, 6.332993507385254e-06, 6.6533684730529785e-06, 6.973743438720703e-06, 7.294118404388428e-06, 7.614493370056152e-06, 7.934868335723877e-06, 8.255243301391602e-06, 8.575618267059326e-06, 8.89599323272705e-06, 9.216368198394775e-06, 9.5367431640625e-06]}, "gradients/encoder.encoder.layers.5.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 1.0, 4.0, 7.0, 5.0, 3.0, 7.0, 9.0, 9.0, 10.0, 20.0, 28.0, 23.0, 28.0, 39.0, 32.0, 51.0, 88.0, 109.0, 97.0, 107.0, 77.0, 72.0, 40.0, 27.0, 23.0, 19.0, 22.0, 6.0, 10.0, 6.0, 7.0, 2.0, 3.0, 4.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-5.482536289491691e-05, -5.3325635235523805e-05, -5.18259075761307e-05, -5.03261799167376e-05, -4.88264522573445e-05, -4.73267245979514e-05, -4.5826996938558295e-05, -4.4327269279165193e-05, -4.282754161977209e-05, -4.132781396037899e-05, -3.982808630098589e-05, -3.8328358641592786e-05, -3.6828630982199684e-05, -3.532890332280658e-05, -3.382917566341348e-05, -3.232944800402038e-05, -3.082971670664847e-05, -2.9329989047255367e-05, -2.7830261387862265e-05, -2.6330533728469163e-05, -2.483080606907606e-05, -2.333107840968296e-05, -2.1831350750289857e-05, -2.0331623090896755e-05, -1.8831895431503654e-05, -1.733216777211055e-05, -1.583244011271745e-05, -1.4332712453324348e-05, -1.2832984793931246e-05, -1.1333257134538144e-05, -9.83352856565034e-06, -8.333800906257238e-06, -6.834074156358838e-06, -5.334346496965736e-06, -3.834618837572634e-06, -2.3348907234321814e-06, -8.351630640390795e-07, 6.645645953540225e-07, 2.1642927094944753e-06, 3.664020368887577e-06, 5.163748028280679e-06, 6.663475687673781e-06, 8.163203347066883e-06, 9.662931915954687e-06, 1.1162659575347789e-05, 1.266238723474089e-05, 1.4162114894133992e-05, 1.5661842553527094e-05, 1.7161570212920196e-05, 1.8661297872313298e-05, 2.01610255317064e-05, 2.1660753191099502e-05, 2.3160480850492604e-05, 2.4660208509885706e-05, 2.615993798826821e-05, 2.7659665647661313e-05, 2.9159393307054415e-05, 3.065912096644752e-05, 3.215884862584062e-05, 3.365857628523372e-05, 3.515830394462682e-05, 3.6658031604019925e-05, 3.815775926341303e-05, 3.965748692280613e-05, 4.115721458219923e-05]}, "gradients/encoder.encoder.layers.5.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 7.0, 1.0, 1.0, 4.0, 5.0, 9.0, 13.0, 16.0, 16.0, 9.0, 15.0, 19.0, 30.0, 28.0, 36.0, 31.0, 36.0, 49.0, 43.0, 45.0, 36.0, 60.0, 40.0, 51.0, 42.0, 42.0, 37.0, 39.0, 38.0, 31.0, 34.0, 23.0, 22.0, 18.0, 21.0, 15.0, 9.0, 16.0, 4.0, 7.0, 7.0, 4.0, 3.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-3.695487976074219e-05, -3.596767783164978e-05, -3.498047590255737e-05, -3.3993273973464966e-05, -3.300607204437256e-05, -3.201887011528015e-05, -3.1031668186187744e-05, -3.0044466257095337e-05, -2.905726432800293e-05, -2.8070062398910522e-05, -2.7082860469818115e-05, -2.6095658540725708e-05, -2.51084566116333e-05, -2.4121254682540894e-05, -2.3134052753448486e-05, -2.214685082435608e-05, -2.1159648895263672e-05, -2.0172446966171265e-05, -1.9185245037078857e-05, -1.819804310798645e-05, -1.7210841178894043e-05, -1.6223639249801636e-05, -1.5236437320709229e-05, -1.4249235391616821e-05, -1.3262033462524414e-05, -1.2274831533432007e-05, -1.12876296043396e-05, -1.0300427675247192e-05, -9.313225746154785e-06, -8.326023817062378e-06, -7.338821887969971e-06, -6.3516199588775635e-06, -5.364418029785156e-06, -4.377216100692749e-06, -3.390014171600342e-06, -2.4028122425079346e-06, -1.4156103134155273e-06, -4.284083843231201e-07, 5.587935447692871e-07, 1.5459954738616943e-06, 2.5331974029541016e-06, 3.520399332046509e-06, 4.507601261138916e-06, 5.494803190231323e-06, 6.4820051193237305e-06, 7.469207048416138e-06, 8.456408977508545e-06, 9.443610906600952e-06, 1.043081283569336e-05, 1.1418014764785767e-05, 1.2405216693878174e-05, 1.3392418622970581e-05, 1.4379620552062988e-05, 1.5366822481155396e-05, 1.6354024410247803e-05, 1.734122633934021e-05, 1.8328428268432617e-05, 1.9315630197525024e-05, 2.030283212661743e-05, 2.129003405570984e-05, 2.2277235984802246e-05, 2.3264437913894653e-05, 2.425163984298706e-05, 2.5238841772079468e-05, 2.6226043701171875e-05]}, "gradients/encoder.encoder.layers.5.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 3.0, 4.0, 6.0, 6.0, 12.0, 20.0, 33.0, 35.0, 59.0, 64.0, 104.0, 184.0, 254.0, 448.0, 697.0, 1018.0, 1871.0, 3278.0, 5129.0, 10064.0, 17523.0, 38289.0, 87672.0, 222965.0, 438515.0, 119943.0, 46744.0, 25113.0, 12774.0, 6219.0, 3926.0, 2250.0, 1185.0, 778.0, 508.0, 297.0, 170.0, 140.0, 81.0, 63.0, 33.0, 24.0, 18.0, 13.0, 9.0, 8.0, 4.0, 5.0, 3.0, 0.0, 1.0, 1.0, 2.0], "bins": [-2.4437904357910156e-05, -2.374313771724701e-05, -2.3048371076583862e-05, -2.2353604435920715e-05, -2.165883779525757e-05, -2.096407115459442e-05, -2.0269304513931274e-05, -1.9574537873268127e-05, -1.887977123260498e-05, -1.8185004591941833e-05, -1.7490237951278687e-05, -1.679547131061554e-05, -1.6100704669952393e-05, -1.5405938029289246e-05, -1.4711171388626099e-05, -1.4016404747962952e-05, -1.3321638107299805e-05, -1.2626871466636658e-05, -1.193210482597351e-05, -1.1237338185310364e-05, -1.0542571544647217e-05, -9.84780490398407e-06, -9.153038263320923e-06, -8.458271622657776e-06, -7.763504981994629e-06, -7.068738341331482e-06, -6.373971700668335e-06, -5.679205060005188e-06, -4.984438419342041e-06, -4.289671778678894e-06, -3.594905138015747e-06, -2.9001384973526e-06, -2.205371856689453e-06, -1.5106052160263062e-06, -8.158385753631592e-07, -1.210719347000122e-07, 5.736947059631348e-07, 1.2684613466262817e-06, 1.9632279872894287e-06, 2.6579946279525757e-06, 3.3527612686157227e-06, 4.04752790927887e-06, 4.742294549942017e-06, 5.4370611906051636e-06, 6.1318278312683105e-06, 6.8265944719314575e-06, 7.5213611125946045e-06, 8.216127753257751e-06, 8.910894393920898e-06, 9.605661034584045e-06, 1.0300427675247192e-05, 1.099519431591034e-05, 1.1689960956573486e-05, 1.2384727597236633e-05, 1.307949423789978e-05, 1.3774260878562927e-05, 1.4469027519226074e-05, 1.5163794159889221e-05, 1.5858560800552368e-05, 1.6553327441215515e-05, 1.7248094081878662e-05, 1.794286072254181e-05, 1.8637627363204956e-05, 1.9332394003868103e-05, 2.002716064453125e-05]}, "gradients/encoder.encoder.layers.5.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 1.0, 3.0, 7.0, 3.0, 6.0, 5.0, 8.0, 13.0, 7.0, 18.0, 32.0, 26.0, 37.0, 57.0, 35.0, 51.0, 80.0, 44.0, 47.0, 78.0, 66.0, 58.0, 61.0, 45.0, 43.0, 30.0, 18.0, 35.0, 23.0, 10.0, 16.0, 10.0, 8.0, 11.0, 4.0, 6.0, 4.0, 5.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.0531158447265625e-06, -3.913417458534241e-06, -3.773719072341919e-06, -3.634020686149597e-06, -3.4943222999572754e-06, -3.3546239137649536e-06, -3.214925527572632e-06, -3.07522714138031e-06, -2.9355287551879883e-06, -2.7958303689956665e-06, -2.6561319828033447e-06, -2.516433596611023e-06, -2.376735210418701e-06, -2.2370368242263794e-06, -2.0973384380340576e-06, -1.957640051841736e-06, -1.817941665649414e-06, -1.6782432794570923e-06, -1.5385448932647705e-06, -1.3988465070724487e-06, -1.259148120880127e-06, -1.1194497346878052e-06, -9.797513484954834e-07, -8.400529623031616e-07, -7.003545761108398e-07, -5.606561899185181e-07, -4.209578037261963e-07, -2.812594175338745e-07, -1.4156103134155273e-07, -1.862645149230957e-09, 1.3783574104309082e-07, 2.775341272354126e-07, 4.172325134277344e-07, 5.569308996200562e-07, 6.966292858123779e-07, 8.363276720046997e-07, 9.760260581970215e-07, 1.1157244443893433e-06, 1.255422830581665e-06, 1.3951212167739868e-06, 1.5348196029663086e-06, 1.6745179891586304e-06, 1.8142163753509521e-06, 1.953914761543274e-06, 2.0936131477355957e-06, 2.2333115339279175e-06, 2.3730099201202393e-06, 2.512708306312561e-06, 2.652406692504883e-06, 2.7921050786972046e-06, 2.9318034648895264e-06, 3.071501851081848e-06, 3.21120023727417e-06, 3.3508986234664917e-06, 3.4905970096588135e-06, 3.6302953958511353e-06, 3.769993782043457e-06, 3.909692168235779e-06, 4.049390554428101e-06, 4.189088940620422e-06, 4.328787326812744e-06, 4.468485713005066e-06, 4.608184099197388e-06, 4.7478824853897095e-06, 4.887580871582031e-06]}, "gradients/encoder.encoder.layers.5.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 2.0, 1.0, 6.0, 12.0, 5.0, 9.0, 15.0, 23.0, 53.0, 60.0, 97.0, 142.0, 201.0, 303.0, 425.0, 716.0, 1125.0, 1365.0, 2551.0, 4137.0, 6432.0, 10655.0, 17945.0, 30555.0, 55585.0, 109752.0, 336992.0, 227297.0, 109589.0, 55795.0, 30883.0, 17746.0, 10563.0, 6498.0, 4027.0, 2451.0, 1555.0, 1046.0, 594.0, 433.0, 309.0, 204.0, 121.0, 88.0, 84.0, 28.0, 27.0, 22.0, 15.0, 11.0, 5.0, 9.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-1.0907649993896484e-05, -1.0555610060691833e-05, -1.0203570127487183e-05, -9.851530194282532e-06, -9.499490261077881e-06, -9.14745032787323e-06, -8.795410394668579e-06, -8.443370461463928e-06, -8.091330528259277e-06, -7.739290595054626e-06, -7.387250661849976e-06, -7.035210728645325e-06, -6.683170795440674e-06, -6.331130862236023e-06, -5.979090929031372e-06, -5.627050995826721e-06, -5.27501106262207e-06, -4.9229711294174194e-06, -4.5709311962127686e-06, -4.218891263008118e-06, -3.866851329803467e-06, -3.514811396598816e-06, -3.162771463394165e-06, -2.810731530189514e-06, -2.4586915969848633e-06, -2.1066516637802124e-06, -1.7546117305755615e-06, -1.4025717973709106e-06, -1.0505318641662598e-06, -6.984919309616089e-07, -3.46451997756958e-07, 5.587935447692871e-09, 3.5762786865234375e-07, 7.096678018569946e-07, 1.0617077350616455e-06, 1.4137476682662964e-06, 1.7657876014709473e-06, 2.117827534675598e-06, 2.469867467880249e-06, 2.8219074010849e-06, 3.1739473342895508e-06, 3.5259872674942017e-06, 3.8780272006988525e-06, 4.230067133903503e-06, 4.582107067108154e-06, 4.934147000312805e-06, 5.286186933517456e-06, 5.638226866722107e-06, 5.990266799926758e-06, 6.342306733131409e-06, 6.6943466663360596e-06, 7.0463865995407104e-06, 7.398426532745361e-06, 7.750466465950012e-06, 8.102506399154663e-06, 8.454546332359314e-06, 8.806586265563965e-06, 9.158626198768616e-06, 9.510666131973267e-06, 9.862706065177917e-06, 1.0214745998382568e-05, 1.056678593158722e-05, 1.091882586479187e-05, 1.1270865797996521e-05, 1.1622905731201172e-05]}, "gradients/encoder.encoder.layers.5.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 5.0, 3.0, 1.0, 3.0, 7.0, 5.0, 3.0, 11.0, 9.0, 10.0, 21.0, 18.0, 20.0, 22.0, 30.0, 34.0, 42.0, 36.0, 36.0, 32.0, 41.0, 61.0, 49.0, 55.0, 52.0, 50.0, 43.0, 34.0, 33.0, 39.0, 34.0, 25.0, 18.0, 30.0, 16.0, 14.0, 15.0, 18.0, 9.0, 6.0, 7.0, 6.0, 4.0, 1.0, 3.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-9.953975677490234e-06, -9.651295840740204e-06, -9.348616003990173e-06, -9.045936167240143e-06, -8.743256330490112e-06, -8.440576493740082e-06, -8.137896656990051e-06, -7.83521682024002e-06, -7.53253698348999e-06, -7.22985714673996e-06, -6.927177309989929e-06, -6.624497473239899e-06, -6.321817636489868e-06, -6.019137799739838e-06, -5.716457962989807e-06, -5.413778126239777e-06, -5.111098289489746e-06, -4.8084184527397156e-06, -4.505738615989685e-06, -4.2030587792396545e-06, -3.900378942489624e-06, -3.5976991057395935e-06, -3.295019268989563e-06, -2.9923394322395325e-06, -2.689659595489502e-06, -2.3869797587394714e-06, -2.084299921989441e-06, -1.7816200852394104e-06, -1.4789402484893799e-06, -1.1762604117393494e-06, -8.735805749893188e-07, -5.709007382392883e-07, -2.682209014892578e-07, 3.4458935260772705e-08, 3.371387720108032e-07, 6.398186087608337e-07, 9.424984455108643e-07, 1.2451782822608948e-06, 1.5478581190109253e-06, 1.8505379557609558e-06, 2.1532177925109863e-06, 2.455897629261017e-06, 2.7585774660110474e-06, 3.061257302761078e-06, 3.3639371395111084e-06, 3.666616976261139e-06, 3.9692968130111694e-06, 4.2719766497612e-06, 4.5746564865112305e-06, 4.877336323261261e-06, 5.1800161600112915e-06, 5.482695996761322e-06, 5.7853758335113525e-06, 6.088055670261383e-06, 6.3907355070114136e-06, 6.693415343761444e-06, 6.996095180511475e-06, 7.298775017261505e-06, 7.601454854011536e-06, 7.904134690761566e-06, 8.206814527511597e-06, 8.509494364261627e-06, 8.812174201011658e-06, 9.114854037761688e-06, 9.417533874511719e-06]}, "gradients/encoder.encoder.layers.5.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 9.0, 3.0, 8.0, 6.0, 20.0, 12.0, 40.0, 57.0, 44.0, 98.0, 101.0, 249.0, 436.0, 468.0, 1171.0, 2198.0, 2433.0, 6845.0, 8823.0, 29765.0, 113980.0, 571156.0, 237472.0, 33807.0, 21434.0, 8870.0, 3098.0, 2639.0, 1016.0, 1002.0, 497.0, 194.0, 236.0, 104.0, 90.0, 52.0, 25.0, 42.0, 19.0, 11.0, 8.0, 6.0, 5.0, 7.0, 2.0, 2.0, 0.0, 3.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.470348358154297e-06, -4.314817488193512e-06, -4.159286618232727e-06, -4.003755748271942e-06, -3.848224878311157e-06, -3.6926940083503723e-06, -3.5371631383895874e-06, -3.3816322684288025e-06, -3.2261013984680176e-06, -3.0705705285072327e-06, -2.9150396585464478e-06, -2.759508788585663e-06, -2.603977918624878e-06, -2.448447048664093e-06, -2.292916178703308e-06, -2.137385308742523e-06, -1.9818544387817383e-06, -1.8263235688209534e-06, -1.6707926988601685e-06, -1.5152618288993835e-06, -1.3597309589385986e-06, -1.2042000889778137e-06, -1.0486692190170288e-06, -8.931383490562439e-07, -7.37607479095459e-07, -5.820766091346741e-07, -4.2654573917388916e-07, -2.7101486921310425e-07, -1.1548399925231934e-07, 4.0046870708465576e-08, 1.955777406692505e-07, 3.511086106300354e-07, 5.066394805908203e-07, 6.621703505516052e-07, 8.177012205123901e-07, 9.73232090473175e-07, 1.12876296043396e-06, 1.2842938303947449e-06, 1.4398247003555298e-06, 1.5953555703163147e-06, 1.7508864402770996e-06, 1.9064173102378845e-06, 2.0619481801986694e-06, 2.2174790501594543e-06, 2.3730099201202393e-06, 2.528540790081024e-06, 2.684071660041809e-06, 2.839602530002594e-06, 2.995133399963379e-06, 3.150664269924164e-06, 3.3061951398849487e-06, 3.4617260098457336e-06, 3.6172568798065186e-06, 3.7727877497673035e-06, 3.928318619728088e-06, 4.083849489688873e-06, 4.239380359649658e-06, 4.394911229610443e-06, 4.550442099571228e-06, 4.705972969532013e-06, 4.861503839492798e-06, 5.017034709453583e-06, 5.172565579414368e-06, 5.328096449375153e-06, 5.4836273193359375e-06]}, "gradients/encoder.encoder.layers.5.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 2.0, 7.0, 1.0, 4.0, 6.0, 4.0, 9.0, 12.0, 12.0, 17.0, 15.0, 26.0, 47.0, 55.0, 76.0, 159.0, 188.0, 128.0, 59.0, 43.0, 29.0, 15.0, 19.0, 14.0, 19.0, 13.0, 3.0, 5.0, 4.0, 5.0, 4.0, 5.0, 2.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.112720489501953e-06, -3.996305167675018e-06, -3.8798898458480835e-06, -3.7634745240211487e-06, -3.647059202194214e-06, -3.530643880367279e-06, -3.4142285585403442e-06, -3.2978132367134094e-06, -3.1813979148864746e-06, -3.06498259305954e-06, -2.948567271232605e-06, -2.83215194940567e-06, -2.7157366275787354e-06, -2.5993213057518005e-06, -2.4829059839248657e-06, -2.366490662097931e-06, -2.250075340270996e-06, -2.1336600184440613e-06, -2.0172446966171265e-06, -1.9008293747901917e-06, -1.7844140529632568e-06, -1.667998731136322e-06, -1.5515834093093872e-06, -1.4351680874824524e-06, -1.3187527656555176e-06, -1.2023374438285828e-06, -1.085922122001648e-06, -9.695068001747131e-07, -8.530914783477783e-07, -7.366761565208435e-07, -6.202608346939087e-07, -5.038455128669739e-07, -3.8743019104003906e-07, -2.7101486921310425e-07, -1.5459954738616943e-07, -3.818422555923462e-08, 7.82310962677002e-08, 1.94646418094635e-07, 3.110617399215698e-07, 4.2747706174850464e-07, 5.438923835754395e-07, 6.603077054023743e-07, 7.767230272293091e-07, 8.931383490562439e-07, 1.0095536708831787e-06, 1.1259689927101135e-06, 1.2423843145370483e-06, 1.3587996363639832e-06, 1.475214958190918e-06, 1.5916302800178528e-06, 1.7080456018447876e-06, 1.8244609236717224e-06, 1.9408762454986572e-06, 2.057291567325592e-06, 2.173706889152527e-06, 2.2901222109794617e-06, 2.4065375328063965e-06, 2.5229528546333313e-06, 2.639368176460266e-06, 2.755783498287201e-06, 2.8721988201141357e-06, 2.9886141419410706e-06, 3.1050294637680054e-06, 3.22144478559494e-06, 3.337860107421875e-06]}, "gradients/encoder.encoder.layers.5.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 5.0, 6.0, 9.0, 21.0, 14.0, 40.0, 20.0, 86.0, 48.0, 165.0, 227.0, 179.0, 451.0, 343.0, 910.0, 667.0, 1885.0, 1406.0, 4474.0, 3320.0, 10676.0, 8702.0, 31535.0, 30566.0, 198875.0, 458578.0, 199488.0, 49986.0, 12554.0, 14976.0, 4445.0, 5678.0, 1849.0, 2439.0, 821.0, 1104.0, 383.0, 572.0, 214.0, 265.0, 116.0, 166.0, 116.0, 40.0, 57.0, 11.0, 31.0, 14.0, 8.0, 6.0, 6.0, 3.0, 5.0, 1.0, 3.0, 1.0, 0.0, 2.0], "bins": [-2.86102294921875e-06, -2.769753336906433e-06, -2.678483724594116e-06, -2.5872141122817993e-06, -2.4959444999694824e-06, -2.4046748876571655e-06, -2.3134052753448486e-06, -2.2221356630325317e-06, -2.130866050720215e-06, -2.039596438407898e-06, -1.948326826095581e-06, -1.8570572137832642e-06, -1.7657876014709473e-06, -1.6745179891586304e-06, -1.5832483768463135e-06, -1.4919787645339966e-06, -1.4007091522216797e-06, -1.3094395399093628e-06, -1.218169927597046e-06, -1.126900315284729e-06, -1.0356307029724121e-06, -9.443610906600952e-07, -8.530914783477783e-07, -7.618218660354614e-07, -6.705522537231445e-07, -5.792826414108276e-07, -4.880130290985107e-07, -3.9674341678619385e-07, -3.0547380447387695e-07, -2.1420419216156006e-07, -1.2293457984924316e-07, -3.166496753692627e-08, 5.960464477539063e-08, 1.5087425708770752e-07, 2.421438694000244e-07, 3.334134817123413e-07, 4.246830940246582e-07, 5.159527063369751e-07, 6.07222318649292e-07, 6.984919309616089e-07, 7.897615432739258e-07, 8.810311555862427e-07, 9.723007678985596e-07, 1.0635703802108765e-06, 1.1548399925231934e-06, 1.2461096048355103e-06, 1.3373792171478271e-06, 1.428648829460144e-06, 1.519918441772461e-06, 1.6111880540847778e-06, 1.7024576663970947e-06, 1.7937272787094116e-06, 1.8849968910217285e-06, 1.9762665033340454e-06, 2.0675361156463623e-06, 2.158805727958679e-06, 2.250075340270996e-06, 2.341344952583313e-06, 2.43261456489563e-06, 2.5238841772079468e-06, 2.6151537895202637e-06, 2.7064234018325806e-06, 2.7976930141448975e-06, 2.8889626264572144e-06, 2.9802322387695312e-06]}, "gradients/encoder.encoder.layers.5.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 0.0, 1.0, 3.0, 5.0, 4.0, 6.0, 7.0, 4.0, 8.0, 14.0, 15.0, 9.0, 25.0, 13.0, 19.0, 48.0, 35.0, 58.0, 62.0, 209.0, 85.0, 67.0, 89.0, 31.0, 17.0, 36.0, 17.0, 12.0, 28.0, 7.0, 8.0, 18.0, 8.0, 2.0, 4.0, 10.0, 3.0, 3.0, 7.0, 0.0, 2.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.562999725341797e-06, -2.4847686290740967e-06, -2.4065375328063965e-06, -2.3283064365386963e-06, -2.250075340270996e-06, -2.171844244003296e-06, -2.0936131477355957e-06, -2.0153820514678955e-06, -1.9371509552001953e-06, -1.8589198589324951e-06, -1.780688762664795e-06, -1.7024576663970947e-06, -1.6242265701293945e-06, -1.5459954738616943e-06, -1.4677643775939941e-06, -1.389533281326294e-06, -1.3113021850585938e-06, -1.2330710887908936e-06, -1.1548399925231934e-06, -1.0766088962554932e-06, -9.98377799987793e-07, -9.201467037200928e-07, -8.419156074523926e-07, -7.636845111846924e-07, -6.854534149169922e-07, -6.07222318649292e-07, -5.289912223815918e-07, -4.507601261138916e-07, -3.725290298461914e-07, -2.942979335784912e-07, -2.1606683731079102e-07, -1.3783574104309082e-07, -5.960464477539063e-08, 1.862645149230957e-08, 9.685754776000977e-08, 1.7508864402770996e-07, 2.5331974029541016e-07, 3.3155083656311035e-07, 4.0978193283081055e-07, 4.880130290985107e-07, 5.662441253662109e-07, 6.444752216339111e-07, 7.227063179016113e-07, 8.009374141693115e-07, 8.791685104370117e-07, 9.57399606704712e-07, 1.0356307029724121e-06, 1.1138617992401123e-06, 1.1920928955078125e-06, 1.2703239917755127e-06, 1.3485550880432129e-06, 1.426786184310913e-06, 1.5050172805786133e-06, 1.5832483768463135e-06, 1.6614794731140137e-06, 1.7397105693817139e-06, 1.817941665649414e-06, 1.8961727619171143e-06, 1.9744038581848145e-06, 2.0526349544525146e-06, 2.130866050720215e-06, 2.209097146987915e-06, 2.2873282432556152e-06, 2.3655593395233154e-06, 2.4437904357910156e-06]}, "gradients/encoder.encoder.layers.5.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 3.0, 3.0, 8.0, 3.0, 9.0, 7.0, 14.0, 8.0, 20.0, 26.0, 33.0, 47.0, 82.0, 141.0, 168.0, 110.0, 76.0, 59.0, 40.0, 35.0, 22.0, 18.0, 16.0, 12.0, 10.0, 7.0, 4.0, 5.0, 1.0, 4.0, 5.0, 6.0, 2.0, 0.0, 4.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.648206570185721e-05, -5.491778574651107e-05, -5.3353505791164935e-05, -5.17892258358188e-05, -5.022494224249385e-05, -4.8660662287147716e-05, -4.709638233180158e-05, -4.553210237645544e-05, -4.3967822421109304e-05, -4.2403542465763167e-05, -4.083926251041703e-05, -3.9274978917092085e-05, -3.771069896174595e-05, -3.614641900639981e-05, -3.458213905105367e-05, -3.3017859095707536e-05, -3.14535791403614e-05, -2.988929918501526e-05, -2.832501741067972e-05, -2.6760737455333583e-05, -2.5196457499987446e-05, -2.3632175725651905e-05, -2.2067895770305768e-05, -2.050361581495963e-05, -1.8939332221634686e-05, -1.737505226628855e-05, -1.5810770491953008e-05, -1.424649053660687e-05, -1.2682210581260733e-05, -1.1117929716419894e-05, -9.553648851579055e-06, -7.989368896232918e-06, -6.425088940886781e-06, -4.8608085307932924e-06, -3.296527893326129e-06, -1.7322472558589652e-06, -1.6796684576547705e-07, 1.3963135643280111e-06, 2.96059442916885e-06, 4.5248743845149875e-06, 6.0891552493558265e-06, 7.653436114196666e-06, 9.217716069542803e-06, 1.0781996934383642e-05, 1.2346277799224481e-05, 1.3910557754570618e-05, 1.5474837709916756e-05, 1.7039117665262893e-05, 1.8603399439598434e-05, 2.016767939494457e-05, 2.1731961169280112e-05, 2.329624112462625e-05, 2.4860521079972386e-05, 2.6424801035318524e-05, 2.7989082809654064e-05, 2.9553362765000202e-05, 3.111764453933574e-05, 3.268192449468188e-05, 3.424620445002802e-05, 3.581048804335296e-05, 3.73747679986991e-05, 3.8939047954045236e-05, 4.0503327909391373e-05, 4.206760786473751e-05, 4.363188782008365e-05]}, "gradients/encoder.encoder.layers.5.layer_norm.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 5.0, 4.0, 9.0, 7.0, 7.0, 10.0, 13.0, 7.0, 12.0, 9.0, 19.0, 21.0, 25.0, 23.0, 26.0, 32.0, 29.0, 29.0, 41.0, 36.0, 37.0, 38.0, 27.0, 35.0, 40.0, 34.0, 45.0, 27.0, 32.0, 40.0, 22.0, 30.0, 28.0, 30.0, 31.0, 20.0, 18.0, 10.0, 25.0, 8.0, 14.0, 11.0, 9.0, 7.0, 7.0, 5.0, 1.0, 6.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0], "bins": [-2.5391578674316406e-05, -2.4607405066490173e-05, -2.382323145866394e-05, -2.3039057850837708e-05, -2.2254884243011475e-05, -2.1470710635185242e-05, -2.068653702735901e-05, -1.9902363419532776e-05, -1.9118189811706543e-05, -1.833401620388031e-05, -1.7549842596054077e-05, -1.6765668988227844e-05, -1.598149538040161e-05, -1.5197321772575378e-05, -1.4413148164749146e-05, -1.3628974556922913e-05, -1.284480094909668e-05, -1.2060627341270447e-05, -1.1276453733444214e-05, -1.0492280125617981e-05, -9.708106517791748e-06, -8.923932909965515e-06, -8.139759302139282e-06, -7.355585694313049e-06, -6.571412086486816e-06, -5.7872384786605835e-06, -5.003064870834351e-06, -4.218891263008118e-06, -3.4347176551818848e-06, -2.650544047355652e-06, -1.866370439529419e-06, -1.082196831703186e-06, -2.980232238769531e-07, 4.861503839492798e-07, 1.2703239917755127e-06, 2.0544975996017456e-06, 2.8386712074279785e-06, 3.6228448152542114e-06, 4.407018423080444e-06, 5.191192030906677e-06, 5.97536563873291e-06, 6.759539246559143e-06, 7.543712854385376e-06, 8.327886462211609e-06, 9.112060070037842e-06, 9.896233677864075e-06, 1.0680407285690308e-05, 1.146458089351654e-05, 1.2248754501342773e-05, 1.3032928109169006e-05, 1.381710171699524e-05, 1.4601275324821472e-05, 1.5385448932647705e-05, 1.6169622540473938e-05, 1.695379614830017e-05, 1.7737969756126404e-05, 1.8522143363952637e-05, 1.930631697177887e-05, 2.0090490579605103e-05, 2.0874664187431335e-05, 2.165883779525757e-05, 2.24430114030838e-05, 2.3227185010910034e-05, 2.4011358618736267e-05, 2.47955322265625e-05]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 6.0, 6.0, 4.0, 7.0, 12.0, 21.0, 27.0, 43.0, 69.0, 101.0, 192.0, 324.0, 535.0, 936.0, 1443.0, 2676.0, 4259.0, 7418.0, 13937.0, 27152.0, 74315.0, 2542285.0, 1391330.0, 64543.0, 28194.0, 15400.0, 7658.0, 4393.0, 2584.0, 1508.0, 1026.0, 624.0, 384.0, 253.0, 183.0, 143.0, 75.0, 64.0, 50.0, 39.0, 25.0, 15.0, 10.0, 8.0, 3.0, 7.0, 4.0, 4.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.4378299713134766e-05, -2.3591332137584686e-05, -2.2804364562034607e-05, -2.2017396986484528e-05, -2.1230429410934448e-05, -2.044346183538437e-05, -1.965649425983429e-05, -1.886952668428421e-05, -1.808255910873413e-05, -1.729559153318405e-05, -1.6508623957633972e-05, -1.5721656382083893e-05, -1.4934688806533813e-05, -1.4147721230983734e-05, -1.3360753655433655e-05, -1.2573786079883575e-05, -1.1786818504333496e-05, -1.0999850928783417e-05, -1.0212883353233337e-05, -9.425915777683258e-06, -8.638948202133179e-06, -7.8519806265831e-06, -7.06501305103302e-06, -6.278045475482941e-06, -5.491077899932861e-06, -4.704110324382782e-06, -3.917142748832703e-06, -3.1301751732826233e-06, -2.343207597732544e-06, -1.5562400221824646e-06, -7.692724466323853e-07, 1.7695128917694092e-08, 8.046627044677734e-07, 1.5916302800178528e-06, 2.378597855567932e-06, 3.1655654311180115e-06, 3.952533006668091e-06, 4.73950058221817e-06, 5.5264681577682495e-06, 6.313435733318329e-06, 7.100403308868408e-06, 7.887370884418488e-06, 8.674338459968567e-06, 9.461306035518646e-06, 1.0248273611068726e-05, 1.1035241186618805e-05, 1.1822208762168884e-05, 1.2609176337718964e-05, 1.3396143913269043e-05, 1.4183111488819122e-05, 1.4970079064369202e-05, 1.575704663991928e-05, 1.654401421546936e-05, 1.733098179101944e-05, 1.811794936656952e-05, 1.89049169421196e-05, 1.9691884517669678e-05, 2.0478852093219757e-05, 2.1265819668769836e-05, 2.2052787244319916e-05, 2.2839754819869995e-05, 2.3626722395420074e-05, 2.4413689970970154e-05, 2.5200657546520233e-05, 2.5987625122070312e-05]}, "gradients/encoder.encoder.layers.4.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 2.0, 7.0, 7.0, 7.0, 15.0, 8.0, 8.0, 17.0, 10.0, 27.0, 45.0, 35.0, 27.0, 58.0, 53.0, 51.0, 83.0, 60.0, 63.0, 80.0, 44.0, 59.0, 40.0, 25.0, 41.0, 31.0, 20.0, 30.0, 8.0, 12.0, 10.0, 5.0, 5.0, 6.0, 2.0, 3.0, 4.0, 3.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-4.291534423828125e-06, -4.151836037635803e-06, -4.0121376514434814e-06, -3.87243926525116e-06, -3.732740879058838e-06, -3.593042492866516e-06, -3.4533441066741943e-06, -3.3136457204818726e-06, -3.1739473342895508e-06, -3.034248948097229e-06, -2.8945505619049072e-06, -2.7548521757125854e-06, -2.6151537895202637e-06, -2.475455403327942e-06, -2.33575701713562e-06, -2.1960586309432983e-06, -2.0563602447509766e-06, -1.9166618585586548e-06, -1.776963472366333e-06, -1.6372650861740112e-06, -1.4975666999816895e-06, -1.3578683137893677e-06, -1.218169927597046e-06, -1.0784715414047241e-06, -9.387731552124023e-07, -7.990747690200806e-07, -6.593763828277588e-07, -5.19677996635437e-07, -3.7997961044311523e-07, -2.4028122425079346e-07, -1.0058283805847168e-07, 3.91155481338501e-08, 1.7881393432617188e-07, 3.1851232051849365e-07, 4.5821070671081543e-07, 5.979090929031372e-07, 7.37607479095459e-07, 8.773058652877808e-07, 1.0170042514801025e-06, 1.1567026376724243e-06, 1.296401023864746e-06, 1.4360994100570679e-06, 1.5757977962493896e-06, 1.7154961824417114e-06, 1.8551945686340332e-06, 1.994892954826355e-06, 2.1345913410186768e-06, 2.2742897272109985e-06, 2.4139881134033203e-06, 2.553686499595642e-06, 2.693384885787964e-06, 2.8330832719802856e-06, 2.9727816581726074e-06, 3.112480044364929e-06, 3.252178430557251e-06, 3.3918768167495728e-06, 3.5315752029418945e-06, 3.6712735891342163e-06, 3.810971975326538e-06, 3.95067036151886e-06, 4.090368747711182e-06, 4.230067133903503e-06, 4.369765520095825e-06, 4.509463906288147e-06, 4.649162292480469e-06]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 3.0, 5.0, 5.0, 15.0, 14.0, 19.0, 21.0, 38.0, 42.0, 57.0, 106.0, 117.0, 159.0, 302.0, 371.0, 475.0, 663.0, 1166.0, 1404.0, 2100.0, 3786.0, 4624.0, 6795.0, 13554.0, 17966.0, 29683.0, 52805.0, 153982.0, 549171.0, 2770638.0, 378623.0, 86088.0, 44689.0, 25978.0, 19059.0, 9360.0, 6047.0, 5048.0, 2634.0, 1851.0, 1584.0, 914.0, 651.0, 459.0, 384.0, 232.0, 196.0, 142.0, 75.0, 47.0, 45.0, 30.0, 25.0, 19.0, 14.0, 9.0, 2.0, 1.0, 5.0, 1.0, 2.0], "bins": [-8.285045623779297e-06, -8.02893191576004e-06, -7.772818207740784e-06, -7.516704499721527e-06, -7.2605907917022705e-06, -7.004477083683014e-06, -6.748363375663757e-06, -6.492249667644501e-06, -6.236135959625244e-06, -5.9800222516059875e-06, -5.723908543586731e-06, -5.467794835567474e-06, -5.211681127548218e-06, -4.955567419528961e-06, -4.699453711509705e-06, -4.443340003490448e-06, -4.187226295471191e-06, -3.931112587451935e-06, -3.6749988794326782e-06, -3.4188851714134216e-06, -3.162771463394165e-06, -2.9066577553749084e-06, -2.650544047355652e-06, -2.3944303393363953e-06, -2.1383166313171387e-06, -1.882202923297882e-06, -1.6260892152786255e-06, -1.369975507259369e-06, -1.1138617992401123e-06, -8.577480912208557e-07, -6.016343832015991e-07, -3.4552067518234253e-07, -8.940696716308594e-08, 1.6670674085617065e-07, 4.2282044887542725e-07, 6.789341568946838e-07, 9.350478649139404e-07, 1.191161572933197e-06, 1.4472752809524536e-06, 1.7033889889717102e-06, 1.959502696990967e-06, 2.2156164050102234e-06, 2.47173011302948e-06, 2.7278438210487366e-06, 2.983957529067993e-06, 3.2400712370872498e-06, 3.4961849451065063e-06, 3.752298653125763e-06, 4.0084123611450195e-06, 4.264526069164276e-06, 4.520639777183533e-06, 4.776753485202789e-06, 5.032867193222046e-06, 5.2889809012413025e-06, 5.545094609260559e-06, 5.801208317279816e-06, 6.057322025299072e-06, 6.313435733318329e-06, 6.5695494413375854e-06, 6.825663149356842e-06, 7.081776857376099e-06, 7.337890565395355e-06, 7.594004273414612e-06, 7.850117981433868e-06, 8.106231689453125e-06]}, "gradients/encoder.encoder.layers.4.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 0.0, 0.0, 1.0, 2.0, 3.0, 4.0, 4.0, 3.0, 5.0, 7.0, 9.0, 15.0, 9.0, 18.0, 23.0, 14.0, 28.0, 44.0, 33.0, 48.0, 68.0, 56.0, 121.0, 238.0, 424.0, 1043.0, 917.0, 320.0, 230.0, 94.0, 51.0, 47.0, 38.0, 20.0, 27.0, 23.0, 18.0, 21.0, 7.0, 7.0, 8.0, 8.0, 1.0, 9.0, 6.0, 2.0, 3.0, 4.0, 1.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.881092071533203e-06, -8.602626621723175e-06, -8.324161171913147e-06, -8.045695722103119e-06, -7.76723027229309e-06, -7.488764822483063e-06, -7.210299372673035e-06, -6.931833922863007e-06, -6.6533684730529785e-06, -6.3749030232429504e-06, -6.096437573432922e-06, -5.817972123622894e-06, -5.539506673812866e-06, -5.261041224002838e-06, -4.98257577419281e-06, -4.704110324382782e-06, -4.425644874572754e-06, -4.147179424762726e-06, -3.868713974952698e-06, -3.5902485251426697e-06, -3.3117830753326416e-06, -3.0333176255226135e-06, -2.7548521757125854e-06, -2.4763867259025574e-06, -2.1979212760925293e-06, -1.9194558262825012e-06, -1.6409903764724731e-06, -1.362524926662445e-06, -1.084059476852417e-06, -8.055940270423889e-07, -5.271285772323608e-07, -2.4866312742233276e-07, 2.9802322387695312e-08, 3.082677721977234e-07, 5.867332220077515e-07, 8.651986718177795e-07, 1.1436641216278076e-06, 1.4221295714378357e-06, 1.7005950212478638e-06, 1.979060471057892e-06, 2.25752592086792e-06, 2.535991370677948e-06, 2.814456820487976e-06, 3.092922270298004e-06, 3.3713877201080322e-06, 3.6498531699180603e-06, 3.928318619728088e-06, 4.2067840695381165e-06, 4.4852495193481445e-06, 4.763714969158173e-06, 5.042180418968201e-06, 5.320645868778229e-06, 5.599111318588257e-06, 5.877576768398285e-06, 6.156042218208313e-06, 6.434507668018341e-06, 6.712973117828369e-06, 6.991438567638397e-06, 7.269904017448425e-06, 7.548369467258453e-06, 7.826834917068481e-06, 8.10530036687851e-06, 8.383765816688538e-06, 8.662231266498566e-06, 8.940696716308594e-06]}, "gradients/encoder.encoder.layers.4.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 1.0, 1.0, 6.0, 3.0, 5.0, 7.0, 9.0, 9.0, 12.0, 19.0, 23.0, 23.0, 27.0, 43.0, 57.0, 99.0, 106.0, 130.0, 122.0, 62.0, 63.0, 42.0, 39.0, 29.0, 23.0, 7.0, 11.0, 8.0, 7.0, 5.0, 2.0, 2.0, 3.0, 2.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0], "bins": [-7.541013474110514e-05, -7.359049777733162e-05, -7.17708608135581e-05, -6.99512311257422e-05, -6.813159416196868e-05, -6.631195719819516e-05, -6.449232023442164e-05, -6.267268327064812e-05, -6.085304994485341e-05, -5.903341298107989e-05, -5.721377965528518e-05, -5.539414269151166e-05, -5.357450572773814e-05, -5.175487240194343e-05, -4.993523543816991e-05, -4.81156021123752e-05, -4.629596514860168e-05, -4.447632818482816e-05, -4.265669485903345e-05, -4.083705789525993e-05, -3.901742456946522e-05, -3.71977876056917e-05, -3.537815064191818e-05, -3.3558513678144664e-05, -3.173888035234995e-05, -2.9919245207565837e-05, -2.809961006278172e-05, -2.6279973099008203e-05, -2.4460337954224087e-05, -2.2640702809439972e-05, -2.0821065845666453e-05, -1.9001430700882338e-05, -1.7181791918119416e-05, -1.53621567733353e-05, -1.3542520719056483e-05, -1.1722884664777666e-05, -9.903249519993551e-06, -8.083614375209436e-06, -6.263978320930619e-06, -4.444342266651802e-06, -2.6247071218676865e-06, -8.050715223362204e-07, 1.0145640771952458e-06, 2.834199676726712e-06, 4.653835276258178e-06, 6.473470421042293e-06, 8.29310647532111e-06, 1.0112742529599927e-05, 1.1932377674384043e-05, 1.3752012819168158e-05, 1.5571647963952273e-05, 1.7391284927725792e-05, 1.9210920072509907e-05, 2.1030555217294022e-05, 2.285019218106754e-05, 2.4669827325851656e-05, 2.6489462470635772e-05, 2.8309097615419887e-05, 3.0128732760204002e-05, 3.194836972397752e-05, 3.376800304977223e-05, 3.558764001354575e-05, 3.740727697731927e-05, 3.922691394109279e-05, 4.10465472668875e-05]}, "gradients/encoder.encoder.layers.4.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 8.0, 5.0, 10.0, 9.0, 9.0, 8.0, 17.0, 13.0, 16.0, 18.0, 15.0, 25.0, 23.0, 33.0, 32.0, 39.0, 42.0, 36.0, 39.0, 50.0, 44.0, 43.0, 47.0, 39.0, 31.0, 41.0, 39.0, 26.0, 36.0, 28.0, 30.0, 21.0, 25.0, 23.0, 13.0, 10.0, 11.0, 10.0, 7.0, 9.0, 5.0, 6.0, 3.0, 5.0, 2.0, 3.0, 0.0, 1.0, 2.0, 1.0, 1.0], "bins": [-2.9087066650390625e-05, -2.8228387236595154e-05, -2.7369707822799683e-05, -2.651102840900421e-05, -2.565234899520874e-05, -2.479366958141327e-05, -2.3934990167617798e-05, -2.3076310753822327e-05, -2.2217631340026855e-05, -2.1358951926231384e-05, -2.0500272512435913e-05, -1.9641593098640442e-05, -1.878291368484497e-05, -1.79242342710495e-05, -1.706555485725403e-05, -1.6206875443458557e-05, -1.5348196029663086e-05, -1.4489516615867615e-05, -1.3630837202072144e-05, -1.2772157788276672e-05, -1.1913478374481201e-05, -1.105479896068573e-05, -1.0196119546890259e-05, -9.337440133094788e-06, -8.478760719299316e-06, -7.620081305503845e-06, -6.761401891708374e-06, -5.902722477912903e-06, -5.044043064117432e-06, -4.1853636503219604e-06, -3.3266842365264893e-06, -2.468004822731018e-06, -1.6093254089355469e-06, -7.506459951400757e-07, 1.0803341865539551e-07, 9.667128324508667e-07, 1.8253922462463379e-06, 2.684071660041809e-06, 3.5427510738372803e-06, 4.4014304876327515e-06, 5.260109901428223e-06, 6.118789315223694e-06, 6.977468729019165e-06, 7.836148142814636e-06, 8.694827556610107e-06, 9.553506970405579e-06, 1.041218638420105e-05, 1.1270865797996521e-05, 1.2129545211791992e-05, 1.2988224625587463e-05, 1.3846904039382935e-05, 1.4705583453178406e-05, 1.5564262866973877e-05, 1.6422942280769348e-05, 1.728162169456482e-05, 1.814030110836029e-05, 1.8998980522155762e-05, 1.9857659935951233e-05, 2.0716339349746704e-05, 2.1575018763542175e-05, 2.2433698177337646e-05, 2.3292377591133118e-05, 2.415105700492859e-05, 2.500973641872406e-05, 2.586841583251953e-05]}, "gradients/encoder.encoder.layers.4.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 5.0, 6.0, 9.0, 15.0, 16.0, 26.0, 30.0, 47.0, 70.0, 119.0, 202.0, 258.0, 376.0, 539.0, 900.0, 1460.0, 2121.0, 3794.0, 5680.0, 11382.0, 18716.0, 39799.0, 88456.0, 216276.0, 431812.0, 113072.0, 54260.0, 24939.0, 14601.0, 8033.0, 4192.0, 2740.0, 1543.0, 1102.0, 645.0, 421.0, 309.0, 187.0, 131.0, 80.0, 74.0, 46.0, 28.0, 16.0, 10.0, 6.0, 6.0, 3.0, 2.0, 2.0, 2.0, 1.0, 2.0, 2.0], "bins": [-2.3603439331054688e-05, -2.2913329303264618e-05, -2.222321927547455e-05, -2.153310924768448e-05, -2.084299921989441e-05, -2.015288919210434e-05, -1.946277916431427e-05, -1.87726691365242e-05, -1.808255910873413e-05, -1.739244908094406e-05, -1.6702339053153992e-05, -1.6012229025363922e-05, -1.5322118997573853e-05, -1.4632008969783783e-05, -1.3941898941993713e-05, -1.3251788914203644e-05, -1.2561678886413574e-05, -1.1871568858623505e-05, -1.1181458830833435e-05, -1.0491348803043365e-05, -9.801238775253296e-06, -9.111128747463226e-06, -8.421018719673157e-06, -7.730908691883087e-06, -7.040798664093018e-06, -6.350688636302948e-06, -5.660578608512878e-06, -4.970468580722809e-06, -4.280358552932739e-06, -3.5902485251426697e-06, -2.9001384973526e-06, -2.2100284695625305e-06, -1.519918441772461e-06, -8.298084139823914e-07, -1.3969838619232178e-07, 5.504116415977478e-07, 1.2405216693878174e-06, 1.930631697177887e-06, 2.6207417249679565e-06, 3.310851752758026e-06, 4.000961780548096e-06, 4.691071808338165e-06, 5.381181836128235e-06, 6.0712918639183044e-06, 6.761401891708374e-06, 7.451511919498444e-06, 8.141621947288513e-06, 8.831731975078583e-06, 9.521842002868652e-06, 1.0211952030658722e-05, 1.0902062058448792e-05, 1.1592172086238861e-05, 1.228228211402893e-05, 1.2972392141819e-05, 1.366250216960907e-05, 1.435261219739914e-05, 1.5042722225189209e-05, 1.573283225297928e-05, 1.6422942280769348e-05, 1.7113052308559418e-05, 1.7803162336349487e-05, 1.8493272364139557e-05, 1.9183382391929626e-05, 1.9873492419719696e-05, 2.0563602447509766e-05]}, "gradients/encoder.encoder.layers.4.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 4.0, 1.0, 4.0, 2.0, 3.0, 9.0, 12.0, 6.0, 9.0, 10.0, 10.0, 24.0, 35.0, 22.0, 31.0, 41.0, 62.0, 54.0, 45.0, 52.0, 52.0, 100.0, 49.0, 49.0, 50.0, 38.0, 50.0, 31.0, 21.0, 20.0, 29.0, 26.0, 11.0, 11.0, 10.0, 5.0, 6.0, 1.0, 6.0, 4.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0], "bins": [-4.470348358154297e-06, -4.339031875133514e-06, -4.207715392112732e-06, -4.0763989090919495e-06, -3.945082426071167e-06, -3.8137659430503845e-06, -3.682449460029602e-06, -3.5511329770088196e-06, -3.419816493988037e-06, -3.2885000109672546e-06, -3.157183527946472e-06, -3.0258670449256897e-06, -2.8945505619049072e-06, -2.7632340788841248e-06, -2.6319175958633423e-06, -2.50060111284256e-06, -2.3692846298217773e-06, -2.237968146800995e-06, -2.1066516637802124e-06, -1.97533518075943e-06, -1.8440186977386475e-06, -1.712702214717865e-06, -1.5813857316970825e-06, -1.4500692486763e-06, -1.3187527656555176e-06, -1.1874362826347351e-06, -1.0561197996139526e-06, -9.248033165931702e-07, -7.934868335723877e-07, -6.621703505516052e-07, -5.308538675308228e-07, -3.995373845100403e-07, -2.682209014892578e-07, -1.3690441846847534e-07, -5.587935447692871e-09, 1.257285475730896e-07, 2.5704503059387207e-07, 3.8836151361465454e-07, 5.19677996635437e-07, 6.509944796562195e-07, 7.82310962677002e-07, 9.136274456977844e-07, 1.044943928718567e-06, 1.1762604117393494e-06, 1.3075768947601318e-06, 1.4388933777809143e-06, 1.5702098608016968e-06, 1.7015263438224792e-06, 1.8328428268432617e-06, 1.964159309864044e-06, 2.0954757928848267e-06, 2.226792275905609e-06, 2.3581087589263916e-06, 2.489425241947174e-06, 2.6207417249679565e-06, 2.752058207988739e-06, 2.8833746910095215e-06, 3.014691174030304e-06, 3.1460076570510864e-06, 3.277324140071869e-06, 3.4086406230926514e-06, 3.539957106113434e-06, 3.6712735891342163e-06, 3.8025900721549988e-06, 3.933906555175781e-06]}, "gradients/encoder.encoder.layers.4.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 2.0, 5.0, 6.0, 7.0, 6.0, 22.0, 32.0, 61.0, 62.0, 124.0, 125.0, 228.0, 308.0, 375.0, 675.0, 730.0, 1323.0, 1388.0, 2636.0, 3213.0, 5466.0, 6384.0, 11833.0, 14450.0, 27950.0, 35146.0, 75082.0, 112240.0, 351192.0, 187846.0, 71898.0, 52712.0, 25844.0, 21067.0, 11029.0, 8977.0, 4963.0, 4283.0, 2485.0, 2066.0, 1155.0, 1048.0, 590.0, 483.0, 305.0, 196.0, 182.0, 124.0, 99.0, 50.0, 40.0, 16.0, 20.0, 11.0, 2.0, 1.0, 3.0, 3.0, 1.0, 1.0], "bins": [-8.821487426757812e-06, -8.551403880119324e-06, -8.281320333480835e-06, -8.011236786842346e-06, -7.741153240203857e-06, -7.471069693565369e-06, -7.20098614692688e-06, -6.930902600288391e-06, -6.660819053649902e-06, -6.3907355070114136e-06, -6.120651960372925e-06, -5.850568413734436e-06, -5.580484867095947e-06, -5.3104013204574585e-06, -5.04031777381897e-06, -4.770234227180481e-06, -4.500150680541992e-06, -4.230067133903503e-06, -3.959983587265015e-06, -3.689900040626526e-06, -3.419816493988037e-06, -3.1497329473495483e-06, -2.8796494007110596e-06, -2.609565854072571e-06, -2.339482307434082e-06, -2.0693987607955933e-06, -1.7993152141571045e-06, -1.5292316675186157e-06, -1.259148120880127e-06, -9.890645742416382e-07, -7.189810276031494e-07, -4.4889748096466064e-07, -1.7881393432617188e-07, 9.12696123123169e-08, 3.6135315895080566e-07, 6.314367055892944e-07, 9.015202522277832e-07, 1.171603798866272e-06, 1.4416873455047607e-06, 1.7117708921432495e-06, 1.9818544387817383e-06, 2.251937985420227e-06, 2.522021532058716e-06, 2.7921050786972046e-06, 3.0621886253356934e-06, 3.332272171974182e-06, 3.602355718612671e-06, 3.87243926525116e-06, 4.1425228118896484e-06, 4.412606358528137e-06, 4.682689905166626e-06, 4.952773451805115e-06, 5.2228569984436035e-06, 5.492940545082092e-06, 5.763024091720581e-06, 6.03310763835907e-06, 6.303191184997559e-06, 6.573274731636047e-06, 6.843358278274536e-06, 7.113441824913025e-06, 7.383525371551514e-06, 7.653608918190002e-06, 7.923692464828491e-06, 8.19377601146698e-06, 8.463859558105469e-06]}, "gradients/encoder.encoder.layers.4.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 5.0, 1.0, 3.0, 3.0, 3.0, 2.0, 5.0, 9.0, 7.0, 8.0, 11.0, 12.0, 8.0, 9.0, 18.0, 25.0, 30.0, 24.0, 12.0, 29.0, 34.0, 38.0, 35.0, 32.0, 38.0, 43.0, 45.0, 39.0, 32.0, 46.0, 38.0, 35.0, 28.0, 26.0, 25.0, 32.0, 26.0, 22.0, 18.0, 13.0, 22.0, 20.0, 21.0, 12.0, 10.0, 8.0, 8.0, 6.0, 10.0, 3.0, 3.0, 4.0, 3.0, 6.0, 4.0, 2.0, 2.0, 2.0, 2.0, 0.0, 1.0], "bins": [-7.212162017822266e-06, -6.979331374168396e-06, -6.746500730514526e-06, -6.513670086860657e-06, -6.280839443206787e-06, -6.0480087995529175e-06, -5.815178155899048e-06, -5.582347512245178e-06, -5.349516868591309e-06, -5.116686224937439e-06, -4.883855581283569e-06, -4.6510249376297e-06, -4.41819429397583e-06, -4.1853636503219604e-06, -3.952533006668091e-06, -3.719702363014221e-06, -3.4868717193603516e-06, -3.254041075706482e-06, -3.0212104320526123e-06, -2.7883797883987427e-06, -2.555549144744873e-06, -2.3227185010910034e-06, -2.089887857437134e-06, -1.8570572137832642e-06, -1.6242265701293945e-06, -1.391395926475525e-06, -1.1585652828216553e-06, -9.257346391677856e-07, -6.92903995513916e-07, -4.600733518600464e-07, -2.2724270820617676e-07, 5.587935447692871e-09, 2.384185791015625e-07, 4.7124922275543213e-07, 7.040798664093018e-07, 9.369105100631714e-07, 1.169741153717041e-06, 1.4025717973709106e-06, 1.6354024410247803e-06, 1.86823308467865e-06, 2.1010637283325195e-06, 2.333894371986389e-06, 2.566725015640259e-06, 2.7995556592941284e-06, 3.032386302947998e-06, 3.2652169466018677e-06, 3.4980475902557373e-06, 3.730878233909607e-06, 3.9637088775634766e-06, 4.196539521217346e-06, 4.429370164871216e-06, 4.6622008085250854e-06, 4.895031452178955e-06, 5.127862095832825e-06, 5.360692739486694e-06, 5.593523383140564e-06, 5.826354026794434e-06, 6.059184670448303e-06, 6.292015314102173e-06, 6.5248459577560425e-06, 6.757676601409912e-06, 6.990507245063782e-06, 7.223337888717651e-06, 7.456168532371521e-06, 7.68899917602539e-06]}, "gradients/encoder.encoder.layers.4.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 3.0, 2.0, 3.0, 5.0, 15.0, 10.0, 23.0, 33.0, 85.0, 91.0, 121.0, 200.0, 259.0, 368.0, 659.0, 909.0, 1401.0, 2207.0, 3284.0, 9115.0, 12000.0, 23553.0, 57425.0, 218247.0, 539546.0, 103033.0, 35748.0, 16357.0, 8918.0, 7216.0, 2616.0, 1702.0, 1134.0, 737.0, 494.0, 346.0, 239.0, 144.0, 105.0, 74.0, 52.0, 28.0, 22.0, 14.0, 9.0, 3.0, 2.0, 4.0, 4.0, 1.0, 4.0], "bins": [-4.649162292480469e-06, -4.524365067481995e-06, -4.3995678424835205e-06, -4.274770617485046e-06, -4.149973392486572e-06, -4.025176167488098e-06, -3.900378942489624e-06, -3.77558171749115e-06, -3.6507844924926758e-06, -3.5259872674942017e-06, -3.4011900424957275e-06, -3.2763928174972534e-06, -3.1515955924987793e-06, -3.026798367500305e-06, -2.902001142501831e-06, -2.777203917503357e-06, -2.652406692504883e-06, -2.5276094675064087e-06, -2.4028122425079346e-06, -2.2780150175094604e-06, -2.1532177925109863e-06, -2.028420567512512e-06, -1.903623342514038e-06, -1.778826117515564e-06, -1.6540288925170898e-06, -1.5292316675186157e-06, -1.4044344425201416e-06, -1.2796372175216675e-06, -1.1548399925231934e-06, -1.0300427675247192e-06, -9.052455425262451e-07, -7.80448317527771e-07, -6.556510925292969e-07, -5.308538675308228e-07, -4.0605664253234863e-07, -2.812594175338745e-07, -1.564621925354004e-07, -3.166496753692627e-08, 9.313225746154785e-08, 2.1792948246002197e-07, 3.427267074584961e-07, 4.675239324569702e-07, 5.923211574554443e-07, 7.171183824539185e-07, 8.419156074523926e-07, 9.667128324508667e-07, 1.0915100574493408e-06, 1.216307282447815e-06, 1.341104507446289e-06, 1.4659017324447632e-06, 1.5906989574432373e-06, 1.7154961824417114e-06, 1.8402934074401855e-06, 1.9650906324386597e-06, 2.089887857437134e-06, 2.214685082435608e-06, 2.339482307434082e-06, 2.464279532432556e-06, 2.5890767574310303e-06, 2.7138739824295044e-06, 2.8386712074279785e-06, 2.9634684324264526e-06, 3.0882656574249268e-06, 3.213062882423401e-06, 3.337860107421875e-06]}, "gradients/encoder.encoder.layers.4.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 4.0, 1.0, 1.0, 0.0, 4.0, 1.0, 4.0, 5.0, 7.0, 3.0, 7.0, 3.0, 5.0, 1.0, 11.0, 6.0, 20.0, 15.0, 22.0, 22.0, 48.0, 45.0, 85.0, 58.0, 165.0, 82.0, 122.0, 40.0, 63.0, 23.0, 39.0, 12.0, 13.0, 7.0, 15.0, 4.0, 11.0, 5.0, 9.0, 1.0, 7.0, 5.0, 5.0, 0.0, 2.0, 2.0, 4.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.9206275939941406e-06, -2.8312206268310547e-06, -2.7418136596679688e-06, -2.652406692504883e-06, -2.562999725341797e-06, -2.473592758178711e-06, -2.384185791015625e-06, -2.294778823852539e-06, -2.205371856689453e-06, -2.115964889526367e-06, -2.0265579223632812e-06, -1.9371509552001953e-06, -1.8477439880371094e-06, -1.7583370208740234e-06, -1.6689300537109375e-06, -1.5795230865478516e-06, -1.4901161193847656e-06, -1.4007091522216797e-06, -1.3113021850585938e-06, -1.2218952178955078e-06, -1.1324882507324219e-06, -1.043081283569336e-06, -9.5367431640625e-07, -8.642673492431641e-07, -7.748603820800781e-07, -6.854534149169922e-07, -5.960464477539062e-07, -5.066394805908203e-07, -4.172325134277344e-07, -3.2782554626464844e-07, -2.384185791015625e-07, -1.4901161193847656e-07, -5.960464477539063e-08, 2.9802322387695312e-08, 1.1920928955078125e-07, 2.086162567138672e-07, 2.980232238769531e-07, 3.8743019104003906e-07, 4.76837158203125e-07, 5.662441253662109e-07, 6.556510925292969e-07, 7.450580596923828e-07, 8.344650268554688e-07, 9.238719940185547e-07, 1.0132789611816406e-06, 1.1026859283447266e-06, 1.1920928955078125e-06, 1.2814998626708984e-06, 1.3709068298339844e-06, 1.4603137969970703e-06, 1.5497207641601562e-06, 1.6391277313232422e-06, 1.7285346984863281e-06, 1.817941665649414e-06, 1.9073486328125e-06, 1.996755599975586e-06, 2.086162567138672e-06, 2.175569534301758e-06, 2.2649765014648438e-06, 2.3543834686279297e-06, 2.4437904357910156e-06, 2.5331974029541016e-06, 2.6226043701171875e-06, 2.7120113372802734e-06, 2.8014183044433594e-06]}, "gradients/encoder.encoder.layers.4.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 4.0, 5.0, 4.0, 9.0, 5.0, 13.0, 24.0, 22.0, 58.0, 32.0, 102.0, 62.0, 84.0, 248.0, 182.0, 485.0, 383.0, 1172.0, 791.0, 2472.0, 1852.0, 2499.0, 7964.0, 6227.0, 20577.0, 18229.0, 81851.0, 136084.0, 485840.0, 189248.0, 28796.0, 30121.0, 8330.0, 10856.0, 3239.0, 4369.0, 1443.0, 1110.0, 1512.0, 504.0, 689.0, 238.0, 297.0, 111.0, 82.0, 112.0, 39.0, 82.0, 27.0, 31.0, 14.0, 22.0, 5.0, 3.0, 6.0, 2.0, 3.0, 0.0, 1.0, 0.0, 2.0], "bins": [-2.682209014892578e-06, -2.596527338027954e-06, -2.51084566116333e-06, -2.425163984298706e-06, -2.339482307434082e-06, -2.253800630569458e-06, -2.168118953704834e-06, -2.08243727684021e-06, -1.996755599975586e-06, -1.911073923110962e-06, -1.8253922462463379e-06, -1.7397105693817139e-06, -1.6540288925170898e-06, -1.5683472156524658e-06, -1.4826655387878418e-06, -1.3969838619232178e-06, -1.3113021850585938e-06, -1.2256205081939697e-06, -1.1399388313293457e-06, -1.0542571544647217e-06, -9.685754776000977e-07, -8.828938007354736e-07, -7.972121238708496e-07, -7.115304470062256e-07, -6.258487701416016e-07, -5.401670932769775e-07, -4.544854164123535e-07, -3.688037395477295e-07, -2.8312206268310547e-07, -1.9744038581848145e-07, -1.1175870895385742e-07, -2.60770320892334e-08, 5.960464477539063e-08, 1.4528632164001465e-07, 2.3096799850463867e-07, 3.166496753692627e-07, 4.023313522338867e-07, 4.880130290985107e-07, 5.736947059631348e-07, 6.593763828277588e-07, 7.450580596923828e-07, 8.307397365570068e-07, 9.164214134216309e-07, 1.0021030902862549e-06, 1.087784767150879e-06, 1.173466444015503e-06, 1.259148120880127e-06, 1.344829797744751e-06, 1.430511474609375e-06, 1.516193151473999e-06, 1.601874828338623e-06, 1.687556505203247e-06, 1.773238182067871e-06, 1.8589198589324951e-06, 1.944601535797119e-06, 2.030283212661743e-06, 2.115964889526367e-06, 2.201646566390991e-06, 2.2873282432556152e-06, 2.3730099201202393e-06, 2.4586915969848633e-06, 2.5443732738494873e-06, 2.6300549507141113e-06, 2.7157366275787354e-06, 2.8014183044433594e-06]}, "gradients/encoder.encoder.layers.4.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 2.0, 1.0, 4.0, 3.0, 8.0, 5.0, 9.0, 15.0, 9.0, 3.0, 13.0, 9.0, 10.0, 25.0, 11.0, 12.0, 47.0, 35.0, 51.0, 57.0, 225.0, 104.0, 66.0, 81.0, 27.0, 23.0, 35.0, 10.0, 9.0, 18.0, 10.0, 12.0, 22.0, 6.0, 4.0, 7.0, 8.0, 3.0, 3.0, 3.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.562999725341797e-06, -2.4847686290740967e-06, -2.4065375328063965e-06, -2.3283064365386963e-06, -2.250075340270996e-06, -2.171844244003296e-06, -2.0936131477355957e-06, -2.0153820514678955e-06, -1.9371509552001953e-06, -1.8589198589324951e-06, -1.780688762664795e-06, -1.7024576663970947e-06, -1.6242265701293945e-06, -1.5459954738616943e-06, -1.4677643775939941e-06, -1.389533281326294e-06, -1.3113021850585938e-06, -1.2330710887908936e-06, -1.1548399925231934e-06, -1.0766088962554932e-06, -9.98377799987793e-07, -9.201467037200928e-07, -8.419156074523926e-07, -7.636845111846924e-07, -6.854534149169922e-07, -6.07222318649292e-07, -5.289912223815918e-07, -4.507601261138916e-07, -3.725290298461914e-07, -2.942979335784912e-07, -2.1606683731079102e-07, -1.3783574104309082e-07, -5.960464477539063e-08, 1.862645149230957e-08, 9.685754776000977e-08, 1.7508864402770996e-07, 2.5331974029541016e-07, 3.3155083656311035e-07, 4.0978193283081055e-07, 4.880130290985107e-07, 5.662441253662109e-07, 6.444752216339111e-07, 7.227063179016113e-07, 8.009374141693115e-07, 8.791685104370117e-07, 9.57399606704712e-07, 1.0356307029724121e-06, 1.1138617992401123e-06, 1.1920928955078125e-06, 1.2703239917755127e-06, 1.3485550880432129e-06, 1.426786184310913e-06, 1.5050172805786133e-06, 1.5832483768463135e-06, 1.6614794731140137e-06, 1.7397105693817139e-06, 1.817941665649414e-06, 1.8961727619171143e-06, 1.9744038581848145e-06, 2.0526349544525146e-06, 2.130866050720215e-06, 2.209097146987915e-06, 2.2873282432556152e-06, 2.3655593395233154e-06, 2.4437904357910156e-06]}, "gradients/encoder.encoder.layers.4.layer_norm.weight": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 0.0, 4.0, 2.0, 1.0, 2.0, 2.0, 2.0, 2.0, 5.0, 1.0, 9.0, 6.0, 10.0, 11.0, 14.0, 11.0, 13.0, 9.0, 18.0, 28.0, 39.0, 39.0, 61.0, 80.0, 93.0, 186.0, 126.0, 82.0, 50.0, 34.0, 23.0, 14.0, 12.0, 11.0, 4.0, 2.0, 3.0, 2.0, 1.0, 0.0, 0.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.489615821512416e-05, -4.333831020630896e-05, -4.178046219749376e-05, -4.0222610550699756e-05, -3.8664762541884556e-05, -3.710691453306936e-05, -3.554906288627535e-05, -3.399121487746015e-05, -3.243336686864495e-05, -3.0875518859829754e-05, -2.931766903202515e-05, -2.7759819204220548e-05, -2.620197119540535e-05, -2.464412318659015e-05, -2.3086273358785547e-05, -2.1528423530980945e-05, -1.9970575522165745e-05, -1.8412727513350546e-05, -1.6854877685545944e-05, -1.529702785774134e-05, -1.3739179848926142e-05, -1.2181330930616241e-05, -1.062348201230634e-05, -9.065633093996439e-06, -7.507784175686538e-06, -5.949935257376637e-06, -4.392086339066736e-06, -2.8342374207568355e-06, -1.2763885024469346e-06, 2.8146041586296633e-07, 1.8393093341728672e-06, 3.397158252482768e-06, 4.955010808771476e-06, 6.512859727081377e-06, 8.070708645391278e-06, 9.628557563701179e-06, 1.118640648201108e-05, 1.274425540032098e-05, 1.4302104318630882e-05, 1.5859954146435484e-05, 1.7417802155250683e-05, 1.8975650164065883e-05, 2.0533499991870485e-05, 2.2091349819675088e-05, 2.3649197828490287e-05, 2.5207045837305486e-05, 2.676489566511009e-05, 2.832274549291469e-05, 2.988059350172989e-05, 3.143844151054509e-05, 3.2996293157339096e-05, 3.4554141166154295e-05, 3.6111989174969494e-05, 3.7669837183784693e-05, 3.922768519259989e-05, 4.07855368393939e-05, 4.23433848482091e-05, 4.39012328570243e-05, 4.54590845038183e-05, 4.70169325126335e-05, 4.85747805214487e-05, 5.01326285302639e-05, 5.16904765390791e-05, 5.3248328185873106e-05, 5.4806176194688305e-05]}, "gradients/encoder.encoder.layers.4.layer_norm.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 1.0, 2.0, 7.0, 3.0, 9.0, 5.0, 9.0, 8.0, 6.0, 3.0, 9.0, 12.0, 10.0, 18.0, 15.0, 28.0, 28.0, 27.0, 31.0, 33.0, 35.0, 41.0, 36.0, 23.0, 28.0, 38.0, 41.0, 43.0, 19.0, 30.0, 37.0, 31.0, 28.0, 33.0, 33.0, 18.0, 26.0, 23.0, 24.0, 18.0, 25.0, 10.0, 15.0, 13.0, 9.0, 15.0, 8.0, 12.0, 7.0, 7.0, 5.0, 4.0, 6.0, 3.0, 3.0, 4.0, 1.0, 0.0, 2.0, 0.0, 2.0], "bins": [-2.3126602172851562e-05, -2.2375956177711487e-05, -2.162531018257141e-05, -2.0874664187431335e-05, -2.012401819229126e-05, -1.9373372197151184e-05, -1.862272620201111e-05, -1.7872080206871033e-05, -1.7121434211730957e-05, -1.637078821659088e-05, -1.5620142221450806e-05, -1.486949622631073e-05, -1.4118850231170654e-05, -1.3368204236030579e-05, -1.2617558240890503e-05, -1.1866912245750427e-05, -1.1116266250610352e-05, -1.0365620255470276e-05, -9.6149742603302e-06, -8.864328265190125e-06, -8.113682270050049e-06, -7.363036274909973e-06, -6.6123902797698975e-06, -5.861744284629822e-06, -5.111098289489746e-06, -4.36045229434967e-06, -3.6098062992095947e-06, -2.859160304069519e-06, -2.1085143089294434e-06, -1.3578683137893677e-06, -6.07222318649292e-07, 1.434236764907837e-07, 8.940696716308594e-07, 1.644715666770935e-06, 2.3953616619110107e-06, 3.1460076570510864e-06, 3.896653652191162e-06, 4.647299647331238e-06, 5.3979456424713135e-06, 6.148591637611389e-06, 6.899237632751465e-06, 7.64988362789154e-06, 8.400529623031616e-06, 9.151175618171692e-06, 9.901821613311768e-06, 1.0652467608451843e-05, 1.1403113603591919e-05, 1.2153759598731995e-05, 1.290440559387207e-05, 1.3655051589012146e-05, 1.4405697584152222e-05, 1.5156343579292297e-05, 1.5906989574432373e-05, 1.665763556957245e-05, 1.7408281564712524e-05, 1.81589275598526e-05, 1.8909573554992676e-05, 1.966021955013275e-05, 2.0410865545272827e-05, 2.1161511540412903e-05, 2.191215753555298e-05, 2.2662803530693054e-05, 2.341344952583313e-05, 2.4164095520973206e-05, 2.491474151611328e-05]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 5.0, 1.0, 6.0, 7.0, 16.0, 13.0, 40.0, 47.0, 70.0, 103.0, 149.0, 214.0, 339.0, 458.0, 761.0, 1062.0, 1731.0, 2526.0, 4418.0, 7632.0, 12434.0, 25166.0, 46810.0, 116338.0, 2315900.0, 1462633.0, 93398.0, 46522.0, 22952.0, 13271.0, 7423.0, 4093.0, 2669.0, 1441.0, 1033.0, 678.0, 506.0, 368.0, 282.0, 181.0, 137.0, 109.0, 88.0, 61.0, 41.0, 39.0, 31.0, 31.0, 16.0, 10.0, 12.0, 7.0, 12.0, 4.0, 2.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.3365020751953125e-05, -2.2497959434986115e-05, -2.1630898118019104e-05, -2.0763836801052094e-05, -1.9896775484085083e-05, -1.9029714167118073e-05, -1.8162652850151062e-05, -1.729559153318405e-05, -1.642853021621704e-05, -1.556146889925003e-05, -1.469440758228302e-05, -1.382734626531601e-05, -1.2960284948348999e-05, -1.2093223631381989e-05, -1.1226162314414978e-05, -1.0359100997447968e-05, -9.492039680480957e-06, -8.624978363513947e-06, -7.757917046546936e-06, -6.8908557295799255e-06, -6.023794412612915e-06, -5.1567330956459045e-06, -4.289671778678894e-06, -3.4226104617118835e-06, -2.555549144744873e-06, -1.6884878277778625e-06, -8.21426510810852e-07, 4.563480615615845e-08, 9.126961231231689e-07, 1.7797574400901794e-06, 2.64681875705719e-06, 3.5138800740242004e-06, 4.380941390991211e-06, 5.2480027079582214e-06, 6.115064024925232e-06, 6.9821253418922424e-06, 7.849186658859253e-06, 8.716247975826263e-06, 9.583309292793274e-06, 1.0450370609760284e-05, 1.1317431926727295e-05, 1.2184493243694305e-05, 1.3051554560661316e-05, 1.3918615877628326e-05, 1.4785677194595337e-05, 1.5652738511562347e-05, 1.6519799828529358e-05, 1.738686114549637e-05, 1.825392246246338e-05, 1.912098377943039e-05, 1.99880450963974e-05, 2.085510641336441e-05, 2.172216773033142e-05, 2.258922904729843e-05, 2.3456290364265442e-05, 2.4323351681232452e-05, 2.5190412998199463e-05, 2.6057474315166473e-05, 2.6924535632133484e-05, 2.7791596949100494e-05, 2.8658658266067505e-05, 2.9525719583034515e-05, 3.0392780900001526e-05, 3.1259842216968536e-05, 3.212690353393555e-05]}, "gradients/encoder.encoder.layers.3.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 5.0, 5.0, 3.0, 3.0, 8.0, 3.0, 12.0, 20.0, 13.0, 24.0, 33.0, 34.0, 56.0, 71.0, 37.0, 79.0, 89.0, 52.0, 87.0, 75.0, 35.0, 56.0, 50.0, 25.0, 34.0, 29.0, 14.0, 19.0, 15.0, 4.0, 4.0, 2.0, 2.0, 4.0, 1.0, 2.0, 2.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.351139068603516e-06, -4.191882908344269e-06, -4.032626748085022e-06, -3.873370587825775e-06, -3.7141144275665283e-06, -3.5548582673072815e-06, -3.3956021070480347e-06, -3.236345946788788e-06, -3.077089786529541e-06, -2.917833626270294e-06, -2.7585774660110474e-06, -2.5993213057518005e-06, -2.4400651454925537e-06, -2.280808985233307e-06, -2.12155282497406e-06, -1.9622966647148132e-06, -1.8030405044555664e-06, -1.6437843441963196e-06, -1.4845281839370728e-06, -1.325272023677826e-06, -1.166015863418579e-06, -1.0067597031593323e-06, -8.475035429000854e-07, -6.882473826408386e-07, -5.289912223815918e-07, -3.6973506212234497e-07, -2.1047890186309814e-07, -5.122274160385132e-08, 1.0803341865539551e-07, 2.6728957891464233e-07, 4.2654573917388916e-07, 5.85801899433136e-07, 7.450580596923828e-07, 9.043142199516296e-07, 1.0635703802108765e-06, 1.2228265404701233e-06, 1.3820827007293701e-06, 1.541338860988617e-06, 1.7005950212478638e-06, 1.8598511815071106e-06, 2.0191073417663574e-06, 2.1783635020256042e-06, 2.337619662284851e-06, 2.496875822544098e-06, 2.6561319828033447e-06, 2.8153881430625916e-06, 2.9746443033218384e-06, 3.133900463581085e-06, 3.293156623840332e-06, 3.452412784099579e-06, 3.6116689443588257e-06, 3.7709251046180725e-06, 3.930181264877319e-06, 4.089437425136566e-06, 4.248693585395813e-06, 4.40794974565506e-06, 4.567205905914307e-06, 4.7264620661735535e-06, 4.8857182264328e-06, 5.044974386692047e-06, 5.204230546951294e-06, 5.363486707210541e-06, 5.522742867469788e-06, 5.6819990277290344e-06, 5.841255187988281e-06]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 8.0, 2.0, 9.0, 15.0, 15.0, 21.0, 54.0, 60.0, 117.0, 132.0, 179.0, 292.0, 352.0, 541.0, 973.0, 1224.0, 2165.0, 2675.0, 3821.0, 7357.0, 9200.0, 14142.0, 29633.0, 40817.0, 95759.0, 169822.0, 569115.0, 2695959.0, 275140.0, 113631.0, 70540.0, 31271.0, 22974.0, 11542.0, 7556.0, 6182.0, 3317.0, 2257.0, 1871.0, 1028.0, 842.0, 494.0, 348.0, 301.0, 167.0, 104.0, 95.0, 56.0, 47.0, 31.0, 17.0, 12.0, 10.0, 2.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-7.62939453125e-06, -7.368624210357666e-06, -7.107853889465332e-06, -6.847083568572998e-06, -6.586313247680664e-06, -6.32554292678833e-06, -6.064772605895996e-06, -5.804002285003662e-06, -5.543231964111328e-06, -5.282461643218994e-06, -5.02169132232666e-06, -4.760921001434326e-06, -4.500150680541992e-06, -4.239380359649658e-06, -3.978610038757324e-06, -3.7178397178649902e-06, -3.4570693969726562e-06, -3.1962990760803223e-06, -2.9355287551879883e-06, -2.6747584342956543e-06, -2.4139881134033203e-06, -2.1532177925109863e-06, -1.8924474716186523e-06, -1.6316771507263184e-06, -1.3709068298339844e-06, -1.1101365089416504e-06, -8.493661880493164e-07, -5.885958671569824e-07, -3.2782554626464844e-07, -6.705522537231445e-08, 1.9371509552001953e-07, 4.544854164123535e-07, 7.152557373046875e-07, 9.760260581970215e-07, 1.2367963790893555e-06, 1.4975666999816895e-06, 1.7583370208740234e-06, 2.0191073417663574e-06, 2.2798776626586914e-06, 2.5406479835510254e-06, 2.8014183044433594e-06, 3.0621886253356934e-06, 3.3229589462280273e-06, 3.5837292671203613e-06, 3.844499588012695e-06, 4.105269908905029e-06, 4.366040229797363e-06, 4.626810550689697e-06, 4.887580871582031e-06, 5.148351192474365e-06, 5.409121513366699e-06, 5.669891834259033e-06, 5.930662155151367e-06, 6.191432476043701e-06, 6.452202796936035e-06, 6.712973117828369e-06, 6.973743438720703e-06, 7.234513759613037e-06, 7.495284080505371e-06, 7.756054401397705e-06, 8.016824722290039e-06, 8.277595043182373e-06, 8.538365364074707e-06, 8.799135684967041e-06, 9.059906005859375e-06]}, "gradients/encoder.encoder.layers.3.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 3.0, 7.0, 1.0, 3.0, 9.0, 10.0, 3.0, 11.0, 16.0, 14.0, 28.0, 22.0, 23.0, 17.0, 32.0, 30.0, 41.0, 43.0, 49.0, 71.0, 87.0, 100.0, 184.0, 256.0, 543.0, 804.0, 645.0, 345.0, 133.0, 97.0, 75.0, 65.0, 54.0, 64.0, 32.0, 29.0, 22.0, 20.0, 19.0, 14.0, 10.0, 11.0, 8.0, 5.0, 8.0, 6.0, 3.0, 3.0, 1.0, 4.0, 0.0, 1.0, 2.0, 2.0, 0.0, 1.0, 2.0], "bins": [-8.106231689453125e-06, -7.857568562030792e-06, -7.6089054346084595e-06, -7.360242307186127e-06, -7.111579179763794e-06, -6.862916052341461e-06, -6.614252924919128e-06, -6.365589797496796e-06, -6.116926670074463e-06, -5.86826354265213e-06, -5.619600415229797e-06, -5.370937287807465e-06, -5.122274160385132e-06, -4.873611032962799e-06, -4.624947905540466e-06, -4.3762847781181335e-06, -4.127621650695801e-06, -3.878958523273468e-06, -3.6302953958511353e-06, -3.3816322684288025e-06, -3.1329691410064697e-06, -2.884306013584137e-06, -2.635642886161804e-06, -2.3869797587394714e-06, -2.1383166313171387e-06, -1.889653503894806e-06, -1.6409903764724731e-06, -1.3923272490501404e-06, -1.1436641216278076e-06, -8.950009942054749e-07, -6.463378667831421e-07, -3.976747393608093e-07, -1.4901161193847656e-07, 9.96515154838562e-08, 3.4831464290618896e-07, 5.969777703285217e-07, 8.456408977508545e-07, 1.0943040251731873e-06, 1.34296715259552e-06, 1.5916302800178528e-06, 1.8402934074401855e-06, 2.0889565348625183e-06, 2.337619662284851e-06, 2.586282789707184e-06, 2.8349459171295166e-06, 3.0836090445518494e-06, 3.332272171974182e-06, 3.580935299396515e-06, 3.829598426818848e-06, 4.07826155424118e-06, 4.326924681663513e-06, 4.575587809085846e-06, 4.824250936508179e-06, 5.0729140639305115e-06, 5.321577191352844e-06, 5.570240318775177e-06, 5.81890344619751e-06, 6.0675665736198425e-06, 6.316229701042175e-06, 6.564892828464508e-06, 6.813555955886841e-06, 7.062219083309174e-06, 7.310882210731506e-06, 7.559545338153839e-06, 7.808208465576172e-06]}, "gradients/encoder.encoder.layers.3.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 4.0, 2.0, 3.0, 1.0, 1.0, 5.0, 11.0, 3.0, 6.0, 15.0, 22.0, 22.0, 25.0, 34.0, 39.0, 53.0, 87.0, 128.0, 151.0, 123.0, 80.0, 63.0, 42.0, 28.0, 16.0, 18.0, 6.0, 8.0, 4.0, 5.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-9.875615796772763e-05, -9.573193528922275e-05, -9.270771261071786e-05, -8.968348993221298e-05, -8.665925997775048e-05, -8.36350372992456e-05, -8.061081462074071e-05, -7.758659194223583e-05, -7.456236926373094e-05, -7.153814658522606e-05, -6.851392390672117e-05, -6.548970122821629e-05, -6.24654785497114e-05, -5.9441252233227715e-05, -5.6417025916744024e-05, -5.339280323823914e-05, -5.0368580559734255e-05, -4.734435788122937e-05, -4.4320135202724487e-05, -4.1295908886240795e-05, -3.827168620773591e-05, -3.524746352923103e-05, -3.2223237212747335e-05, -2.919901453424245e-05, -2.6174791855737567e-05, -2.3150569177232683e-05, -2.0126344679738395e-05, -1.7102120182244107e-05, -1.4077897503739223e-05, -1.1053673915739637e-05, -8.029450327740051e-06, -5.005225830245763e-06, -1.981003151740879e-06, 1.0432204362587072e-06, 4.067444024258293e-06, 7.091667612257879e-06, 1.0115891200257465e-05, 1.3140114788257051e-05, 1.6164338376256637e-05, 1.9188562873750925e-05, 2.221278555225581e-05, 2.5237008230760694e-05, 2.826123272825498e-05, 3.128545722574927e-05, 3.430967990425415e-05, 3.733390258275904e-05, 4.035812889924273e-05, 4.338235157774761e-05, 4.64065742562525e-05, 4.943079693475738e-05, 5.2455019613262266e-05, 5.547924592974596e-05, 5.850346860825084e-05, 6.152769492473453e-05, 6.455191760323942e-05, 6.75761402817443e-05, 7.060036296024919e-05, 7.362458563875407e-05, 7.664880831725895e-05, 7.967303099576384e-05, 8.269725367426872e-05, 8.572148362873122e-05, 8.87457063072361e-05, 9.176992898574099e-05, 9.479415166424587e-05]}, "gradients/encoder.encoder.layers.3.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 5.0, 9.0, 7.0, 11.0, 13.0, 10.0, 13.0, 21.0, 21.0, 32.0, 21.0, 32.0, 36.0, 43.0, 50.0, 33.0, 50.0, 46.0, 48.0, 42.0, 34.0, 56.0, 43.0, 47.0, 37.0, 47.0, 37.0, 34.0, 21.0, 21.0, 16.0, 16.0, 10.0, 14.0, 11.0, 13.0, 6.0, 4.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-5.036592483520508e-05, -4.898384213447571e-05, -4.760175943374634e-05, -4.621967673301697e-05, -4.48375940322876e-05, -4.345551133155823e-05, -4.207342863082886e-05, -4.069134593009949e-05, -3.930926322937012e-05, -3.792718052864075e-05, -3.654509782791138e-05, -3.516301512718201e-05, -3.378093242645264e-05, -3.2398849725723267e-05, -3.1016767024993896e-05, -2.9634684324264526e-05, -2.8252601623535156e-05, -2.6870518922805786e-05, -2.5488436222076416e-05, -2.4106353521347046e-05, -2.2724270820617676e-05, -2.1342188119888306e-05, -1.9960105419158936e-05, -1.8578022718429565e-05, -1.7195940017700195e-05, -1.5813857316970825e-05, -1.4431774616241455e-05, -1.3049691915512085e-05, -1.1667609214782715e-05, -1.0285526514053345e-05, -8.903443813323975e-06, -7.5213611125946045e-06, -6.139278411865234e-06, -4.757195711135864e-06, -3.375113010406494e-06, -1.993030309677124e-06, -6.109476089477539e-07, 7.711350917816162e-07, 2.1532177925109863e-06, 3.5353004932403564e-06, 4.9173831939697266e-06, 6.299465894699097e-06, 7.681548595428467e-06, 9.063631296157837e-06, 1.0445713996887207e-05, 1.1827796697616577e-05, 1.3209879398345947e-05, 1.4591962099075317e-05, 1.5974044799804688e-05, 1.7356127500534058e-05, 1.8738210201263428e-05, 2.0120292901992798e-05, 2.1502375602722168e-05, 2.2884458303451538e-05, 2.4266541004180908e-05, 2.564862370491028e-05, 2.703070640563965e-05, 2.841278910636902e-05, 2.979487180709839e-05, 3.117695450782776e-05, 3.255903720855713e-05, 3.39411199092865e-05, 3.532320261001587e-05, 3.670528531074524e-05, 3.808736801147461e-05]}, "gradients/encoder.encoder.layers.3.attention.out_proj.weight": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 2.0, 2.0, 6.0, 4.0, 4.0, 11.0, 7.0, 14.0, 18.0, 24.0, 43.0, 61.0, 107.0, 163.0, 291.0, 471.0, 867.0, 1492.0, 2749.0, 5592.0, 10467.0, 22246.0, 56703.0, 149807.0, 530354.0, 160784.0, 57541.0, 25604.0, 10941.0, 5526.0, 2909.0, 1610.0, 851.0, 562.0, 268.0, 179.0, 96.0, 62.0, 47.0, 23.0, 14.0, 16.0, 8.0, 10.0, 3.0, 2.0, 1.0, 2.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.849102020263672e-05, -2.7456320822238922e-05, -2.6421621441841125e-05, -2.538692206144333e-05, -2.4352222681045532e-05, -2.3317523300647736e-05, -2.228282392024994e-05, -2.1248124539852142e-05, -2.0213425159454346e-05, -1.917872577905655e-05, -1.8144026398658752e-05, -1.7109327018260956e-05, -1.607462763786316e-05, -1.5039928257465363e-05, -1.4005228877067566e-05, -1.297052949666977e-05, -1.1935830116271973e-05, -1.0901130735874176e-05, -9.86643135547638e-06, -8.831731975078583e-06, -7.797032594680786e-06, -6.7623332142829895e-06, -5.727633833885193e-06, -4.692934453487396e-06, -3.6582350730895996e-06, -2.623535692691803e-06, -1.5888363122940063e-06, -5.541369318962097e-07, 4.805624485015869e-07, 1.5152618288993835e-06, 2.54996120929718e-06, 3.584660589694977e-06, 4.6193599700927734e-06, 5.65405935049057e-06, 6.688758730888367e-06, 7.723458111286163e-06, 8.75815749168396e-06, 9.792856872081757e-06, 1.0827556252479553e-05, 1.186225563287735e-05, 1.2896955013275146e-05, 1.3931654393672943e-05, 1.496635377407074e-05, 1.6001053154468536e-05, 1.7035752534866333e-05, 1.807045191526413e-05, 1.9105151295661926e-05, 2.0139850676059723e-05, 2.117455005645752e-05, 2.2209249436855316e-05, 2.3243948817253113e-05, 2.427864819765091e-05, 2.5313347578048706e-05, 2.6348046958446503e-05, 2.73827463388443e-05, 2.8417445719242096e-05, 2.9452145099639893e-05, 3.048684448003769e-05, 3.1521543860435486e-05, 3.255624324083328e-05, 3.359094262123108e-05, 3.4625642001628876e-05, 3.566034138202667e-05, 3.669504076242447e-05, 3.7729740142822266e-05]}, "gradients/encoder.encoder.layers.3.attention.out_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 1.0, 5.0, 3.0, 5.0, 4.0, 9.0, 12.0, 13.0, 11.0, 22.0, 16.0, 35.0, 43.0, 39.0, 73.0, 38.0, 64.0, 54.0, 80.0, 50.0, 67.0, 43.0, 62.0, 37.0, 45.0, 31.0, 34.0, 30.0, 21.0, 21.0, 8.0, 10.0, 4.0, 5.0, 6.0, 6.0, 2.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.4570693969726562e-06, -3.3061951398849487e-06, -3.155320882797241e-06, -3.0044466257095337e-06, -2.853572368621826e-06, -2.7026981115341187e-06, -2.551823854446411e-06, -2.4009495973587036e-06, -2.250075340270996e-06, -2.0992010831832886e-06, -1.948326826095581e-06, -1.7974525690078735e-06, -1.646578311920166e-06, -1.4957040548324585e-06, -1.344829797744751e-06, -1.1939555406570435e-06, -1.043081283569336e-06, -8.922070264816284e-07, -7.413327693939209e-07, -5.904585123062134e-07, -4.3958425521850586e-07, -2.8870999813079834e-07, -1.3783574104309082e-07, 1.30385160446167e-08, 1.6391277313232422e-07, 3.1478703022003174e-07, 4.6566128730773926e-07, 6.165355443954468e-07, 7.674098014831543e-07, 9.182840585708618e-07, 1.0691583156585693e-06, 1.2200325727462769e-06, 1.3709068298339844e-06, 1.521781086921692e-06, 1.6726553440093994e-06, 1.823529601097107e-06, 1.9744038581848145e-06, 2.125278115272522e-06, 2.2761523723602295e-06, 2.427026629447937e-06, 2.5779008865356445e-06, 2.728775143623352e-06, 2.8796494007110596e-06, 3.030523657798767e-06, 3.1813979148864746e-06, 3.332272171974182e-06, 3.4831464290618896e-06, 3.634020686149597e-06, 3.7848949432373047e-06, 3.935769200325012e-06, 4.08664345741272e-06, 4.237517714500427e-06, 4.388391971588135e-06, 4.539266228675842e-06, 4.69014048576355e-06, 4.841014742851257e-06, 4.991888999938965e-06, 5.142763257026672e-06, 5.29363751411438e-06, 5.444511771202087e-06, 5.595386028289795e-06, 5.7462602853775024e-06, 5.89713454246521e-06, 6.0480087995529175e-06, 6.198883056640625e-06]}, "gradients/encoder.encoder.layers.3.attention.v_proj.weight": {"_type": "histogram", "values": [2.0, 2.0, 4.0, 3.0, 4.0, 15.0, 6.0, 19.0, 17.0, 34.0, 53.0, 74.0, 95.0, 168.0, 260.0, 305.0, 480.0, 700.0, 980.0, 1106.0, 2050.0, 2975.0, 3307.0, 5758.0, 8946.0, 10209.0, 19168.0, 31183.0, 39409.0, 85433.0, 183616.0, 309060.0, 152079.0, 74838.0, 42889.0, 21184.0, 17675.0, 11265.0, 6101.0, 5495.0, 3651.0, 2052.0, 1832.0, 1287.0, 725.0, 651.0, 448.0, 263.0, 232.0, 159.0, 109.0, 47.0, 52.0, 28.0, 17.0, 21.0, 11.0, 8.0, 9.0, 1.0, 1.0, 1.0, 3.0, 1.0], "bins": [-8.761882781982422e-06, -8.482486009597778e-06, -8.203089237213135e-06, -7.923692464828491e-06, -7.644295692443848e-06, -7.364898920059204e-06, -7.0855021476745605e-06, -6.806105375289917e-06, -6.5267086029052734e-06, -6.24731183052063e-06, -5.967915058135986e-06, -5.688518285751343e-06, -5.409121513366699e-06, -5.129724740982056e-06, -4.850327968597412e-06, -4.5709311962127686e-06, -4.291534423828125e-06, -4.0121376514434814e-06, -3.732740879058838e-06, -3.4533441066741943e-06, -3.1739473342895508e-06, -2.8945505619049072e-06, -2.6151537895202637e-06, -2.33575701713562e-06, -2.0563602447509766e-06, -1.776963472366333e-06, -1.4975666999816895e-06, -1.218169927597046e-06, -9.387731552124023e-07, -6.593763828277588e-07, -3.7997961044311523e-07, -1.0058283805847168e-07, 1.7881393432617188e-07, 4.5821070671081543e-07, 7.37607479095459e-07, 1.0170042514801025e-06, 1.296401023864746e-06, 1.5757977962493896e-06, 1.8551945686340332e-06, 2.1345913410186768e-06, 2.4139881134033203e-06, 2.693384885787964e-06, 2.9727816581726074e-06, 3.252178430557251e-06, 3.5315752029418945e-06, 3.810971975326538e-06, 4.090368747711182e-06, 4.369765520095825e-06, 4.649162292480469e-06, 4.928559064865112e-06, 5.207955837249756e-06, 5.487352609634399e-06, 5.766749382019043e-06, 6.0461461544036865e-06, 6.32554292678833e-06, 6.604939699172974e-06, 6.884336471557617e-06, 7.163733243942261e-06, 7.443130016326904e-06, 7.722526788711548e-06, 8.001923561096191e-06, 8.281320333480835e-06, 8.560717105865479e-06, 8.840113878250122e-06, 9.119510650634766e-06]}, "gradients/encoder.encoder.layers.3.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 4.0, 5.0, 4.0, 9.0, 9.0, 10.0, 10.0, 8.0, 9.0, 12.0, 5.0, 20.0, 14.0, 20.0, 28.0, 25.0, 38.0, 41.0, 27.0, 44.0, 36.0, 43.0, 49.0, 42.0, 54.0, 46.0, 34.0, 39.0, 34.0, 36.0, 24.0, 27.0, 34.0, 29.0, 12.0, 20.0, 11.0, 21.0, 18.0, 14.0, 8.0, 8.0, 5.0, 7.0, 7.0, 6.0, 5.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0], "bins": [-9.5367431640625e-06, -9.261071681976318e-06, -8.985400199890137e-06, -8.709728717803955e-06, -8.434057235717773e-06, -8.158385753631592e-06, -7.88271427154541e-06, -7.6070427894592285e-06, -7.331371307373047e-06, -7.055699825286865e-06, -6.780028343200684e-06, -6.504356861114502e-06, -6.22868537902832e-06, -5.953013896942139e-06, -5.677342414855957e-06, -5.401670932769775e-06, -5.125999450683594e-06, -4.850327968597412e-06, -4.5746564865112305e-06, -4.298985004425049e-06, -4.023313522338867e-06, -3.7476420402526855e-06, -3.471970558166504e-06, -3.1962990760803223e-06, -2.9206275939941406e-06, -2.644956111907959e-06, -2.3692846298217773e-06, -2.0936131477355957e-06, -1.817941665649414e-06, -1.5422701835632324e-06, -1.2665987014770508e-06, -9.909272193908691e-07, -7.152557373046875e-07, -4.3958425521850586e-07, -1.6391277313232422e-07, 1.1175870895385742e-07, 3.8743019104003906e-07, 6.631016731262207e-07, 9.387731552124023e-07, 1.214444637298584e-06, 1.4901161193847656e-06, 1.7657876014709473e-06, 2.041459083557129e-06, 2.3171305656433105e-06, 2.592802047729492e-06, 2.868473529815674e-06, 3.1441450119018555e-06, 3.419816493988037e-06, 3.6954879760742188e-06, 3.9711594581604e-06, 4.246830940246582e-06, 4.522502422332764e-06, 4.798173904418945e-06, 5.073845386505127e-06, 5.349516868591309e-06, 5.62518835067749e-06, 5.900859832763672e-06, 6.1765313148498535e-06, 6.452202796936035e-06, 6.727874279022217e-06, 7.0035457611083984e-06, 7.27921724319458e-06, 7.554888725280762e-06, 7.830560207366943e-06, 8.106231689453125e-06]}, "gradients/encoder.encoder.layers.3.attention.k_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 1.0, 2.0, 1.0, 4.0, 4.0, 2.0, 3.0, 7.0, 8.0, 7.0, 21.0, 25.0, 68.0, 74.0, 149.0, 219.0, 350.0, 768.0, 1144.0, 2961.0, 5100.0, 15348.0, 36624.0, 296370.0, 581628.0, 75787.0, 16830.0, 7216.0, 4057.0, 1570.0, 1058.0, 402.0, 323.0, 150.0, 105.0, 51.0, 41.0, 21.0, 24.0, 12.0, 12.0, 2.0, 6.0, 4.0, 3.0, 1.0, 0.0, 4.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.748603820800781e-06, -7.48317688703537e-06, -7.2177499532699585e-06, -6.952323019504547e-06, -6.686896085739136e-06, -6.421469151973724e-06, -6.156042218208313e-06, -5.890615284442902e-06, -5.62518835067749e-06, -5.359761416912079e-06, -5.0943344831466675e-06, -4.828907549381256e-06, -4.563480615615845e-06, -4.298053681850433e-06, -4.032626748085022e-06, -3.7671998143196106e-06, -3.5017728805541992e-06, -3.236345946788788e-06, -2.9709190130233765e-06, -2.705492079257965e-06, -2.4400651454925537e-06, -2.1746382117271423e-06, -1.909211277961731e-06, -1.6437843441963196e-06, -1.3783574104309082e-06, -1.1129304766654968e-06, -8.475035429000854e-07, -5.820766091346741e-07, -3.166496753692627e-07, -5.122274160385132e-08, 2.1420419216156006e-07, 4.796311259269714e-07, 7.450580596923828e-07, 1.0104849934577942e-06, 1.2759119272232056e-06, 1.541338860988617e-06, 1.8067657947540283e-06, 2.0721927285194397e-06, 2.337619662284851e-06, 2.6030465960502625e-06, 2.868473529815674e-06, 3.133900463581085e-06, 3.3993273973464966e-06, 3.664754331111908e-06, 3.930181264877319e-06, 4.195608198642731e-06, 4.461035132408142e-06, 4.7264620661735535e-06, 4.991888999938965e-06, 5.257315933704376e-06, 5.522742867469788e-06, 5.788169801235199e-06, 6.05359673500061e-06, 6.319023668766022e-06, 6.584450602531433e-06, 6.8498775362968445e-06, 7.115304470062256e-06, 7.380731403827667e-06, 7.646158337593079e-06, 7.91158527135849e-06, 8.177012205123901e-06, 8.442439138889313e-06, 8.707866072654724e-06, 8.973293006420135e-06, 9.238719940185547e-06]}, "gradients/encoder.encoder.layers.3.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 3.0, 0.0, 1.0, 4.0, 1.0, 4.0, 3.0, 7.0, 6.0, 4.0, 9.0, 5.0, 19.0, 14.0, 13.0, 37.0, 33.0, 73.0, 86.0, 140.0, 127.0, 93.0, 91.0, 41.0, 62.0, 21.0, 19.0, 29.0, 10.0, 13.0, 9.0, 9.0, 6.0, 4.0, 5.0, 2.0, 3.0, 1.0, 4.0, 1.0, 3.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.543231964111328e-06, -5.398876965045929e-06, -5.25452196598053e-06, -5.110166966915131e-06, -4.9658119678497314e-06, -4.821456968784332e-06, -4.677101969718933e-06, -4.532746970653534e-06, -4.388391971588135e-06, -4.244036972522736e-06, -4.0996819734573364e-06, -3.955326974391937e-06, -3.810971975326538e-06, -3.666616976261139e-06, -3.5222619771957397e-06, -3.3779069781303406e-06, -3.2335519790649414e-06, -3.0891969799995422e-06, -2.944841980934143e-06, -2.800486981868744e-06, -2.6561319828033447e-06, -2.5117769837379456e-06, -2.3674219846725464e-06, -2.2230669856071472e-06, -2.078711986541748e-06, -1.934356987476349e-06, -1.7900019884109497e-06, -1.6456469893455505e-06, -1.5012919902801514e-06, -1.3569369912147522e-06, -1.212581992149353e-06, -1.0682269930839539e-06, -9.238719940185547e-07, -7.795169949531555e-07, -6.351619958877563e-07, -4.908069968223572e-07, -3.46451997756958e-07, -2.0209699869155884e-07, -5.774199962615967e-08, 8.66129994392395e-08, 2.3096799850463867e-07, 3.7532299757003784e-07, 5.19677996635437e-07, 6.640329957008362e-07, 8.083879947662354e-07, 9.527429938316345e-07, 1.0970979928970337e-06, 1.2414529919624329e-06, 1.385807991027832e-06, 1.5301629900932312e-06, 1.6745179891586304e-06, 1.8188729882240295e-06, 1.9632279872894287e-06, 2.107582986354828e-06, 2.251937985420227e-06, 2.3962929844856262e-06, 2.5406479835510254e-06, 2.6850029826164246e-06, 2.8293579816818237e-06, 2.973712980747223e-06, 3.118067979812622e-06, 3.2624229788780212e-06, 3.4067779779434204e-06, 3.5511329770088196e-06, 3.6954879760742188e-06]}, "gradients/encoder.encoder.layers.3.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 4.0, 2.0, 1.0, 3.0, 9.0, 4.0, 11.0, 14.0, 13.0, 36.0, 32.0, 60.0, 59.0, 73.0, 168.0, 146.0, 202.0, 424.0, 402.0, 552.0, 1143.0, 1202.0, 1670.0, 3927.0, 4175.0, 10538.0, 12413.0, 21856.0, 79875.0, 202475.0, 504316.0, 126189.0, 29980.0, 16388.0, 13193.0, 5030.0, 4607.0, 1981.0, 1452.0, 1424.0, 605.0, 454.0, 468.0, 244.0, 181.0, 184.0, 97.0, 69.0, 70.0, 38.0, 37.0, 18.0, 13.0, 13.0, 7.0, 7.0, 9.0, 4.0, 3.0, 1.0, 2.0, 1.0], "bins": [-4.5299530029296875e-06, -4.38932329416275e-06, -4.248693585395813e-06, -4.108063876628876e-06, -3.9674341678619385e-06, -3.826804459095001e-06, -3.686174750328064e-06, -3.5455450415611267e-06, -3.4049153327941895e-06, -3.264285624027252e-06, -3.123655915260315e-06, -2.9830262064933777e-06, -2.8423964977264404e-06, -2.701766788959503e-06, -2.561137080192566e-06, -2.4205073714256287e-06, -2.2798776626586914e-06, -2.139247953891754e-06, -1.998618245124817e-06, -1.8579885363578796e-06, -1.7173588275909424e-06, -1.5767291188240051e-06, -1.4360994100570679e-06, -1.2954697012901306e-06, -1.1548399925231934e-06, -1.014210283756256e-06, -8.735805749893188e-07, -7.329508662223816e-07, -5.923211574554443e-07, -4.516914486885071e-07, -3.110617399215698e-07, -1.7043203115463257e-07, -2.9802322387695312e-08, 1.1082738637924194e-07, 2.514570951461792e-07, 3.9208680391311646e-07, 5.327165126800537e-07, 6.73346221446991e-07, 8.139759302139282e-07, 9.546056389808655e-07, 1.0952353477478027e-06, 1.23586505651474e-06, 1.3764947652816772e-06, 1.5171244740486145e-06, 1.6577541828155518e-06, 1.798383891582489e-06, 1.9390136003494263e-06, 2.0796433091163635e-06, 2.2202730178833008e-06, 2.360902726650238e-06, 2.5015324354171753e-06, 2.6421621441841125e-06, 2.78279185295105e-06, 2.923421561717987e-06, 3.0640512704849243e-06, 3.2046809792518616e-06, 3.345310688018799e-06, 3.485940396785736e-06, 3.6265701055526733e-06, 3.7671998143196106e-06, 3.907829523086548e-06, 4.048459231853485e-06, 4.189088940620422e-06, 4.32971864938736e-06, 4.470348358154297e-06]}, "gradients/encoder.encoder.layers.3.attention.q_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 0.0, 2.0, 2.0, 4.0, 2.0, 4.0, 3.0, 2.0, 8.0, 11.0, 5.0, 9.0, 14.0, 23.0, 18.0, 21.0, 22.0, 62.0, 35.0, 64.0, 89.0, 141.0, 158.0, 57.0, 48.0, 41.0, 41.0, 21.0, 14.0, 15.0, 13.0, 14.0, 5.0, 6.0, 4.0, 11.0, 4.0, 5.0, 4.0, 2.0, 3.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.172325134277344e-06, -4.040077328681946e-06, -3.907829523086548e-06, -3.77558171749115e-06, -3.643333911895752e-06, -3.511086106300354e-06, -3.378838300704956e-06, -3.246590495109558e-06, -3.11434268951416e-06, -2.982094883918762e-06, -2.8498470783233643e-06, -2.7175992727279663e-06, -2.5853514671325684e-06, -2.4531036615371704e-06, -2.3208558559417725e-06, -2.1886080503463745e-06, -2.0563602447509766e-06, -1.9241124391555786e-06, -1.7918646335601807e-06, -1.6596168279647827e-06, -1.5273690223693848e-06, -1.3951212167739868e-06, -1.2628734111785889e-06, -1.130625605583191e-06, -9.98377799987793e-07, -8.66129994392395e-07, -7.338821887969971e-07, -6.016343832015991e-07, -4.6938657760620117e-07, -3.371387720108032e-07, -2.0489096641540527e-07, -7.264316082000732e-08, 5.960464477539063e-08, 1.9185245037078857e-07, 3.241002559661865e-07, 4.5634806156158447e-07, 5.885958671569824e-07, 7.208436727523804e-07, 8.530914783477783e-07, 9.853392839431763e-07, 1.1175870895385742e-06, 1.2498348951339722e-06, 1.3820827007293701e-06, 1.514330506324768e-06, 1.646578311920166e-06, 1.778826117515564e-06, 1.911073923110962e-06, 2.04332172870636e-06, 2.175569534301758e-06, 2.3078173398971558e-06, 2.4400651454925537e-06, 2.5723129510879517e-06, 2.7045607566833496e-06, 2.8368085622787476e-06, 2.9690563678741455e-06, 3.1013041734695435e-06, 3.2335519790649414e-06, 3.3657997846603394e-06, 3.4980475902557373e-06, 3.6302953958511353e-06, 3.762543201446533e-06, 3.894791007041931e-06, 4.027038812637329e-06, 4.159286618232727e-06, 4.291534423828125e-06]}, "gradients/encoder.encoder.layers.3.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 0.0, 3.0, 1.0, 4.0, 4.0, 3.0, 8.0, 5.0, 13.0, 15.0, 19.0, 19.0, 29.0, 50.0, 64.0, 87.0, 144.0, 223.0, 129.0, 77.0, 37.0, 21.0, 15.0, 9.0, 10.0, 6.0, 5.0, 6.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-0.00010844963253475726, -0.00010599670349620283, -0.0001035437744576484, -0.00010109084541909397, -9.863791638053954e-05, -9.618498006602749e-05, -9.373205102747306e-05, -9.127912198891863e-05, -8.88261929503642e-05, -8.637326391180977e-05, -8.392033487325534e-05, -8.146740583470091e-05, -7.901446952018887e-05, -7.656154048163444e-05, -7.410861144308001e-05, -7.165568240452558e-05, -6.920275336597115e-05, -6.674982432741672e-05, -6.429689528886229e-05, -6.184396625030786e-05, -5.939103357377462e-05, -5.693810453522019e-05, -5.4485171858686954e-05, -5.2032242820132524e-05, -4.9579313781578094e-05, -4.7126384743023664e-05, -4.4673455704469234e-05, -4.2220523027936e-05, -3.976759398938157e-05, -3.731466495082714e-05, -3.48617322742939e-05, -3.240880323573947e-05, -2.9955877835163847e-05, -2.7502948796609417e-05, -2.5050017939065583e-05, -2.259708708152175e-05, -2.014415804296732e-05, -1.769122900441289e-05, -1.5238298146869056e-05, -1.2785367289325222e-05, -1.0332438250770792e-05, -7.87950830272166e-06, -5.426578354672529e-06, -2.973648406623397e-06, -5.207184585742652e-07, 1.9322114894748665e-06, 4.385141437523998e-06, 6.838072295067832e-06, 9.291001333622262e-06, 1.1743931281671394e-05, 1.4196861229720525e-05, 1.664979208726436e-05, 1.910272112581879e-05, 2.155565016437322e-05, 2.4008581021917053e-05, 2.6461511879460886e-05, 2.8914440918015316e-05, 3.1367369956569746e-05, 3.382030263310298e-05, 3.627323167165741e-05, 3.872616071021184e-05, 4.117908974876627e-05, 4.36320187873207e-05, 4.608495146385394e-05, 4.853788050240837e-05]}, "gradients/encoder.encoder.layers.3.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 3.0, 2.0, 1.0, 8.0, 6.0, 15.0, 19.0, 20.0, 31.0, 35.0, 34.0, 59.0, 52.0, 72.0, 79.0, 76.0, 76.0, 79.0, 92.0, 59.0, 40.0, 46.0, 28.0, 21.0, 11.0, 24.0, 9.0, 4.0, 6.0, 2.0, 2.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.69495964050293e-05, -7.500592619180679e-05, -7.306225597858429e-05, -7.111858576536179e-05, -6.917491555213928e-05, -6.723124533891678e-05, -6.528757512569427e-05, -6.334390491247177e-05, -6.140023469924927e-05, -5.9456564486026764e-05, -5.751289427280426e-05, -5.5569224059581757e-05, -5.362555384635925e-05, -5.168188363313675e-05, -4.9738213419914246e-05, -4.779454320669174e-05, -4.585087299346924e-05, -4.3907202780246735e-05, -4.196353256702423e-05, -4.001986235380173e-05, -3.8076192140579224e-05, -3.613252192735672e-05, -3.4188851714134216e-05, -3.224518150091171e-05, -3.030151128768921e-05, -2.8357841074466705e-05, -2.64141708612442e-05, -2.4470500648021698e-05, -2.2526830434799194e-05, -2.058316022157669e-05, -1.8639490008354187e-05, -1.6695819795131683e-05, -1.475214958190918e-05, -1.2808479368686676e-05, -1.0864809155464172e-05, -8.921138942241669e-06, -6.977468729019165e-06, -5.033798515796661e-06, -3.0901283025741577e-06, -1.146458089351654e-06, 7.972121238708496e-07, 2.7408823370933533e-06, 4.684552550315857e-06, 6.628222763538361e-06, 8.571892976760864e-06, 1.0515563189983368e-05, 1.2459233403205872e-05, 1.4402903616428375e-05, 1.634657382965088e-05, 1.8290244042873383e-05, 2.0233914256095886e-05, 2.217758446931839e-05, 2.4121254682540894e-05, 2.6064924895763397e-05, 2.80085951089859e-05, 2.9952265322208405e-05, 3.189593553543091e-05, 3.383960574865341e-05, 3.5783275961875916e-05, 3.772694617509842e-05, 3.967061638832092e-05, 4.1614286601543427e-05, 4.355795681476593e-05, 4.5501627027988434e-05, 4.744529724121094e-05]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.weight": {"_type": "histogram", "values": [4.0, 1.0, 1.0, 3.0, 1.0, 5.0, 5.0, 11.0, 8.0, 9.0, 11.0, 14.0, 18.0, 34.0, 43.0, 48.0, 81.0, 103.0, 148.0, 216.0, 284.0, 435.0, 636.0, 983.0, 1484.0, 2395.0, 3345.0, 5660.0, 9287.0, 15358.0, 25032.0, 49492.0, 98189.0, 242362.0, 3347880.0, 203749.0, 85894.0, 43174.0, 24796.0, 13440.0, 7500.0, 4149.0, 2662.0, 1740.0, 1094.0, 710.0, 501.0, 352.0, 237.0, 207.0, 139.0, 115.0, 56.0, 71.0, 35.0, 26.0, 19.0, 21.0, 9.0, 6.0, 6.0, 6.0, 0.0, 4.0], "bins": [-3.4332275390625e-05, -3.333482891321182e-05, -3.2337382435798645e-05, -3.133993595838547e-05, -3.034248948097229e-05, -2.9345043003559113e-05, -2.8347596526145935e-05, -2.7350150048732758e-05, -2.635270357131958e-05, -2.5355257093906403e-05, -2.4357810616493225e-05, -2.3360364139080048e-05, -2.236291766166687e-05, -2.1365471184253693e-05, -2.0368024706840515e-05, -1.9370578229427338e-05, -1.837313175201416e-05, -1.7375685274600983e-05, -1.6378238797187805e-05, -1.5380792319774628e-05, -1.438334584236145e-05, -1.3385899364948273e-05, -1.2388452887535095e-05, -1.1391006410121918e-05, -1.039355993270874e-05, -9.396113455295563e-06, -8.398666977882385e-06, -7.401220500469208e-06, -6.40377402305603e-06, -5.406327545642853e-06, -4.408881068229675e-06, -3.411434590816498e-06, -2.4139881134033203e-06, -1.4165416359901428e-06, -4.1909515857696533e-07, 5.783513188362122e-07, 1.5757977962493896e-06, 2.573244273662567e-06, 3.5706907510757446e-06, 4.568137228488922e-06, 5.5655837059021e-06, 6.563030183315277e-06, 7.560476660728455e-06, 8.557923138141632e-06, 9.55536961555481e-06, 1.0552816092967987e-05, 1.1550262570381165e-05, 1.2547709047794342e-05, 1.354515552520752e-05, 1.4542602002620697e-05, 1.5540048480033875e-05, 1.6537494957447052e-05, 1.753494143486023e-05, 1.8532387912273407e-05, 1.9529834389686584e-05, 2.0527280867099762e-05, 2.152472734451294e-05, 2.2522173821926117e-05, 2.3519620299339294e-05, 2.4517066776752472e-05, 2.551451325416565e-05, 2.6511959731578827e-05, 2.7509406208992004e-05, 2.8506852686405182e-05, 2.950429916381836e-05]}, "gradients/encoder.encoder.layers.2.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 3.0, 0.0, 3.0, 4.0, 10.0, 6.0, 11.0, 17.0, 13.0, 12.0, 21.0, 31.0, 45.0, 38.0, 80.0, 46.0, 68.0, 86.0, 54.0, 79.0, 62.0, 57.0, 35.0, 50.0, 55.0, 42.0, 11.0, 19.0, 15.0, 15.0, 3.0, 4.0, 4.0, 5.0, 3.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-5.662441253662109e-06, -5.49759715795517e-06, -5.33275306224823e-06, -5.16790896654129e-06, -5.003064870834351e-06, -4.838220775127411e-06, -4.673376679420471e-06, -4.5085325837135315e-06, -4.343688488006592e-06, -4.178844392299652e-06, -4.014000296592712e-06, -3.849156200885773e-06, -3.684312105178833e-06, -3.5194680094718933e-06, -3.3546239137649536e-06, -3.189779818058014e-06, -3.0249357223510742e-06, -2.8600916266441345e-06, -2.695247530937195e-06, -2.530403435230255e-06, -2.3655593395233154e-06, -2.2007152438163757e-06, -2.035871148109436e-06, -1.8710270524024963e-06, -1.7061829566955566e-06, -1.541338860988617e-06, -1.3764947652816772e-06, -1.2116506695747375e-06, -1.0468065738677979e-06, -8.819624781608582e-07, -7.171183824539185e-07, -5.522742867469788e-07, -3.8743019104003906e-07, -2.2258609533309937e-07, -5.774199962615967e-08, 1.0710209608078003e-07, 2.7194619178771973e-07, 4.367902874946594e-07, 6.016343832015991e-07, 7.664784789085388e-07, 9.313225746154785e-07, 1.0961666703224182e-06, 1.261010766029358e-06, 1.4258548617362976e-06, 1.5906989574432373e-06, 1.755543053150177e-06, 1.9203871488571167e-06, 2.0852312445640564e-06, 2.250075340270996e-06, 2.414919435977936e-06, 2.5797635316848755e-06, 2.744607627391815e-06, 2.909451723098755e-06, 3.0742958188056946e-06, 3.2391399145126343e-06, 3.403984010219574e-06, 3.5688281059265137e-06, 3.7336722016334534e-06, 3.898516297340393e-06, 4.063360393047333e-06, 4.2282044887542725e-06, 4.393048584461212e-06, 4.557892680168152e-06, 4.7227367758750916e-06, 4.887580871582031e-06]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 2.0, 2.0, 2.0, 2.0, 7.0, 7.0, 9.0, 14.0, 15.0, 40.0, 45.0, 70.0, 111.0, 129.0, 208.0, 339.0, 463.0, 625.0, 1111.0, 1484.0, 2168.0, 4101.0, 5567.0, 8598.0, 17638.0, 25288.0, 42813.0, 100382.0, 184219.0, 645904.0, 2615173.0, 272585.0, 115755.0, 67539.0, 30680.0, 18187.0, 13064.0, 6742.0, 4258.0, 3300.0, 1845.0, 1200.0, 929.0, 513.0, 358.0, 259.0, 154.0, 122.0, 97.0, 44.0, 40.0, 35.0, 13.0, 13.0, 13.0, 7.0, 4.0, 2.0, 2.0, 0.0, 5.0], "bins": [-1.055002212524414e-05, -1.0232441127300262e-05, -9.914860129356384e-06, -9.597279131412506e-06, -9.279698133468628e-06, -8.96211713552475e-06, -8.644536137580872e-06, -8.326955139636993e-06, -8.009374141693115e-06, -7.691793143749237e-06, -7.374212145805359e-06, -7.056631147861481e-06, -6.7390501499176025e-06, -6.421469151973724e-06, -6.103888154029846e-06, -5.786307156085968e-06, -5.46872615814209e-06, -5.151145160198212e-06, -4.8335641622543335e-06, -4.515983164310455e-06, -4.198402166366577e-06, -3.880821168422699e-06, -3.563240170478821e-06, -3.2456591725349426e-06, -2.9280781745910645e-06, -2.6104971766471863e-06, -2.292916178703308e-06, -1.97533518075943e-06, -1.6577541828155518e-06, -1.3401731848716736e-06, -1.0225921869277954e-06, -7.050111889839172e-07, -3.8743019104003906e-07, -6.984919309616089e-08, 2.477318048477173e-07, 5.653128027915955e-07, 8.828938007354736e-07, 1.2004747986793518e-06, 1.51805579662323e-06, 1.8356367945671082e-06, 2.1532177925109863e-06, 2.4707987904548645e-06, 2.7883797883987427e-06, 3.105960786342621e-06, 3.423541784286499e-06, 3.741122782230377e-06, 4.058703780174255e-06, 4.3762847781181335e-06, 4.693865776062012e-06, 5.01144677400589e-06, 5.329027771949768e-06, 5.646608769893646e-06, 5.964189767837524e-06, 6.281770765781403e-06, 6.599351763725281e-06, 6.916932761669159e-06, 7.234513759613037e-06, 7.552094757556915e-06, 7.869675755500793e-06, 8.187256753444672e-06, 8.50483775138855e-06, 8.822418749332428e-06, 9.139999747276306e-06, 9.457580745220184e-06, 9.775161743164062e-06]}, "gradients/encoder.encoder.layers.2.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 3.0, 7.0, 3.0, 2.0, 7.0, 4.0, 11.0, 15.0, 8.0, 19.0, 29.0, 14.0, 31.0, 28.0, 32.0, 43.0, 49.0, 51.0, 55.0, 67.0, 105.0, 129.0, 138.0, 324.0, 654.0, 695.0, 563.0, 258.0, 121.0, 114.0, 74.0, 75.0, 76.0, 44.0, 52.0, 27.0, 25.0, 29.0, 23.0, 9.0, 9.0, 16.0, 7.0, 10.0, 6.0, 5.0, 6.0, 2.0, 4.0, 3.0, 2.0, 4.0, 3.0, 0.0, 1.0, 2.0], "bins": [-9.238719940185547e-06, -8.96211713552475e-06, -8.685514330863953e-06, -8.408911526203156e-06, -8.132308721542358e-06, -7.855705916881561e-06, -7.579103112220764e-06, -7.302500307559967e-06, -7.02589750289917e-06, -6.749294698238373e-06, -6.472691893577576e-06, -6.1960890889167786e-06, -5.9194862842559814e-06, -5.642883479595184e-06, -5.366280674934387e-06, -5.08967787027359e-06, -4.813075065612793e-06, -4.536472260951996e-06, -4.259869456291199e-06, -3.983266651630402e-06, -3.7066638469696045e-06, -3.4300610423088074e-06, -3.1534582376480103e-06, -2.876855432987213e-06, -2.600252628326416e-06, -2.323649823665619e-06, -2.0470470190048218e-06, -1.7704442143440247e-06, -1.4938414096832275e-06, -1.2172386050224304e-06, -9.406358003616333e-07, -6.640329957008362e-07, -3.8743019104003906e-07, -1.1082738637924194e-07, 1.6577541828155518e-07, 4.423782229423523e-07, 7.189810276031494e-07, 9.955838322639465e-07, 1.2721866369247437e-06, 1.5487894415855408e-06, 1.8253922462463379e-06, 2.101995050907135e-06, 2.378597855567932e-06, 2.6552006602287292e-06, 2.9318034648895264e-06, 3.2084062695503235e-06, 3.4850090742111206e-06, 3.7616118788719177e-06, 4.038214683532715e-06, 4.314817488193512e-06, 4.591420292854309e-06, 4.868023097515106e-06, 5.144625902175903e-06, 5.4212287068367004e-06, 5.6978315114974976e-06, 5.974434316158295e-06, 6.251037120819092e-06, 6.527639925479889e-06, 6.804242730140686e-06, 7.080845534801483e-06, 7.35744833946228e-06, 7.634051144123077e-06, 7.910653948783875e-06, 8.187256753444672e-06, 8.463859558105469e-06]}, "gradients/encoder.encoder.layers.2.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 3.0, 2.0, 10.0, 11.0, 14.0, 16.0, 19.0, 34.0, 51.0, 98.0, 154.0, 234.0, 150.0, 90.0, 48.0, 32.0, 22.0, 8.0, 6.0, 5.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001392823178321123, -0.00013280821440275759, -0.00012633411097340286, -0.00011986000754404813, -0.0001133859041146934, -0.00010691180068533868, -0.00010043769725598395, -9.396359382662922e-05, -8.74894903972745e-05, -8.101538696791977e-05, -7.454128353856504e-05, -6.806718010921031e-05, -6.159307667985559e-05, -5.511896961252205e-05, -4.8644866183167323e-05, -4.2170762753812596e-05, -3.569665568647906e-05, -2.9222552257124335e-05, -2.2748448827769607e-05, -1.6274343579425476e-05, -9.80024015007075e-06, -3.3261349017266184e-06, 3.147968527628109e-06, 9.622071956982836e-06, 1.6096175386337563e-05, 2.257027881569229e-05, 2.9044382245047018e-05, 3.551848931238055e-05, 4.199259274173528e-05, 4.846669617109001e-05, 5.4940799600444734e-05, 6.141490302979946e-05, 6.788900645915419e-05, 7.436310988850892e-05, 8.083721331786364e-05, 8.731131674721837e-05, 9.37854201765731e-05, 0.00010025952360592782, 0.00010673362703528255, 0.00011320773046463728, 0.00011968183389399201, 0.00012615593732334673, 0.00013263004075270146, 0.0001391041441820562, 0.00014557824761141092, 0.00015205235104076564, 0.00015852645447012037, 0.0001650005578994751, 0.00017147467588074505, 0.00017794877931009978, 0.0001844228827394545, 0.00019089698616880924, 0.00019737108959816396, 0.0002038451930275187, 0.00021031929645687342, 0.00021679339988622814, 0.00022326750331558287, 0.0002297416067449376, 0.00023621571017429233, 0.00024268981360364705, 0.0002491639170330018, 0.00025563803501427174, 0.00026211212389171124, 0.0002685862418729812, 0.0002750603307504207]}, "gradients/encoder.encoder.layers.2.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 3.0, 7.0, 8.0, 7.0, 6.0, 7.0, 19.0, 14.0, 20.0, 23.0, 23.0, 22.0, 26.0, 28.0, 42.0, 35.0, 44.0, 37.0, 59.0, 45.0, 49.0, 43.0, 57.0, 45.0, 24.0, 38.0, 48.0, 27.0, 32.0, 23.0, 26.0, 16.0, 25.0, 13.0, 14.0, 11.0, 14.0, 7.0, 10.0, 4.0, 5.0, 2.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.743171691894531e-05, -3.6218203604221344e-05, -3.5004690289497375e-05, -3.379117697477341e-05, -3.257766366004944e-05, -3.136415034532547e-05, -3.01506370306015e-05, -2.8937123715877533e-05, -2.7723610401153564e-05, -2.6510097086429596e-05, -2.5296583771705627e-05, -2.408307045698166e-05, -2.286955714225769e-05, -2.1656043827533722e-05, -2.0442530512809753e-05, -1.9229017198085785e-05, -1.8015503883361816e-05, -1.6801990568637848e-05, -1.558847725391388e-05, -1.4374963939189911e-05, -1.3161450624465942e-05, -1.1947937309741974e-05, -1.0734423995018005e-05, -9.520910680294037e-06, -8.307397365570068e-06, -7.0938840508461e-06, -5.880370736122131e-06, -4.666857421398163e-06, -3.4533441066741943e-06, -2.239830791950226e-06, -1.0263174772262573e-06, 1.8719583749771118e-07, 1.4007091522216797e-06, 2.614222466945648e-06, 3.827735781669617e-06, 5.041249096393585e-06, 6.254762411117554e-06, 7.468275725841522e-06, 8.68178904056549e-06, 9.89530235528946e-06, 1.1108815670013428e-05, 1.2322328984737396e-05, 1.3535842299461365e-05, 1.4749355614185333e-05, 1.5962868928909302e-05, 1.717638224363327e-05, 1.838989555835724e-05, 1.9603408873081207e-05, 2.0816922187805176e-05, 2.2030435502529144e-05, 2.3243948817253113e-05, 2.445746213197708e-05, 2.567097544670105e-05, 2.688448876142502e-05, 2.8098002076148987e-05, 2.9311515390872955e-05, 3.0525028705596924e-05, 3.173854202032089e-05, 3.295205533504486e-05, 3.416556864976883e-05, 3.53790819644928e-05, 3.6592595279216766e-05, 3.7806108593940735e-05, 3.90196219086647e-05, 4.023313522338867e-05]}, "gradients/encoder.encoder.layers.2.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 5.0, 5.0, 10.0, 16.0, 15.0, 16.0, 29.0, 41.0, 53.0, 84.0, 133.0, 245.0, 247.0, 416.0, 660.0, 1026.0, 1654.0, 2448.0, 4275.0, 6609.0, 12753.0, 21847.0, 45455.0, 90706.0, 269032.0, 371705.0, 106785.0, 53335.0, 24614.0, 14176.0, 7579.0, 4829.0, 2636.0, 1805.0, 1093.0, 770.0, 449.0, 318.0, 241.0, 138.0, 112.0, 52.0, 33.0, 29.0, 24.0, 24.0, 16.0, 10.0, 3.0, 6.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0], "bins": [-2.7835369110107422e-05, -2.696830779314041e-05, -2.61012464761734e-05, -2.523418515920639e-05, -2.436712384223938e-05, -2.350006252527237e-05, -2.263300120830536e-05, -2.176593989133835e-05, -2.0898878574371338e-05, -2.0031817257404327e-05, -1.9164755940437317e-05, -1.8297694623470306e-05, -1.7430633306503296e-05, -1.6563571989536285e-05, -1.5696510672569275e-05, -1.4829449355602264e-05, -1.3962388038635254e-05, -1.3095326721668243e-05, -1.2228265404701233e-05, -1.1361204087734222e-05, -1.0494142770767212e-05, -9.627081453800201e-06, -8.760020136833191e-06, -7.89295881986618e-06, -7.02589750289917e-06, -6.1588361859321594e-06, -5.291774868965149e-06, -4.4247135519981384e-06, -3.557652235031128e-06, -2.6905909180641174e-06, -1.823529601097107e-06, -9.564682841300964e-07, -8.940696716308594e-08, 7.776543498039246e-07, 1.644715666770935e-06, 2.5117769837379456e-06, 3.378838300704956e-06, 4.2458996176719666e-06, 5.112960934638977e-06, 5.9800222516059875e-06, 6.847083568572998e-06, 7.714144885540009e-06, 8.581206202507019e-06, 9.44826751947403e-06, 1.031532883644104e-05, 1.118239015340805e-05, 1.2049451470375061e-05, 1.2916512787342072e-05, 1.3783574104309082e-05, 1.4650635421276093e-05, 1.5517696738243103e-05, 1.6384758055210114e-05, 1.7251819372177124e-05, 1.8118880689144135e-05, 1.8985942006111145e-05, 1.9853003323078156e-05, 2.0720064640045166e-05, 2.1587125957012177e-05, 2.2454187273979187e-05, 2.3321248590946198e-05, 2.4188309907913208e-05, 2.505537122488022e-05, 2.592243254184723e-05, 2.678949385881424e-05, 2.765655517578125e-05]}, "gradients/encoder.encoder.layers.2.attention.out_proj.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 2.0, 1.0, 3.0, 3.0, 2.0, 1.0, 8.0, 6.0, 10.0, 7.0, 16.0, 11.0, 18.0, 19.0, 15.0, 30.0, 31.0, 59.0, 36.0, 74.0, 35.0, 49.0, 53.0, 82.0, 55.0, 64.0, 40.0, 37.0, 51.0, 27.0, 28.0, 23.0, 33.0, 20.0, 15.0, 8.0, 8.0, 6.0, 9.0, 2.0, 5.0, 3.0, 4.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.993511199951172e-06, -3.846362233161926e-06, -3.6992132663726807e-06, -3.552064299583435e-06, -3.4049153327941895e-06, -3.257766366004944e-06, -3.1106173992156982e-06, -2.9634684324264526e-06, -2.816319465637207e-06, -2.6691704988479614e-06, -2.522021532058716e-06, -2.3748725652694702e-06, -2.2277235984802246e-06, -2.080574631690979e-06, -1.9334256649017334e-06, -1.7862766981124878e-06, -1.6391277313232422e-06, -1.4919787645339966e-06, -1.344829797744751e-06, -1.1976808309555054e-06, -1.0505318641662598e-06, -9.033828973770142e-07, -7.562339305877686e-07, -6.09084963798523e-07, -4.6193599700927734e-07, -3.1478703022003174e-07, -1.6763806343078613e-07, -2.0489096641540527e-08, 1.2665987014770508e-07, 2.738088369369507e-07, 4.209578037261963e-07, 5.681067705154419e-07, 7.152557373046875e-07, 8.624047040939331e-07, 1.0095536708831787e-06, 1.1567026376724243e-06, 1.30385160446167e-06, 1.4510005712509155e-06, 1.5981495380401611e-06, 1.7452985048294067e-06, 1.8924474716186523e-06, 2.039596438407898e-06, 2.1867454051971436e-06, 2.333894371986389e-06, 2.4810433387756348e-06, 2.6281923055648804e-06, 2.775341272354126e-06, 2.9224902391433716e-06, 3.069639205932617e-06, 3.216788172721863e-06, 3.3639371395111084e-06, 3.511086106300354e-06, 3.6582350730895996e-06, 3.8053840398788452e-06, 3.952533006668091e-06, 4.0996819734573364e-06, 4.246830940246582e-06, 4.393979907035828e-06, 4.541128873825073e-06, 4.688277840614319e-06, 4.8354268074035645e-06, 4.98257577419281e-06, 5.129724740982056e-06, 5.276873707771301e-06, 5.424022674560547e-06]}, "gradients/encoder.encoder.layers.2.attention.v_proj.weight": {"_type": "histogram", "values": [3.0, 1.0, 3.0, 0.0, 0.0, 3.0, 2.0, 3.0, 15.0, 10.0, 18.0, 33.0, 41.0, 64.0, 80.0, 121.0, 167.0, 259.0, 355.0, 617.0, 945.0, 1244.0, 2161.0, 2879.0, 5520.0, 9204.0, 12925.0, 26037.0, 36919.0, 81117.0, 151391.0, 427565.0, 141833.0, 56565.0, 38153.0, 18598.0, 13365.0, 6861.0, 5154.0, 3063.0, 1688.0, 1290.0, 676.0, 566.0, 350.0, 184.0, 154.0, 100.0, 81.0, 56.0, 43.0, 32.0, 24.0, 13.0, 7.0, 4.0, 2.0, 4.0, 1.0, 2.0, 1.0, 1.0, 1.0, 2.0], "bins": [-1.043081283569336e-05, -1.0098330676555634e-05, -9.765848517417908e-06, -9.433366358280182e-06, -9.100884199142456e-06, -8.76840204000473e-06, -8.435919880867004e-06, -8.103437721729279e-06, -7.770955562591553e-06, -7.438473403453827e-06, -7.105991244316101e-06, -6.773509085178375e-06, -6.441026926040649e-06, -6.108544766902924e-06, -5.776062607765198e-06, -5.443580448627472e-06, -5.111098289489746e-06, -4.77861613035202e-06, -4.4461339712142944e-06, -4.113651812076569e-06, -3.7811696529388428e-06, -3.448687493801117e-06, -3.116205334663391e-06, -2.7837231755256653e-06, -2.4512410163879395e-06, -2.1187588572502136e-06, -1.7862766981124878e-06, -1.453794538974762e-06, -1.1213123798370361e-06, -7.888302206993103e-07, -4.5634806156158447e-07, -1.2386590242385864e-07, 2.086162567138672e-07, 5.41098415851593e-07, 8.735805749893188e-07, 1.2060627341270447e-06, 1.5385448932647705e-06, 1.8710270524024963e-06, 2.203509211540222e-06, 2.535991370677948e-06, 2.868473529815674e-06, 3.2009556889533997e-06, 3.5334378480911255e-06, 3.865920007228851e-06, 4.198402166366577e-06, 4.530884325504303e-06, 4.863366484642029e-06, 5.195848643779755e-06, 5.5283308029174805e-06, 5.860812962055206e-06, 6.193295121192932e-06, 6.525777280330658e-06, 6.858259439468384e-06, 7.19074159860611e-06, 7.5232237577438354e-06, 7.855705916881561e-06, 8.188188076019287e-06, 8.520670235157013e-06, 8.853152394294739e-06, 9.185634553432465e-06, 9.51811671257019e-06, 9.850598871707916e-06, 1.0183081030845642e-05, 1.0515563189983368e-05, 1.0848045349121094e-05]}, "gradients/encoder.encoder.layers.2.attention.v_proj.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 1.0, 6.0, 4.0, 12.0, 7.0, 9.0, 9.0, 20.0, 19.0, 18.0, 27.0, 37.0, 29.0, 26.0, 41.0, 29.0, 47.0, 34.0, 52.0, 40.0, 62.0, 44.0, 48.0, 41.0, 44.0, 40.0, 24.0, 34.0, 43.0, 24.0, 23.0, 17.0, 18.0, 13.0, 14.0, 12.0, 11.0, 5.0, 5.0, 6.0, 1.0, 6.0, 3.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0], "bins": [-1.0132789611816406e-05, -9.819865226745605e-06, -9.506940841674805e-06, -9.194016456604004e-06, -8.881092071533203e-06, -8.568167686462402e-06, -8.255243301391602e-06, -7.9423189163208e-06, -7.62939453125e-06, -7.316470146179199e-06, -7.0035457611083984e-06, -6.690621376037598e-06, -6.377696990966797e-06, -6.064772605895996e-06, -5.751848220825195e-06, -5.4389238357543945e-06, -5.125999450683594e-06, -4.813075065612793e-06, -4.500150680541992e-06, -4.187226295471191e-06, -3.874301910400391e-06, -3.56137752532959e-06, -3.248453140258789e-06, -2.9355287551879883e-06, -2.6226043701171875e-06, -2.3096799850463867e-06, -1.996755599975586e-06, -1.6838312149047852e-06, -1.3709068298339844e-06, -1.0579824447631836e-06, -7.450580596923828e-07, -4.3213367462158203e-07, -1.1920928955078125e-07, 1.9371509552001953e-07, 5.066394805908203e-07, 8.195638656616211e-07, 1.1324882507324219e-06, 1.4454126358032227e-06, 1.7583370208740234e-06, 2.0712614059448242e-06, 2.384185791015625e-06, 2.6971101760864258e-06, 3.0100345611572266e-06, 3.3229589462280273e-06, 3.635883331298828e-06, 3.948807716369629e-06, 4.26173210144043e-06, 4.5746564865112305e-06, 4.887580871582031e-06, 5.200505256652832e-06, 5.513429641723633e-06, 5.826354026794434e-06, 6.139278411865234e-06, 6.452202796936035e-06, 6.765127182006836e-06, 7.078051567077637e-06, 7.3909759521484375e-06, 7.703900337219238e-06, 8.016824722290039e-06, 8.32974910736084e-06, 8.64267349243164e-06, 8.955597877502441e-06, 9.268522262573242e-06, 9.581446647644043e-06, 9.894371032714844e-06]}, "gradients/encoder.encoder.layers.2.attention.k_proj.weight": {"_type": "histogram", "values": [3.0, 1.0, 6.0, 3.0, 2.0, 3.0, 1.0, 2.0, 2.0, 7.0, 15.0, 7.0, 9.0, 17.0, 21.0, 23.0, 47.0, 61.0, 82.0, 93.0, 157.0, 210.0, 288.0, 352.0, 590.0, 1006.0, 1711.0, 2806.0, 6295.0, 13807.0, 36396.0, 115458.0, 730767.0, 90802.0, 25897.0, 9314.0, 5565.0, 2705.0, 1424.0, 743.0, 523.0, 392.0, 292.0, 142.0, 114.0, 103.0, 71.0, 67.0, 41.0, 24.0, 21.0, 16.0, 15.0, 9.0, 14.0, 6.0, 8.0, 2.0, 3.0, 4.0, 3.0, 5.0, 2.0, 1.0], "bins": [-1.1086463928222656e-05, -1.074373722076416e-05, -1.0401010513305664e-05, -1.0058283805847168e-05, -9.715557098388672e-06, -9.372830390930176e-06, -9.03010368347168e-06, -8.687376976013184e-06, -8.344650268554688e-06, -8.001923561096191e-06, -7.659196853637695e-06, -7.316470146179199e-06, -6.973743438720703e-06, -6.631016731262207e-06, -6.288290023803711e-06, -5.945563316345215e-06, -5.602836608886719e-06, -5.260109901428223e-06, -4.9173831939697266e-06, -4.5746564865112305e-06, -4.231929779052734e-06, -3.889203071594238e-06, -3.546476364135742e-06, -3.203749656677246e-06, -2.86102294921875e-06, -2.518296241760254e-06, -2.175569534301758e-06, -1.8328428268432617e-06, -1.4901161193847656e-06, -1.1473894119262695e-06, -8.046627044677734e-07, -4.6193599700927734e-07, -1.1920928955078125e-07, 2.2351741790771484e-07, 5.662441253662109e-07, 9.08970832824707e-07, 1.2516975402832031e-06, 1.5944242477416992e-06, 1.9371509552001953e-06, 2.2798776626586914e-06, 2.6226043701171875e-06, 2.9653310775756836e-06, 3.3080577850341797e-06, 3.6507844924926758e-06, 3.993511199951172e-06, 4.336237907409668e-06, 4.678964614868164e-06, 5.02169132232666e-06, 5.364418029785156e-06, 5.707144737243652e-06, 6.0498714447021484e-06, 6.3925981521606445e-06, 6.735324859619141e-06, 7.078051567077637e-06, 7.420778274536133e-06, 7.763504981994629e-06, 8.106231689453125e-06, 8.448958396911621e-06, 8.791685104370117e-06, 9.134411811828613e-06, 9.47713851928711e-06, 9.819865226745605e-06, 1.0162591934204102e-05, 1.0505318641662598e-05, 1.0848045349121094e-05]}, "gradients/encoder.encoder.layers.2.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 8.0, 2.0, 4.0, 4.0, 3.0, 6.0, 8.0, 9.0, 3.0, 7.0, 13.0, 17.0, 20.0, 25.0, 31.0, 39.0, 73.0, 133.0, 108.0, 87.0, 71.0, 78.0, 43.0, 35.0, 35.0, 21.0, 26.0, 17.0, 6.0, 10.0, 12.0, 12.0, 5.0, 5.0, 7.0, 7.0, 3.0, 4.0, 6.0, 5.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-3.516674041748047e-06, -3.388151526451111e-06, -3.259629011154175e-06, -3.1311064958572388e-06, -3.0025839805603027e-06, -2.8740614652633667e-06, -2.7455389499664307e-06, -2.6170164346694946e-06, -2.4884939193725586e-06, -2.3599714040756226e-06, -2.2314488887786865e-06, -2.1029263734817505e-06, -1.9744038581848145e-06, -1.8458813428878784e-06, -1.7173588275909424e-06, -1.5888363122940063e-06, -1.4603137969970703e-06, -1.3317912817001343e-06, -1.2032687664031982e-06, -1.0747462511062622e-06, -9.462237358093262e-07, -8.177012205123901e-07, -6.891787052154541e-07, -5.606561899185181e-07, -4.3213367462158203e-07, -3.03611159324646e-07, -1.7508864402770996e-07, -4.6566128730773926e-08, 8.195638656616211e-08, 2.1047890186309814e-07, 3.390014171600342e-07, 4.675239324569702e-07, 5.960464477539062e-07, 7.245689630508423e-07, 8.530914783477783e-07, 9.816139936447144e-07, 1.1101365089416504e-06, 1.2386590242385864e-06, 1.3671815395355225e-06, 1.4957040548324585e-06, 1.6242265701293945e-06, 1.7527490854263306e-06, 1.8812716007232666e-06, 2.0097941160202026e-06, 2.1383166313171387e-06, 2.2668391466140747e-06, 2.3953616619110107e-06, 2.5238841772079468e-06, 2.652406692504883e-06, 2.780929207801819e-06, 2.909451723098755e-06, 3.037974238395691e-06, 3.166496753692627e-06, 3.295019268989563e-06, 3.423541784286499e-06, 3.552064299583435e-06, 3.680586814880371e-06, 3.809109330177307e-06, 3.937631845474243e-06, 4.066154360771179e-06, 4.194676876068115e-06, 4.323199391365051e-06, 4.451721906661987e-06, 4.580244421958923e-06, 4.708766937255859e-06]}, "gradients/encoder.encoder.layers.2.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 1.0, 5.0, 4.0, 9.0, 15.0, 21.0, 17.0, 47.0, 57.0, 40.0, 128.0, 206.0, 301.0, 292.0, 623.0, 968.0, 983.0, 2190.0, 3654.0, 3710.0, 9004.0, 16386.0, 18592.0, 52402.0, 141360.0, 418574.0, 238713.0, 70234.0, 31441.0, 11801.0, 11005.0, 6177.0, 2733.0, 2521.0, 1582.0, 744.0, 707.0, 501.0, 194.0, 214.0, 139.0, 56.0, 74.0, 45.0, 33.0, 16.0, 21.0, 10.0, 5.0, 3.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-5.066394805908203e-06, -4.906207323074341e-06, -4.7460198402404785e-06, -4.585832357406616e-06, -4.425644874572754e-06, -4.265457391738892e-06, -4.105269908905029e-06, -3.945082426071167e-06, -3.7848949432373047e-06, -3.6247074604034424e-06, -3.46451997756958e-06, -3.3043324947357178e-06, -3.1441450119018555e-06, -2.983957529067993e-06, -2.823770046234131e-06, -2.6635825634002686e-06, -2.5033950805664062e-06, -2.343207597732544e-06, -2.1830201148986816e-06, -2.0228326320648193e-06, -1.862645149230957e-06, -1.7024576663970947e-06, -1.5422701835632324e-06, -1.3820827007293701e-06, -1.2218952178955078e-06, -1.0617077350616455e-06, -9.015202522277832e-07, -7.413327693939209e-07, -5.811452865600586e-07, -4.209578037261963e-07, -2.60770320892334e-07, -1.0058283805847168e-07, 5.960464477539063e-08, 2.1979212760925293e-07, 3.7997961044311523e-07, 5.401670932769775e-07, 7.003545761108398e-07, 8.605420589447021e-07, 1.0207295417785645e-06, 1.1809170246124268e-06, 1.341104507446289e-06, 1.5012919902801514e-06, 1.6614794731140137e-06, 1.821666955947876e-06, 1.9818544387817383e-06, 2.1420419216156006e-06, 2.302229404449463e-06, 2.462416887283325e-06, 2.6226043701171875e-06, 2.78279185295105e-06, 2.942979335784912e-06, 3.1031668186187744e-06, 3.2633543014526367e-06, 3.423541784286499e-06, 3.5837292671203613e-06, 3.7439167499542236e-06, 3.904104232788086e-06, 4.064291715621948e-06, 4.2244791984558105e-06, 4.384666681289673e-06, 4.544854164123535e-06, 4.7050416469573975e-06, 4.86522912979126e-06, 5.025416612625122e-06, 5.185604095458984e-06]}, "gradients/encoder.encoder.layers.2.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 3.0, 7.0, 2.0, 5.0, 7.0, 7.0, 4.0, 10.0, 11.0, 17.0, 16.0, 13.0, 23.0, 26.0, 32.0, 20.0, 42.0, 30.0, 66.0, 54.0, 69.0, 127.0, 63.0, 57.0, 41.0, 53.0, 39.0, 28.0, 21.0, 28.0, 14.0, 11.0, 8.0, 8.0, 12.0, 10.0, 3.0, 4.0, 8.0, 2.0, 3.0, 4.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-4.827976226806641e-06, -4.6817585825920105e-06, -4.53554093837738e-06, -4.38932329416275e-06, -4.24310564994812e-06, -4.09688800573349e-06, -3.95067036151886e-06, -3.8044527173042297e-06, -3.6582350730895996e-06, -3.5120174288749695e-06, -3.3657997846603394e-06, -3.2195821404457092e-06, -3.073364496231079e-06, -2.927146852016449e-06, -2.780929207801819e-06, -2.6347115635871887e-06, -2.4884939193725586e-06, -2.3422762751579285e-06, -2.1960586309432983e-06, -2.0498409867286682e-06, -1.903623342514038e-06, -1.757405698299408e-06, -1.6111880540847778e-06, -1.4649704098701477e-06, -1.3187527656555176e-06, -1.1725351214408875e-06, -1.0263174772262573e-06, -8.800998330116272e-07, -7.338821887969971e-07, -5.876645445823669e-07, -4.414469003677368e-07, -2.952292561531067e-07, -1.4901161193847656e-07, -2.7939677238464355e-09, 1.434236764907837e-07, 2.896413207054138e-07, 4.3585896492004395e-07, 5.820766091346741e-07, 7.282942533493042e-07, 8.745118975639343e-07, 1.0207295417785645e-06, 1.1669471859931946e-06, 1.3131648302078247e-06, 1.4593824744224548e-06, 1.605600118637085e-06, 1.751817762851715e-06, 1.8980354070663452e-06, 2.0442530512809753e-06, 2.1904706954956055e-06, 2.3366883397102356e-06, 2.4829059839248657e-06, 2.629123628139496e-06, 2.775341272354126e-06, 2.921558916568756e-06, 3.0677765607833862e-06, 3.2139942049980164e-06, 3.3602118492126465e-06, 3.5064294934272766e-06, 3.6526471376419067e-06, 3.798864781856537e-06, 3.945082426071167e-06, 4.091300070285797e-06, 4.237517714500427e-06, 4.383735358715057e-06, 4.5299530029296875e-06]}, "gradients/encoder.encoder.layers.2.layer_norm.weight": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 2.0, 2.0, 6.0, 0.0, 4.0, 4.0, 5.0, 5.0, 6.0, 2.0, 8.0, 9.0, 11.0, 7.0, 10.0, 13.0, 20.0, 13.0, 17.0, 17.0, 22.0, 27.0, 22.0, 26.0, 36.0, 59.0, 57.0, 60.0, 77.0, 86.0, 105.0, 74.0, 63.0, 46.0, 29.0, 6.0, 12.0, 5.0, 8.0, 4.0, 8.0, 3.0, 1.0, 1.0, 0.0, 2.0, 2.0], "bins": [-8.655099372845143e-05, -8.472627814626321e-05, -8.290156984003261e-05, -8.107685425784439e-05, -7.925214595161378e-05, -7.742743036942557e-05, -7.560271478723735e-05, -7.377800648100674e-05, -7.195329089881852e-05, -7.01285753166303e-05, -6.83038670103997e-05, -6.647915142821148e-05, -6.465444312198088e-05, -6.282972753979266e-05, -6.1005015595583245e-05, -5.9180303651373833e-05, -5.735559170716442e-05, -5.553087976295501e-05, -5.37061678187456e-05, -5.1881455874536186e-05, -5.005674029234797e-05, -4.8232028348138556e-05, -4.6407316403929144e-05, -4.458260445971973e-05, -4.275789251551032e-05, -4.093318057130091e-05, -3.91084686270915e-05, -3.728375304490328e-05, -3.5459041100693867e-05, -3.3634329156484455e-05, -3.180961721227504e-05, -2.998490526806563e-05, -2.816018786688801e-05, -2.6335475922678597e-05, -2.4510762159479782e-05, -2.268605021527037e-05, -2.086133827106096e-05, -1.9036624507862143e-05, -1.721191256365273e-05, -1.5387198800453916e-05, -1.3562486856244504e-05, -1.1737774002540391e-05, -9.913061148836277e-06, -8.088349204626866e-06, -6.263636350922752e-06, -4.438923497218639e-06, -2.614211553009227e-06, -7.894986993051134e-07, 1.0352141543990001e-06, 2.859926780729438e-06, 4.684639407059876e-06, 6.509351806016639e-06, 8.334064659720752e-06, 1.0158777513424866e-05, 1.1983489457634278e-05, 1.3808202311338391e-05, 1.5632915165042505e-05, 1.7457627109251916e-05, 1.9282340872450732e-05, 2.1107052816660143e-05, 2.293176657985896e-05, 2.475647852406837e-05, 2.6581190468277782e-05, 2.8405902412487194e-05, 3.023061617568601e-05]}, "gradients/encoder.encoder.layers.2.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 4.0, 3.0, 5.0, 3.0, 7.0, 4.0, 2.0, 7.0, 16.0, 12.0, 14.0, 14.0, 23.0, 25.0, 31.0, 38.0, 29.0, 36.0, 41.0, 25.0, 41.0, 35.0, 37.0, 49.0, 51.0, 46.0, 37.0, 43.0, 43.0, 37.0, 29.0, 30.0, 41.0, 24.0, 18.0, 13.0, 23.0, 8.0, 13.0, 12.0, 9.0, 5.0, 4.0, 9.0, 5.0, 5.0, 1.0, 2.0, 1.0, 2.0, 1.0, 2.0], "bins": [-5.6862831115722656e-05, -5.527026951313019e-05, -5.367770791053772e-05, -5.208514630794525e-05, -5.049258470535278e-05, -4.8900023102760315e-05, -4.730746150016785e-05, -4.571489989757538e-05, -4.412233829498291e-05, -4.252977669239044e-05, -4.0937215089797974e-05, -3.9344653487205505e-05, -3.775209188461304e-05, -3.615953028202057e-05, -3.45669686794281e-05, -3.297440707683563e-05, -3.1381845474243164e-05, -2.9789283871650696e-05, -2.8196722269058228e-05, -2.660416066646576e-05, -2.501159906387329e-05, -2.3419037461280823e-05, -2.1826475858688354e-05, -2.0233914256095886e-05, -1.8641352653503418e-05, -1.704879105091095e-05, -1.545622944831848e-05, -1.3863667845726013e-05, -1.2271106243133545e-05, -1.0678544640541077e-05, -9.085983037948608e-06, -7.49342143535614e-06, -5.900859832763672e-06, -4.308298230171204e-06, -2.7157366275787354e-06, -1.123175024986267e-06, 4.6938657760620117e-07, 2.0619481801986694e-06, 3.6545097827911377e-06, 5.247071385383606e-06, 6.839632987976074e-06, 8.432194590568542e-06, 1.002475619316101e-05, 1.1617317795753479e-05, 1.3209879398345947e-05, 1.4802441000938416e-05, 1.6395002603530884e-05, 1.7987564206123352e-05, 1.958012580871582e-05, 2.117268741130829e-05, 2.2765249013900757e-05, 2.4357810616493225e-05, 2.5950372219085693e-05, 2.754293382167816e-05, 2.913549542427063e-05, 3.07280570268631e-05, 3.2320618629455566e-05, 3.3913180232048035e-05, 3.55057418346405e-05, 3.709830343723297e-05, 3.869086503982544e-05, 4.028342664241791e-05, 4.1875988245010376e-05, 4.3468549847602844e-05, 4.506111145019531e-05]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 4.0, 3.0, 6.0, 13.0, 9.0, 18.0, 38.0, 67.0, 115.0, 170.0, 352.0, 680.0, 1365.0, 3050.0, 6858.0, 17320.0, 42522.0, 129354.0, 3334460.0, 492085.0, 104127.0, 35791.0, 14324.0, 5949.0, 2660.0, 1223.0, 634.0, 363.0, 202.0, 159.0, 98.0, 71.0, 55.0, 47.0, 25.0, 23.0, 18.0, 8.0, 5.0, 8.0, 3.0, 6.0, 3.0, 4.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.337331771850586e-05, -7.053744047880173e-05, -6.77015632390976e-05, -6.486568599939346e-05, -6.202980875968933e-05, -5.91939315199852e-05, -5.635805428028107e-05, -5.3522177040576935e-05, -5.06862998008728e-05, -4.785042256116867e-05, -4.501454532146454e-05, -4.2178668081760406e-05, -3.9342790842056274e-05, -3.650691360235214e-05, -3.367103636264801e-05, -3.083515912294388e-05, -2.7999281883239746e-05, -2.5163404643535614e-05, -2.2327527403831482e-05, -1.949165016412735e-05, -1.6655772924423218e-05, -1.3819895684719086e-05, -1.0984018445014954e-05, -8.148141205310822e-06, -5.3122639656066895e-06, -2.4763867259025574e-06, 3.594905138015747e-07, 3.1953677535057068e-06, 6.031244993209839e-06, 8.867122232913971e-06, 1.1702999472618103e-05, 1.4538876712322235e-05, 1.7374753952026367e-05, 2.02106311917305e-05, 2.304650843143463e-05, 2.5882385671138763e-05, 2.8718262910842896e-05, 3.155414015054703e-05, 3.439001739025116e-05, 3.722589462995529e-05, 4.0061771869659424e-05, 4.2897649109363556e-05, 4.573352634906769e-05, 4.856940358877182e-05, 5.140528082847595e-05, 5.4241158068180084e-05, 5.7077035307884216e-05, 5.991291254758835e-05, 6.274878978729248e-05, 6.558466702699661e-05, 6.842054426670074e-05, 7.125642150640488e-05, 7.409229874610901e-05, 7.692817598581314e-05, 7.976405322551727e-05, 8.25999304652214e-05, 8.543580770492554e-05, 8.827168494462967e-05, 9.11075621843338e-05, 9.394343942403793e-05, 9.677931666374207e-05, 9.96151939034462e-05, 0.00010245107114315033, 0.00010528694838285446, 0.0001081228256225586]}, "gradients/encoder.encoder.layers.1.feed_forward.output_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 2.0, 1.0, 4.0, 3.0, 10.0, 5.0, 12.0, 23.0, 19.0, 27.0, 26.0, 49.0, 41.0, 57.0, 94.0, 66.0, 73.0, 94.0, 50.0, 71.0, 60.0, 60.0, 36.0, 34.0, 34.0, 16.0, 12.0, 8.0, 13.0, 6.0, 5.0, 3.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.066394805908203e-06, -4.869885742664337e-06, -4.673376679420471e-06, -4.476867616176605e-06, -4.280358552932739e-06, -4.083849489688873e-06, -3.887340426445007e-06, -3.6908313632011414e-06, -3.4943222999572754e-06, -3.2978132367134094e-06, -3.1013041734695435e-06, -2.9047951102256775e-06, -2.7082860469818115e-06, -2.5117769837379456e-06, -2.3152679204940796e-06, -2.1187588572502136e-06, -1.9222497940063477e-06, -1.7257407307624817e-06, -1.5292316675186157e-06, -1.3327226042747498e-06, -1.1362135410308838e-06, -9.397044777870178e-07, -7.431954145431519e-07, -5.466863512992859e-07, -3.501772880554199e-07, -1.5366822481155396e-07, 4.284083843231201e-08, 2.39349901676178e-07, 4.3585896492004395e-07, 6.323680281639099e-07, 8.288770914077759e-07, 1.0253861546516418e-06, 1.2218952178955078e-06, 1.4184042811393738e-06, 1.6149133443832397e-06, 1.8114224076271057e-06, 2.0079314708709717e-06, 2.2044405341148376e-06, 2.4009495973587036e-06, 2.5974586606025696e-06, 2.7939677238464355e-06, 2.9904767870903015e-06, 3.1869858503341675e-06, 3.3834949135780334e-06, 3.5800039768218994e-06, 3.7765130400657654e-06, 3.973022103309631e-06, 4.169531166553497e-06, 4.366040229797363e-06, 4.562549293041229e-06, 4.759058356285095e-06, 4.955567419528961e-06, 5.152076482772827e-06, 5.348585546016693e-06, 5.545094609260559e-06, 5.741603672504425e-06, 5.938112735748291e-06, 6.134621798992157e-06, 6.331130862236023e-06, 6.527639925479889e-06, 6.724148988723755e-06, 6.920658051967621e-06, 7.117167115211487e-06, 7.313676178455353e-06, 7.510185241699219e-06]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 3.0, 3.0, 2.0, 3.0, 1.0, 4.0, 2.0, 2.0, 9.0, 11.0, 17.0, 16.0, 30.0, 23.0, 43.0, 54.0, 75.0, 134.0, 170.0, 306.0, 675.0, 1279.0, 3391.0, 8460.0, 27621.0, 86301.0, 505828.0, 3194139.0, 277562.0, 59060.0, 17096.0, 6849.0, 2484.0, 1223.0, 547.0, 296.0, 186.0, 96.0, 69.0, 47.0, 45.0, 30.0, 19.0, 22.0, 16.0, 14.0, 9.0, 8.0, 5.0, 2.0, 2.0, 4.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-2.5331974029541016e-05, -2.452358603477478e-05, -2.3715198040008545e-05, -2.290681004524231e-05, -2.2098422050476074e-05, -2.129003405570984e-05, -2.0481646060943604e-05, -1.9673258066177368e-05, -1.8864870071411133e-05, -1.8056482076644897e-05, -1.7248094081878662e-05, -1.6439706087112427e-05, -1.563131809234619e-05, -1.4822930097579956e-05, -1.401454210281372e-05, -1.3206154108047485e-05, -1.239776611328125e-05, -1.1589378118515015e-05, -1.078099012374878e-05, -9.972602128982544e-06, -9.164214134216309e-06, -8.355826139450073e-06, -7.547438144683838e-06, -6.7390501499176025e-06, -5.930662155151367e-06, -5.122274160385132e-06, -4.3138861656188965e-06, -3.505498170852661e-06, -2.6971101760864258e-06, -1.8887221813201904e-06, -1.080334186553955e-06, -2.7194619178771973e-07, 5.364418029785156e-07, 1.344829797744751e-06, 2.1532177925109863e-06, 2.9616057872772217e-06, 3.769993782043457e-06, 4.578381776809692e-06, 5.386769771575928e-06, 6.195157766342163e-06, 7.0035457611083984e-06, 7.811933755874634e-06, 8.620321750640869e-06, 9.428709745407104e-06, 1.023709774017334e-05, 1.1045485734939575e-05, 1.185387372970581e-05, 1.2662261724472046e-05, 1.3470649719238281e-05, 1.4279037714004517e-05, 1.5087425708770752e-05, 1.5895813703536987e-05, 1.6704201698303223e-05, 1.7512589693069458e-05, 1.8320977687835693e-05, 1.912936568260193e-05, 1.9937753677368164e-05, 2.07461416721344e-05, 2.1554529666900635e-05, 2.236291766166687e-05, 2.3171305656433105e-05, 2.397969365119934e-05, 2.4788081645965576e-05, 2.559646964073181e-05, 2.6404857635498047e-05]}, "gradients/encoder.encoder.layers.1.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 4.0, 3.0, 5.0, 2.0, 15.0, 19.0, 36.0, 42.0, 50.0, 73.0, 108.0, 139.0, 211.0, 381.0, 1221.0, 786.0, 299.0, 199.0, 132.0, 123.0, 82.0, 46.0, 41.0, 20.0, 16.0, 12.0, 5.0, 6.0, 5.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.282857894897461e-05, -2.2240914404392242e-05, -2.1653249859809875e-05, -2.106558531522751e-05, -2.047792077064514e-05, -1.9890256226062775e-05, -1.9302591681480408e-05, -1.871492713689804e-05, -1.8127262592315674e-05, -1.7539598047733307e-05, -1.695193350315094e-05, -1.6364268958568573e-05, -1.5776604413986206e-05, -1.5188939869403839e-05, -1.4601275324821472e-05, -1.4013610780239105e-05, -1.3425946235656738e-05, -1.2838281691074371e-05, -1.2250617146492004e-05, -1.1662952601909637e-05, -1.107528805732727e-05, -1.0487623512744904e-05, -9.899958968162537e-06, -9.31229442358017e-06, -8.724629878997803e-06, -8.136965334415436e-06, -7.549300789833069e-06, -6.961636245250702e-06, -6.373971700668335e-06, -5.786307156085968e-06, -5.198642611503601e-06, -4.610978066921234e-06, -4.023313522338867e-06, -3.4356489777565002e-06, -2.8479844331741333e-06, -2.2603198885917664e-06, -1.6726553440093994e-06, -1.0849907994270325e-06, -4.973262548446655e-07, 9.033828973770142e-08, 6.780028343200684e-07, 1.2656673789024353e-06, 1.8533319234848022e-06, 2.440996468067169e-06, 3.028661012649536e-06, 3.616325557231903e-06, 4.20399010181427e-06, 4.791654646396637e-06, 5.379319190979004e-06, 5.966983735561371e-06, 6.554648280143738e-06, 7.142312824726105e-06, 7.729977369308472e-06, 8.317641913890839e-06, 8.905306458473206e-06, 9.492971003055573e-06, 1.008063554763794e-05, 1.0668300092220306e-05, 1.1255964636802673e-05, 1.184362918138504e-05, 1.2431293725967407e-05, 1.3018958270549774e-05, 1.3606622815132141e-05, 1.4194287359714508e-05, 1.4781951904296875e-05]}, "gradients/encoder.encoder.layers.1.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 4.0, 1.0, 2.0, 4.0, 10.0, 9.0, 9.0, 15.0, 24.0, 28.0, 36.0, 41.0, 48.0, 77.0, 125.0, 149.0, 120.0, 89.0, 72.0, 39.0, 24.0, 35.0, 10.0, 7.0, 7.0, 8.0, 3.0, 3.0, 5.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0001658250839682296, -0.00016074770246632397, -0.00015567032096441835, -0.00015059293946251273, -0.00014551554340869188, -0.00014043816190678626, -0.00013536078040488064, -0.00013028339890297502, -0.0001252060174010694, -0.00012012863589916378, -0.00011505125439725816, -0.00010997386561939493, -0.00010489648411748931, -9.981910261558369e-05, -9.474171383772045e-05, -8.966433233581483e-05, -8.458695083390921e-05, -7.95095693320036e-05, -7.443218783009797e-05, -6.935479905223474e-05, -6.427741755032912e-05, -5.92000360484235e-05, -5.412265090853907e-05, -4.9045265768654644e-05, -4.3967884266749024e-05, -3.8890502764843404e-05, -3.381311762495898e-05, -2.8735734304063953e-05, -2.365835098316893e-05, -1.8580967662273906e-05, -1.3503584341378883e-05, -8.426199201494455e-06, -3.3488322515040636e-06, 1.72855106939096e-06, 6.805934390285984e-06, 1.1883317711181007e-05, 1.696070103207603e-05, 2.2038084352971055e-05, 2.7115467673866078e-05, 3.2192852813750505e-05, 3.7270234315656126e-05, 4.2347615817561746e-05, 4.742500095744617e-05, 5.25023860973306e-05, 5.757976759923622e-05, 6.265714910114184e-05, 6.773453787900507e-05, 7.28119193809107e-05, 7.788930088281631e-05, 8.296668238472193e-05, 8.804406388662755e-05, 9.312145266449079e-05, 9.819883416639641e-05, 0.00010327621566830203, 0.00010835360444616526, 0.00011343098594807088, 0.0001185083674499765, 0.00012358574895188212, 0.00012866313045378774, 0.00013374051195569336, 0.0001388179080095142, 0.00014389528951141983, 0.00014897267101332545, 0.00015405005251523107, 0.0001591274340171367]}, "gradients/encoder.encoder.layers.1.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 5.0, 6.0, 6.0, 5.0, 11.0, 16.0, 18.0, 17.0, 28.0, 27.0, 34.0, 34.0, 37.0, 51.0, 34.0, 52.0, 45.0, 58.0, 43.0, 46.0, 45.0, 56.0, 43.0, 39.0, 40.0, 32.0, 23.0, 27.0, 20.0, 19.0, 14.0, 18.0, 14.0, 13.0, 11.0, 7.0, 4.0, 6.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 1.0], "bins": [-6.628036499023438e-05, -6.44829124212265e-05, -6.268545985221863e-05, -6.0888007283210754e-05, -5.909055471420288e-05, -5.729310214519501e-05, -5.5495649576187134e-05, -5.369819700717926e-05, -5.190074443817139e-05, -5.010329186916351e-05, -4.830583930015564e-05, -4.6508386731147766e-05, -4.471093416213989e-05, -4.291348159313202e-05, -4.1116029024124146e-05, -3.931857645511627e-05, -3.75211238861084e-05, -3.5723671317100525e-05, -3.392621874809265e-05, -3.212876617908478e-05, -3.0331313610076904e-05, -2.853386104106903e-05, -2.6736408472061157e-05, -2.4938955903053284e-05, -2.314150333404541e-05, -2.1344050765037537e-05, -1.9546598196029663e-05, -1.774914562702179e-05, -1.5951693058013916e-05, -1.4154240489006042e-05, -1.2356787919998169e-05, -1.0559335350990295e-05, -8.761882781982422e-06, -6.964430212974548e-06, -5.166977643966675e-06, -3.3695250749588013e-06, -1.5720725059509277e-06, 2.253800630569458e-07, 2.0228326320648193e-06, 3.820285201072693e-06, 5.617737770080566e-06, 7.41519033908844e-06, 9.212642908096313e-06, 1.1010095477104187e-05, 1.280754804611206e-05, 1.4605000615119934e-05, 1.6402453184127808e-05, 1.819990575313568e-05, 1.9997358322143555e-05, 2.1794810891151428e-05, 2.3592263460159302e-05, 2.5389716029167175e-05, 2.718716859817505e-05, 2.8984621167182922e-05, 3.0782073736190796e-05, 3.257952630519867e-05, 3.437697887420654e-05, 3.6174431443214417e-05, 3.797188401222229e-05, 3.9769336581230164e-05, 4.156678915023804e-05, 4.336424171924591e-05, 4.5161694288253784e-05, 4.695914685726166e-05, 4.875659942626953e-05]}, "gradients/encoder.encoder.layers.1.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 6.0, 4.0, 7.0, 6.0, 9.0, 15.0, 30.0, 25.0, 44.0, 56.0, 67.0, 112.0, 155.0, 237.0, 274.0, 412.0, 603.0, 826.0, 1099.0, 1760.0, 2536.0, 3901.0, 5882.0, 9454.0, 15843.0, 28073.0, 53257.0, 114882.0, 337599.0, 263571.0, 97411.0, 46614.0, 24687.0, 14182.0, 8448.0, 5436.0, 3460.0, 2237.0, 1608.0, 1049.0, 786.0, 534.0, 419.0, 288.0, 161.0, 145.0, 93.0, 76.0, 48.0, 47.0, 17.0, 23.0, 12.0, 10.0, 12.0, 12.0, 5.0, 3.0, 2.0, 0.0, 3.0], "bins": [-2.8431415557861328e-05, -2.7540139853954315e-05, -2.6648864150047302e-05, -2.575758844614029e-05, -2.4866312742233276e-05, -2.3975037038326263e-05, -2.308376133441925e-05, -2.2192485630512238e-05, -2.1301209926605225e-05, -2.040993422269821e-05, -1.95186585187912e-05, -1.8627382814884186e-05, -1.7736107110977173e-05, -1.684483140707016e-05, -1.5953555703163147e-05, -1.5062279999256134e-05, -1.4171004295349121e-05, -1.3279728591442108e-05, -1.2388452887535095e-05, -1.1497177183628082e-05, -1.060590147972107e-05, -9.714625775814056e-06, -8.823350071907043e-06, -7.93207436800003e-06, -7.040798664093018e-06, -6.149522960186005e-06, -5.258247256278992e-06, -4.366971552371979e-06, -3.475695848464966e-06, -2.584420144557953e-06, -1.69314444065094e-06, -8.01868736743927e-07, 8.940696716308594e-08, 9.806826710700989e-07, 1.8719583749771118e-06, 2.7632340788841248e-06, 3.6545097827911377e-06, 4.545785486698151e-06, 5.4370611906051636e-06, 6.3283368945121765e-06, 7.2196125984191895e-06, 8.110888302326202e-06, 9.002164006233215e-06, 9.893439710140228e-06, 1.0784715414047241e-05, 1.1675991117954254e-05, 1.2567266821861267e-05, 1.345854252576828e-05, 1.4349818229675293e-05, 1.5241093933582306e-05, 1.613236963748932e-05, 1.7023645341396332e-05, 1.7914921045303345e-05, 1.8806196749210358e-05, 1.969747245311737e-05, 2.0588748157024384e-05, 2.1480023860931396e-05, 2.237129956483841e-05, 2.3262575268745422e-05, 2.4153850972652435e-05, 2.5045126676559448e-05, 2.593640238046646e-05, 2.6827678084373474e-05, 2.7718953788280487e-05, 2.86102294921875e-05]}, "gradients/encoder.encoder.layers.1.attention.out_proj.bias": {"_type": "histogram", "values": [3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 4.0, 4.0, 3.0, 2.0, 6.0, 3.0, 5.0, 17.0, 7.0, 16.0, 14.0, 26.0, 22.0, 30.0, 29.0, 37.0, 32.0, 47.0, 40.0, 38.0, 40.0, 47.0, 43.0, 61.0, 45.0, 43.0, 41.0, 36.0, 56.0, 35.0, 22.0, 17.0, 25.0, 26.0, 17.0, 11.0, 10.0, 13.0, 11.0, 6.0, 5.0, 6.0, 4.0, 3.0, 2.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.0531158447265625e-06, -3.9227306842803955e-06, -3.7923455238342285e-06, -3.6619603633880615e-06, -3.5315752029418945e-06, -3.4011900424957275e-06, -3.2708048820495605e-06, -3.1404197216033936e-06, -3.0100345611572266e-06, -2.8796494007110596e-06, -2.7492642402648926e-06, -2.6188790798187256e-06, -2.4884939193725586e-06, -2.3581087589263916e-06, -2.2277235984802246e-06, -2.0973384380340576e-06, -1.9669532775878906e-06, -1.8365681171417236e-06, -1.7061829566955566e-06, -1.5757977962493896e-06, -1.4454126358032227e-06, -1.3150274753570557e-06, -1.1846423149108887e-06, -1.0542571544647217e-06, -9.238719940185547e-07, -7.934868335723877e-07, -6.631016731262207e-07, -5.327165126800537e-07, -4.023313522338867e-07, -2.7194619178771973e-07, -1.4156103134155273e-07, -1.1175870895385742e-08, 1.1920928955078125e-07, 2.4959444999694824e-07, 3.7997961044311523e-07, 5.103647708892822e-07, 6.407499313354492e-07, 7.711350917816162e-07, 9.015202522277832e-07, 1.0319054126739502e-06, 1.1622905731201172e-06, 1.2926757335662842e-06, 1.4230608940124512e-06, 1.5534460544586182e-06, 1.6838312149047852e-06, 1.8142163753509521e-06, 1.944601535797119e-06, 2.074986696243286e-06, 2.205371856689453e-06, 2.33575701713562e-06, 2.466142177581787e-06, 2.596527338027954e-06, 2.726912498474121e-06, 2.857297658920288e-06, 2.987682819366455e-06, 3.118067979812622e-06, 3.248453140258789e-06, 3.378838300704956e-06, 3.509223461151123e-06, 3.63960862159729e-06, 3.769993782043457e-06, 3.900378942489624e-06, 4.030764102935791e-06, 4.161149263381958e-06, 4.291534423828125e-06]}, "gradients/encoder.encoder.layers.1.attention.v_proj.weight": {"_type": "histogram", "values": [4.0, 1.0, 5.0, 4.0, 9.0, 13.0, 26.0, 32.0, 45.0, 62.0, 102.0, 127.0, 200.0, 242.0, 471.0, 542.0, 747.0, 1367.0, 1644.0, 2759.0, 3309.0, 6069.0, 7177.0, 13520.0, 16508.0, 32167.0, 40706.0, 86500.0, 136612.0, 346840.0, 136170.0, 74043.0, 53697.0, 26645.0, 21480.0, 11392.0, 9492.0, 5016.0, 4420.0, 2507.0, 1980.0, 1052.0, 1016.0, 536.0, 465.0, 249.0, 201.0, 119.0, 67.0, 81.0, 30.0, 31.0, 22.0, 22.0, 11.0, 12.0, 5.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.867813110351562e-06, -7.601454854011536e-06, -7.335096597671509e-06, -7.068738341331482e-06, -6.802380084991455e-06, -6.536021828651428e-06, -6.269663572311401e-06, -6.0033053159713745e-06, -5.736947059631348e-06, -5.470588803291321e-06, -5.204230546951294e-06, -4.937872290611267e-06, -4.67151403427124e-06, -4.405155777931213e-06, -4.1387975215911865e-06, -3.87243926525116e-06, -3.606081008911133e-06, -3.339722752571106e-06, -3.073364496231079e-06, -2.8070062398910522e-06, -2.5406479835510254e-06, -2.2742897272109985e-06, -2.0079314708709717e-06, -1.7415732145309448e-06, -1.475214958190918e-06, -1.2088567018508911e-06, -9.424984455108643e-07, -6.761401891708374e-07, -4.0978193283081055e-07, -1.434236764907837e-07, 1.2293457984924316e-07, 3.8929283618927e-07, 6.556510925292969e-07, 9.220093488693237e-07, 1.1883676052093506e-06, 1.4547258615493774e-06, 1.7210841178894043e-06, 1.987442374229431e-06, 2.253800630569458e-06, 2.520158886909485e-06, 2.7865171432495117e-06, 3.0528753995895386e-06, 3.3192336559295654e-06, 3.5855919122695923e-06, 3.851950168609619e-06, 4.118308424949646e-06, 4.384666681289673e-06, 4.6510249376297e-06, 4.9173831939697266e-06, 5.183741450309753e-06, 5.45009970664978e-06, 5.716457962989807e-06, 5.982816219329834e-06, 6.249174475669861e-06, 6.515532732009888e-06, 6.7818909883499146e-06, 7.048249244689941e-06, 7.314607501029968e-06, 7.580965757369995e-06, 7.847324013710022e-06, 8.113682270050049e-06, 8.380040526390076e-06, 8.646398782730103e-06, 8.91275703907013e-06, 9.179115295410156e-06]}, "gradients/encoder.encoder.layers.1.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 1.0, 4.0, 3.0, 1.0, 3.0, 6.0, 6.0, 7.0, 10.0, 11.0, 8.0, 20.0, 20.0, 8.0, 13.0, 21.0, 17.0, 29.0, 32.0, 27.0, 22.0, 30.0, 45.0, 33.0, 33.0, 30.0, 48.0, 28.0, 52.0, 38.0, 31.0, 34.0, 35.0, 28.0, 33.0, 34.0, 29.0, 40.0, 21.0, 26.0, 13.0, 13.0, 8.0, 11.0, 7.0, 14.0, 9.0, 6.0, 7.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-8.404254913330078e-06, -8.127652108669281e-06, -7.851049304008484e-06, -7.574446499347687e-06, -7.29784369468689e-06, -7.0212408900260925e-06, -6.744638085365295e-06, -6.468035280704498e-06, -6.191432476043701e-06, -5.914829671382904e-06, -5.638226866722107e-06, -5.36162406206131e-06, -5.085021257400513e-06, -4.8084184527397156e-06, -4.5318156480789185e-06, -4.255212843418121e-06, -3.978610038757324e-06, -3.702007234096527e-06, -3.42540442943573e-06, -3.148801624774933e-06, -2.8721988201141357e-06, -2.5955960154533386e-06, -2.3189932107925415e-06, -2.0423904061317444e-06, -1.7657876014709473e-06, -1.4891847968101501e-06, -1.212581992149353e-06, -9.359791874885559e-07, -6.593763828277588e-07, -3.8277357816696167e-07, -1.0617077350616455e-07, 1.7043203115463257e-07, 4.470348358154297e-07, 7.236376404762268e-07, 1.000240445137024e-06, 1.276843249797821e-06, 1.5534460544586182e-06, 1.8300488591194153e-06, 2.1066516637802124e-06, 2.3832544684410095e-06, 2.6598572731018066e-06, 2.9364600777626038e-06, 3.213062882423401e-06, 3.489665687084198e-06, 3.766268491744995e-06, 4.042871296405792e-06, 4.319474101066589e-06, 4.5960769057273865e-06, 4.872679710388184e-06, 5.149282515048981e-06, 5.425885319709778e-06, 5.702488124370575e-06, 5.979090929031372e-06, 6.255693733692169e-06, 6.532296538352966e-06, 6.8088993430137634e-06, 7.0855021476745605e-06, 7.362104952335358e-06, 7.638707756996155e-06, 7.915310561656952e-06, 8.191913366317749e-06, 8.468516170978546e-06, 8.745118975639343e-06, 9.02172178030014e-06, 9.298324584960938e-06]}, "gradients/encoder.encoder.layers.1.attention.k_proj.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 4.0, 8.0, 4.0, 20.0, 13.0, 23.0, 27.0, 30.0, 58.0, 54.0, 93.0, 110.0, 171.0, 222.0, 318.0, 503.0, 872.0, 1388.0, 2455.0, 5071.0, 14759.0, 58612.0, 774551.0, 152700.0, 21020.0, 7295.0, 3415.0, 1884.0, 927.0, 568.0, 403.0, 257.0, 183.0, 139.0, 101.0, 76.0, 54.0, 42.0, 30.0, 24.0, 18.0, 19.0, 7.0, 12.0, 4.0, 3.0, 4.0, 4.0, 3.0, 5.0, 0.0, 1.0, 0.0, 2.0], "bins": [-2.396106719970703e-05, -2.322811633348465e-05, -2.2495165467262268e-05, -2.1762214601039886e-05, -2.1029263734817505e-05, -2.0296312868595123e-05, -1.9563362002372742e-05, -1.883041113615036e-05, -1.809746026992798e-05, -1.7364509403705597e-05, -1.6631558537483215e-05, -1.5898607671260834e-05, -1.5165656805038452e-05, -1.443270593881607e-05, -1.3699755072593689e-05, -1.2966804206371307e-05, -1.2233853340148926e-05, -1.1500902473926544e-05, -1.0767951607704163e-05, -1.0035000741481781e-05, -9.3020498752594e-06, -8.569099009037018e-06, -7.836148142814636e-06, -7.103197276592255e-06, -6.370246410369873e-06, -5.6372955441474915e-06, -4.90434467792511e-06, -4.171393811702728e-06, -3.4384429454803467e-06, -2.705492079257965e-06, -1.9725412130355835e-06, -1.239590346813202e-06, -5.066394805908203e-07, 2.2631138563156128e-07, 9.592622518539429e-07, 1.6922131180763245e-06, 2.425163984298706e-06, 3.1581148505210876e-06, 3.891065716743469e-06, 4.624016582965851e-06, 5.356967449188232e-06, 6.089918315410614e-06, 6.822869181632996e-06, 7.555820047855377e-06, 8.288770914077759e-06, 9.02172178030014e-06, 9.754672646522522e-06, 1.0487623512744904e-05, 1.1220574378967285e-05, 1.1953525245189667e-05, 1.2686476111412048e-05, 1.341942697763443e-05, 1.4152377843856812e-05, 1.4885328710079193e-05, 1.5618279576301575e-05, 1.6351230442523956e-05, 1.7084181308746338e-05, 1.781713217496872e-05, 1.85500830411911e-05, 1.9283033907413483e-05, 2.0015984773635864e-05, 2.0748935639858246e-05, 2.1481886506080627e-05, 2.221483737230301e-05, 2.294778823852539e-05]}, "gradients/encoder.encoder.layers.1.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 5.0, 7.0, 4.0, 12.0, 4.0, 16.0, 20.0, 12.0, 44.0, 19.0, 51.0, 100.0, 64.0, 158.0, 64.0, 146.0, 82.0, 29.0, 49.0, 9.0, 30.0, 26.0, 5.0, 11.0, 8.0, 2.0, 7.0, 3.0, 7.0, 6.0, 0.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-3.337860107421875e-06, -3.2419338822364807e-06, -3.1460076570510864e-06, -3.050081431865692e-06, -2.954155206680298e-06, -2.8582289814949036e-06, -2.7623027563095093e-06, -2.666376531124115e-06, -2.5704503059387207e-06, -2.4745240807533264e-06, -2.378597855567932e-06, -2.282671630382538e-06, -2.1867454051971436e-06, -2.0908191800117493e-06, -1.994892954826355e-06, -1.8989667296409607e-06, -1.8030405044555664e-06, -1.7071142792701721e-06, -1.6111880540847778e-06, -1.5152618288993835e-06, -1.4193356037139893e-06, -1.323409378528595e-06, -1.2274831533432007e-06, -1.1315569281578064e-06, -1.0356307029724121e-06, -9.397044777870178e-07, -8.437782526016235e-07, -7.478520274162292e-07, -6.51925802230835e-07, -5.559995770454407e-07, -4.600733518600464e-07, -3.641471266746521e-07, -2.682209014892578e-07, -1.7229467630386353e-07, -7.636845111846924e-08, 1.955777406692505e-08, 1.1548399925231934e-07, 2.1141022443771362e-07, 3.073364496231079e-07, 4.032626748085022e-07, 4.991888999938965e-07, 5.951151251792908e-07, 6.910413503646851e-07, 7.869675755500793e-07, 8.828938007354736e-07, 9.78820025920868e-07, 1.0747462511062622e-06, 1.1706724762916565e-06, 1.2665987014770508e-06, 1.362524926662445e-06, 1.4584511518478394e-06, 1.5543773770332336e-06, 1.650303602218628e-06, 1.7462298274040222e-06, 1.8421560525894165e-06, 1.938082277774811e-06, 2.034008502960205e-06, 2.1299347281455994e-06, 2.2258609533309937e-06, 2.321787178516388e-06, 2.4177134037017822e-06, 2.5136396288871765e-06, 2.609565854072571e-06, 2.705492079257965e-06, 2.8014183044433594e-06]}, "gradients/encoder.encoder.layers.1.attention.q_proj.weight": {"_type": "histogram", "values": [2.0, 4.0, 0.0, 1.0, 2.0, 7.0, 2.0, 14.0, 20.0, 35.0, 31.0, 69.0, 98.0, 70.0, 199.0, 324.0, 198.0, 588.0, 786.0, 1244.0, 893.0, 2417.0, 3765.0, 2709.0, 7582.0, 13047.0, 10116.0, 33797.0, 73880.0, 219812.0, 305644.0, 219561.0, 73483.0, 19842.0, 24133.0, 13262.0, 7670.0, 2613.0, 3648.0, 2354.0, 887.0, 1275.0, 864.0, 277.0, 489.0, 292.0, 193.0, 79.0, 102.0, 82.0, 18.0, 30.0, 23.0, 5.0, 21.0, 7.0, 2.0, 1.0, 4.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.0994415283203125e-06, -2.9979273676872253e-06, -2.896413207054138e-06, -2.794899046421051e-06, -2.693384885787964e-06, -2.5918707251548767e-06, -2.4903565645217896e-06, -2.3888424038887024e-06, -2.2873282432556152e-06, -2.185814082622528e-06, -2.084299921989441e-06, -1.9827857613563538e-06, -1.8812716007232666e-06, -1.7797574400901794e-06, -1.6782432794570923e-06, -1.5767291188240051e-06, -1.475214958190918e-06, -1.3737007975578308e-06, -1.2721866369247437e-06, -1.1706724762916565e-06, -1.0691583156585693e-06, -9.676441550254822e-07, -8.66129994392395e-07, -7.646158337593079e-07, -6.631016731262207e-07, -5.615875124931335e-07, -4.600733518600464e-07, -3.5855919122695923e-07, -2.5704503059387207e-07, -1.555308699607849e-07, -5.4016709327697754e-08, 4.7497451305389404e-08, 1.4901161193847656e-07, 2.505257725715637e-07, 3.520399332046509e-07, 4.5355409383773804e-07, 5.550682544708252e-07, 6.565824151039124e-07, 7.580965757369995e-07, 8.596107363700867e-07, 9.611248970031738e-07, 1.062639057636261e-06, 1.1641532182693481e-06, 1.2656673789024353e-06, 1.3671815395355225e-06, 1.4686957001686096e-06, 1.5702098608016968e-06, 1.671724021434784e-06, 1.773238182067871e-06, 1.8747523427009583e-06, 1.9762665033340454e-06, 2.0777806639671326e-06, 2.1792948246002197e-06, 2.280808985233307e-06, 2.382323145866394e-06, 2.483837306499481e-06, 2.5853514671325684e-06, 2.6868656277656555e-06, 2.7883797883987427e-06, 2.88989394903183e-06, 2.991408109664917e-06, 3.092922270298004e-06, 3.1944364309310913e-06, 3.2959505915641785e-06, 3.3974647521972656e-06]}, "gradients/encoder.encoder.layers.1.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 2.0, 3.0, 1.0, 2.0, 4.0, 4.0, 5.0, 7.0, 4.0, 5.0, 7.0, 10.0, 10.0, 15.0, 15.0, 14.0, 27.0, 40.0, 29.0, 41.0, 53.0, 27.0, 62.0, 76.0, 85.0, 57.0, 72.0, 26.0, 55.0, 41.0, 35.0, 42.0, 19.0, 25.0, 13.0, 16.0, 11.0, 7.0, 6.0, 11.0, 2.0, 6.0, 3.0, 7.0, 4.0, 4.0, 3.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.0994415283203125e-06, -2.989545464515686e-06, -2.8796494007110596e-06, -2.769753336906433e-06, -2.6598572731018066e-06, -2.54996120929718e-06, -2.4400651454925537e-06, -2.3301690816879272e-06, -2.2202730178833008e-06, -2.1103769540786743e-06, -2.000480890274048e-06, -1.8905848264694214e-06, -1.780688762664795e-06, -1.6707926988601685e-06, -1.560896635055542e-06, -1.4510005712509155e-06, -1.341104507446289e-06, -1.2312084436416626e-06, -1.1213123798370361e-06, -1.0114163160324097e-06, -9.015202522277832e-07, -7.916241884231567e-07, -6.817281246185303e-07, -5.718320608139038e-07, -4.6193599700927734e-07, -3.520399332046509e-07, -2.421438694000244e-07, -1.3224780559539795e-07, -2.2351741790771484e-08, 8.754432201385498e-08, 1.9744038581848145e-07, 3.073364496231079e-07, 4.172325134277344e-07, 5.271285772323608e-07, 6.370246410369873e-07, 7.469207048416138e-07, 8.568167686462402e-07, 9.667128324508667e-07, 1.0766088962554932e-06, 1.1865049600601196e-06, 1.296401023864746e-06, 1.4062970876693726e-06, 1.516193151473999e-06, 1.6260892152786255e-06, 1.735985279083252e-06, 1.8458813428878784e-06, 1.955777406692505e-06, 2.0656734704971313e-06, 2.175569534301758e-06, 2.2854655981063843e-06, 2.3953616619110107e-06, 2.505257725715637e-06, 2.6151537895202637e-06, 2.72504985332489e-06, 2.8349459171295166e-06, 2.944841980934143e-06, 3.0547380447387695e-06, 3.164634108543396e-06, 3.2745301723480225e-06, 3.384426236152649e-06, 3.4943222999572754e-06, 3.604218363761902e-06, 3.7141144275665283e-06, 3.824010491371155e-06, 3.933906555175781e-06]}, "gradients/encoder.encoder.layers.1.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 1.0, 2.0, 3.0, 1.0, 9.0, 8.0, 13.0, 16.0, 32.0, 60.0, 66.0, 75.0, 122.0, 121.0, 84.0, 68.0, 59.0, 50.0, 44.0, 34.0, 21.0, 16.0, 18.0, 11.0, 14.0, 6.0, 9.0, 9.0, 9.0, 9.0, 3.0, 1.0, 2.0, 1.0, 3.0, 1.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-9.490478259976953e-05, -9.135517757385969e-05, -8.780557254794985e-05, -8.425596752204001e-05, -8.070636977208778e-05, -7.715676474617794e-05, -7.36071597202681e-05, -7.005755469435826e-05, -6.650795694440603e-05, -6.295835191849619e-05, -5.940875053056516e-05, -5.5859145504655316e-05, -5.230954411672428e-05, -4.875993909081444e-05, -4.52103340649046e-05, -4.166072903899476e-05, -3.811112401308492e-05, -3.456151898717508e-05, -3.101191759924404e-05, -2.7462312573334202e-05, -2.3912709366413765e-05, -2.0363106159493327e-05, -1.6813501133583486e-05, -1.3263897926663049e-05, -9.714294719742611e-06, -6.164691058074823e-06, -2.6150873964070342e-06, 9.34516720008105e-07, 4.4841199269285426e-06, 8.03372313384898e-06, 1.1583328159758821e-05, 1.5132931366679259e-05, 1.8682534573599696e-05, 2.2232137780520134e-05, 2.578174098744057e-05, 2.9331346013350412e-05, 3.2880947401281446e-05, 3.643055242719129e-05, 3.998015745310113e-05, 4.352976247901097e-05, 4.7079363866942e-05, 5.0628968892851844e-05, 5.417857028078288e-05, 5.772817530669272e-05, 6.127778033260256e-05, 6.48273853585124e-05, 6.837699038442224e-05, 7.192658813437447e-05, 7.547619316028431e-05, 7.902579818619415e-05, 8.257540321210399e-05, 8.612500096205622e-05, 8.967460598796606e-05, 9.32242110138759e-05, 9.677381603978574e-05, 0.00010032342106569558, 0.00010387302609160542, 0.00010742263111751527, 0.00011097223614342511, 0.00011452184116933495, 0.00011807143891928717, 0.00012162104394519702, 0.00012517065624706447, 0.00012872024672105908, 0.00013226985174696892]}, "gradients/encoder.encoder.layers.1.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 4.0, 6.0, 4.0, 5.0, 6.0, 10.0, 12.0, 21.0, 12.0, 17.0, 13.0, 25.0, 23.0, 25.0, 31.0, 29.0, 36.0, 46.0, 49.0, 43.0, 39.0, 42.0, 45.0, 40.0, 42.0, 44.0, 38.0, 43.0, 29.0, 48.0, 31.0, 22.0, 20.0, 21.0, 14.0, 17.0, 13.0, 13.0, 5.0, 5.0, 6.0, 7.0, 3.0, 3.0, 2.0, 3.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-4.208087921142578e-05, -4.0736980736255646e-05, -3.939308226108551e-05, -3.8049183785915375e-05, -3.670528531074524e-05, -3.5361386835575104e-05, -3.401748836040497e-05, -3.267358988523483e-05, -3.13296914100647e-05, -2.9985792934894562e-05, -2.8641894459724426e-05, -2.729799598455429e-05, -2.5954097509384155e-05, -2.461019903421402e-05, -2.3266300559043884e-05, -2.192240208387375e-05, -2.0578503608703613e-05, -1.9234605133533478e-05, -1.7890706658363342e-05, -1.6546808183193207e-05, -1.5202909708023071e-05, -1.3859011232852936e-05, -1.25151127576828e-05, -1.1171214282512665e-05, -9.82731580734253e-06, -8.483417332172394e-06, -7.139518857002258e-06, -5.795620381832123e-06, -4.451721906661987e-06, -3.107823431491852e-06, -1.7639249563217163e-06, -4.200264811515808e-07, 9.238719940185547e-07, 2.26777046918869e-06, 3.6116689443588257e-06, 4.955567419528961e-06, 6.299465894699097e-06, 7.643364369869232e-06, 8.987262845039368e-06, 1.0331161320209503e-05, 1.1675059795379639e-05, 1.3018958270549774e-05, 1.436285674571991e-05, 1.5706755220890045e-05, 1.705065369606018e-05, 1.8394552171230316e-05, 1.973845064640045e-05, 2.1082349121570587e-05, 2.2426247596740723e-05, 2.3770146071910858e-05, 2.5114044547080994e-05, 2.645794302225113e-05, 2.7801841497421265e-05, 2.91457399725914e-05, 3.0489638447761536e-05, 3.183353692293167e-05, 3.317743539810181e-05, 3.452133387327194e-05, 3.586523234844208e-05, 3.720913082361221e-05, 3.855302929878235e-05, 3.9896927773952484e-05, 4.124082624912262e-05, 4.2584724724292755e-05, 4.392862319946289e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 3.0, 1.0, 5.0, 5.0, 6.0, 16.0, 21.0, 31.0, 42.0, 71.0, 112.0, 148.0, 269.0, 307.0, 500.0, 720.0, 1173.0, 1680.0, 2333.0, 3916.0, 6314.0, 10212.0, 16872.0, 29114.0, 54931.0, 107462.0, 426338.0, 3022934.0, 293481.0, 96604.0, 47817.0, 26622.0, 14918.0, 9981.0, 6448.0, 4169.0, 2656.0, 1784.0, 1301.0, 819.0, 609.0, 421.0, 302.0, 230.0, 170.0, 126.0, 69.0, 68.0, 57.0, 48.0, 22.0, 14.0, 11.0, 4.0, 3.0, 2.0, 5.0, 2.0, 2.0, 0.0, 1.0], "bins": [-2.3305416107177734e-05, -2.2538937628269196e-05, -2.1772459149360657e-05, -2.1005980670452118e-05, -2.023950219154358e-05, -1.947302371263504e-05, -1.87065452337265e-05, -1.7940066754817963e-05, -1.7173588275909424e-05, -1.6407109797000885e-05, -1.5640631318092346e-05, -1.4874152839183807e-05, -1.4107674360275269e-05, -1.334119588136673e-05, -1.2574717402458191e-05, -1.1808238923549652e-05, -1.1041760444641113e-05, -1.0275281965732574e-05, -9.508803486824036e-06, -8.742325007915497e-06, -7.975846529006958e-06, -7.209368050098419e-06, -6.44288957118988e-06, -5.6764110922813416e-06, -4.909932613372803e-06, -4.143454134464264e-06, -3.376975655555725e-06, -2.6104971766471863e-06, -1.8440186977386475e-06, -1.0775402188301086e-06, -3.110617399215698e-07, 4.55416738986969e-07, 1.2218952178955078e-06, 1.9883736968040466e-06, 2.7548521757125854e-06, 3.5213306546211243e-06, 4.287809133529663e-06, 5.054287612438202e-06, 5.820766091346741e-06, 6.5872445702552795e-06, 7.353723049163818e-06, 8.120201528072357e-06, 8.886680006980896e-06, 9.653158485889435e-06, 1.0419636964797974e-05, 1.1186115443706512e-05, 1.1952593922615051e-05, 1.271907240152359e-05, 1.3485550880432129e-05, 1.4252029359340668e-05, 1.5018507838249207e-05, 1.5784986317157745e-05, 1.6551464796066284e-05, 1.7317943274974823e-05, 1.8084421753883362e-05, 1.88509002327919e-05, 1.961737871170044e-05, 2.0383857190608978e-05, 2.1150335669517517e-05, 2.1916814148426056e-05, 2.2683292627334595e-05, 2.3449771106243134e-05, 2.4216249585151672e-05, 2.498272806406021e-05, 2.574920654296875e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.output_dense.bias": {"_type": "histogram", "values": [3.0, 2.0, 1.0, 0.0, 1.0, 6.0, 1.0, 9.0, 5.0, 8.0, 5.0, 17.0, 8.0, 18.0, 19.0, 35.0, 33.0, 32.0, 37.0, 23.0, 67.0, 38.0, 66.0, 41.0, 69.0, 48.0, 50.0, 41.0, 67.0, 32.0, 39.0, 27.0, 39.0, 30.0, 13.0, 23.0, 12.0, 11.0, 12.0, 10.0, 8.0, 0.0, 2.0, 3.0, 1.0, 1.0, 1.0, 5.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.6954879760742188e-06, -3.5446137189865112e-06, -3.3937394618988037e-06, -3.242865204811096e-06, -3.0919909477233887e-06, -2.941116690635681e-06, -2.7902424335479736e-06, -2.639368176460266e-06, -2.4884939193725586e-06, -2.337619662284851e-06, -2.1867454051971436e-06, -2.035871148109436e-06, -1.8849968910217285e-06, -1.734122633934021e-06, -1.5832483768463135e-06, -1.432374119758606e-06, -1.2814998626708984e-06, -1.130625605583191e-06, -9.797513484954834e-07, -8.288770914077759e-07, -6.780028343200684e-07, -5.271285772323608e-07, -3.762543201446533e-07, -2.253800630569458e-07, -7.450580596923828e-08, 7.636845111846924e-08, 2.2724270820617676e-07, 3.781169652938843e-07, 5.289912223815918e-07, 6.798654794692993e-07, 8.307397365570068e-07, 9.816139936447144e-07, 1.1324882507324219e-06, 1.2833625078201294e-06, 1.434236764907837e-06, 1.5851110219955444e-06, 1.735985279083252e-06, 1.8868595361709595e-06, 2.037733793258667e-06, 2.1886080503463745e-06, 2.339482307434082e-06, 2.4903565645217896e-06, 2.641230821609497e-06, 2.7921050786972046e-06, 2.942979335784912e-06, 3.0938535928726196e-06, 3.244727849960327e-06, 3.3956021070480347e-06, 3.546476364135742e-06, 3.6973506212234497e-06, 3.848224878311157e-06, 3.999099135398865e-06, 4.149973392486572e-06, 4.30084764957428e-06, 4.451721906661987e-06, 4.602596163749695e-06, 4.753470420837402e-06, 4.90434467792511e-06, 5.055218935012817e-06, 5.206093192100525e-06, 5.356967449188232e-06, 5.50784170627594e-06, 5.6587159633636475e-06, 5.809590220451355e-06, 5.9604644775390625e-06]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.weight": {"_type": "histogram", "values": [1.0, 3.0, 0.0, 2.0, 4.0, 3.0, 4.0, 7.0, 12.0, 17.0, 27.0, 40.0, 44.0, 84.0, 118.0, 145.0, 283.0, 348.0, 672.0, 1110.0, 1438.0, 2826.0, 4948.0, 6930.0, 14419.0, 21536.0, 47981.0, 103962.0, 202515.0, 1218945.0, 1986527.0, 341729.0, 121465.0, 47703.0, 30315.0, 14016.0, 9721.0, 5521.0, 2949.0, 2170.0, 1126.0, 952.0, 601.0, 315.0, 257.0, 167.0, 109.0, 87.0, 39.0, 42.0, 25.0, 15.0, 8.0, 7.0, 4.0, 5.0, 0.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0073184967041016e-05, -9.738840162754059e-06, -9.404495358467102e-06, -9.070150554180145e-06, -8.735805749893188e-06, -8.401460945606232e-06, -8.067116141319275e-06, -7.732771337032318e-06, -7.398426532745361e-06, -7.0640817284584045e-06, -6.729736924171448e-06, -6.395392119884491e-06, -6.061047315597534e-06, -5.726702511310577e-06, -5.392357707023621e-06, -5.058012902736664e-06, -4.723668098449707e-06, -4.38932329416275e-06, -4.0549784898757935e-06, -3.7206336855888367e-06, -3.38628888130188e-06, -3.051944077014923e-06, -2.7175992727279663e-06, -2.3832544684410095e-06, -2.0489096641540527e-06, -1.714564859867096e-06, -1.3802200555801392e-06, -1.0458752512931824e-06, -7.115304470062256e-07, -3.771856427192688e-07, -4.284083843231201e-08, 2.915039658546448e-07, 6.258487701416016e-07, 9.601935744285583e-07, 1.2945383787155151e-06, 1.628883183002472e-06, 1.9632279872894287e-06, 2.2975727915763855e-06, 2.6319175958633423e-06, 2.966262400150299e-06, 3.300607204437256e-06, 3.6349520087242126e-06, 3.9692968130111694e-06, 4.303641617298126e-06, 4.637986421585083e-06, 4.97233122587204e-06, 5.306676030158997e-06, 5.641020834445953e-06, 5.97536563873291e-06, 6.309710443019867e-06, 6.644055247306824e-06, 6.9784000515937805e-06, 7.312744855880737e-06, 7.647089660167694e-06, 7.981434464454651e-06, 8.315779268741608e-06, 8.650124073028564e-06, 8.984468877315521e-06, 9.318813681602478e-06, 9.653158485889435e-06, 9.987503290176392e-06, 1.0321848094463348e-05, 1.0656192898750305e-05, 1.0990537703037262e-05, 1.1324882507324219e-05]}, "gradients/encoder.encoder.layers.0.feed_forward.intermediate_dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 5.0, 2.0, 5.0, 7.0, 2.0, 4.0, 11.0, 11.0, 12.0, 18.0, 16.0, 22.0, 34.0, 41.0, 36.0, 44.0, 52.0, 88.0, 76.0, 91.0, 102.0, 143.0, 155.0, 186.0, 303.0, 489.0, 627.0, 553.0, 305.0, 163.0, 93.0, 73.0, 68.0, 56.0, 40.0, 28.0, 24.0, 10.0, 15.0, 18.0, 17.0, 11.0, 6.0, 3.0, 6.0, 2.0, 2.0, 3.0, 2.0, 1.0, 1.0, 1.0, 2.0], "bins": [-1.5139579772949219e-05, -1.4738179743289948e-05, -1.4336779713630676e-05, -1.3935379683971405e-05, -1.3533979654312134e-05, -1.3132579624652863e-05, -1.2731179594993591e-05, -1.232977956533432e-05, -1.1928379535675049e-05, -1.1526979506015778e-05, -1.1125579476356506e-05, -1.0724179446697235e-05, -1.0322779417037964e-05, -9.921379387378693e-06, -9.519979357719421e-06, -9.11857932806015e-06, -8.717179298400879e-06, -8.315779268741608e-06, -7.914379239082336e-06, -7.512979209423065e-06, -7.111579179763794e-06, -6.710179150104523e-06, -6.3087791204452515e-06, -5.90737909078598e-06, -5.505979061126709e-06, -5.104579031467438e-06, -4.7031790018081665e-06, -4.301778972148895e-06, -3.900378942489624e-06, -3.4989789128303528e-06, -3.0975788831710815e-06, -2.6961788535118103e-06, -2.294778823852539e-06, -1.8933787941932678e-06, -1.4919787645339966e-06, -1.0905787348747253e-06, -6.891787052154541e-07, -2.8777867555618286e-07, 1.1362135410308838e-07, 5.150213837623596e-07, 9.164214134216309e-07, 1.317821443080902e-06, 1.7192214727401733e-06, 2.1206215023994446e-06, 2.522021532058716e-06, 2.923421561717987e-06, 3.3248215913772583e-06, 3.7262216210365295e-06, 4.127621650695801e-06, 4.529021680355072e-06, 4.930421710014343e-06, 5.3318217396736145e-06, 5.733221769332886e-06, 6.134621798992157e-06, 6.536021828651428e-06, 6.9374218583106995e-06, 7.338821887969971e-06, 7.740221917629242e-06, 8.141621947288513e-06, 8.543021976947784e-06, 8.944422006607056e-06, 9.345822036266327e-06, 9.747222065925598e-06, 1.014862209558487e-05, 1.055002212524414e-05]}, "gradients/encoder.encoder.layers.0.final_layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 3.0, 2.0, 2.0, 4.0, 3.0, 3.0, 8.0, 8.0, 7.0, 15.0, 15.0, 29.0, 24.0, 40.0, 54.0, 52.0, 55.0, 95.0, 114.0, 117.0, 127.0, 83.0, 55.0, 29.0, 30.0, 16.0, 7.0, 3.0, 3.0, 3.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00041764986235648394, -0.00040877601713873446, -0.00039990220102481544, -0.00039102835580706596, -0.0003821545105893165, -0.000373280665371567, -0.000364406849257648, -0.0003555330040398985, -0.00034665915882214904, -0.00033778531360439956, -0.00032891149749048054, -0.00032003765227273107, -0.0003111638070549816, -0.0003022899618372321, -0.0002934161457233131, -0.0002845423005055636, -0.0002756684843916446, -0.0002667946391738951, -0.0002579208230599761, -0.0002490469778422266, -0.00024017313262447715, -0.0002312993019586429, -0.00022242547129280865, -0.00021355162607505918, -0.00020467779540922493, -0.00019580396474339068, -0.0001869301195256412, -0.00017805628885980695, -0.0001691824581939727, -0.00016030861297622323, -0.00015143478231038898, -0.00014256095164455473, -0.0001336870773229748, -0.00012481324665714055, -0.00011593940143939108, -0.00010706557077355683, -9.819173283176497e-05, -8.93178948899731e-05, -8.044406422413886e-05, -7.1570226282347e-05, -6.269638834055513e-05, -5.382255039876327e-05, -4.4948716094950214e-05, -3.607488179113716e-05, -2.7201043849345297e-05, -1.8327205907553434e-05, -9.45337160374038e-06, -5.795372999273241e-07, 8.294300641864538e-06, 1.7168136764666997e-05, 2.6041972887469456e-05, 3.491580719128251e-05, 4.378964513307437e-05, 5.2663483074866235e-05, 6.153731374070048e-05, 7.041115168249235e-05, 7.928498962428421e-05, 8.815882756607607e-05, 9.703266550786793e-05, 0.00010590649617370218, 0.00011478033411549404, 0.0001236541720572859, 0.00013252800272312015, 0.0001414018333889544, 0.00015027567860670388]}, "gradients/encoder.encoder.layers.0.final_layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 3.0, 4.0, 9.0, 9.0, 13.0, 15.0, 18.0, 24.0, 26.0, 37.0, 49.0, 43.0, 58.0, 64.0, 69.0, 64.0, 54.0, 54.0, 52.0, 63.0, 39.0, 50.0, 30.0, 44.0, 21.0, 19.0, 20.0, 19.0, 11.0, 8.0, 4.0, 3.0, 5.0, 4.0, 2.0, 4.0, 1.0, 2.0, 0.0, 1.0, 1.0], "bins": [-0.00028139352798461914, -0.00027414504438638687, -0.0002668965607881546, -0.00025964807718992233, -0.00025239959359169006, -0.0002451511099934578, -0.00023790262639522552, -0.00023065414279699326, -0.00022340565919876099, -0.00021615717560052872, -0.00020890869200229645, -0.00020166020840406418, -0.0001944117248058319, -0.00018716324120759964, -0.00017991475760936737, -0.0001726662740111351, -0.00016541779041290283, -0.00015816930681467056, -0.0001509208232164383, -0.00014367233961820602, -0.00013642385601997375, -0.00012917537242174149, -0.00012192688882350922, -0.00011467840522527695, -0.00010742992162704468, -0.00010018143802881241, -9.293295443058014e-05, -8.568447083234787e-05, -7.84359872341156e-05, -7.118750363588333e-05, -6.393902003765106e-05, -5.669053643941879e-05, -4.9442052841186523e-05, -4.2193569242954254e-05, -3.4945085644721985e-05, -2.7696602046489716e-05, -2.0448118448257446e-05, -1.3199634850025177e-05, -5.951151251792908e-06, 1.2973323464393616e-06, 8.545815944671631e-06, 1.57942995429039e-05, 2.304278314113617e-05, 3.029126673936844e-05, 3.753975033760071e-05, 4.478823393583298e-05, 5.2036717534065247e-05, 5.9285201132297516e-05, 6.653368473052979e-05, 7.378216832876205e-05, 8.103065192699432e-05, 8.827913552522659e-05, 9.552761912345886e-05, 0.00010277610272169113, 0.0001100245863199234, 0.00011727306991815567, 0.00012452155351638794, 0.0001317700371146202, 0.00013901852071285248, 0.00014626700431108475, 0.00015351548790931702, 0.00016076397150754929, 0.00016801245510578156, 0.00017526093870401382, 0.0001825094223022461]}, "gradients/encoder.encoder.layers.0.attention.out_proj.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 1.0, 3.0, 7.0, 7.0, 12.0, 10.0, 29.0, 26.0, 38.0, 58.0, 69.0, 108.0, 187.0, 221.0, 394.0, 630.0, 1014.0, 1837.0, 3125.0, 5171.0, 10152.0, 18791.0, 42942.0, 107398.0, 313854.0, 349537.0, 107734.0, 41435.0, 20664.0, 10248.0, 5148.0, 3108.0, 1707.0, 1097.0, 648.0, 366.0, 257.0, 169.0, 115.0, 79.0, 51.0, 30.0, 25.0, 13.0, 15.0, 9.0, 7.0, 6.0, 4.0, 4.0, 2.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-2.8908252716064453e-05, -2.797599881887436e-05, -2.7043744921684265e-05, -2.611149102449417e-05, -2.5179237127304077e-05, -2.4246983230113983e-05, -2.331472933292389e-05, -2.2382475435733795e-05, -2.14502215385437e-05, -2.0517967641353607e-05, -1.9585713744163513e-05, -1.865345984697342e-05, -1.7721205949783325e-05, -1.678895205259323e-05, -1.5856698155403137e-05, -1.4924444258213043e-05, -1.399219036102295e-05, -1.3059936463832855e-05, -1.2127682566642761e-05, -1.1195428669452667e-05, -1.0263174772262573e-05, -9.33092087507248e-06, -8.398666977882385e-06, -7.466413080692291e-06, -6.534159183502197e-06, -5.601905286312103e-06, -4.669651389122009e-06, -3.7373974919319153e-06, -2.8051435947418213e-06, -1.8728896975517273e-06, -9.406358003616333e-07, -8.381903171539307e-09, 9.238719940185547e-07, 1.8561258912086487e-06, 2.7883797883987427e-06, 3.7206336855888367e-06, 4.652887582778931e-06, 5.585141479969025e-06, 6.517395377159119e-06, 7.449649274349213e-06, 8.381903171539307e-06, 9.3141570687294e-06, 1.0246410965919495e-05, 1.1178664863109589e-05, 1.2110918760299683e-05, 1.3043172657489777e-05, 1.397542655467987e-05, 1.4907680451869965e-05, 1.583993434906006e-05, 1.6772188246250153e-05, 1.7704442143440247e-05, 1.863669604063034e-05, 1.9568949937820435e-05, 2.050120383501053e-05, 2.1433457732200623e-05, 2.2365711629390717e-05, 2.329796552658081e-05, 2.4230219423770905e-05, 2.5162473320961e-05, 2.6094727218151093e-05, 2.7026981115341187e-05, 2.795923501253128e-05, 2.8891488909721375e-05, 2.982374280691147e-05, 3.075599670410156e-05]}, "gradients/encoder.encoder.layers.0.attention.out_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 7.0, 7.0, 8.0, 11.0, 17.0, 16.0, 33.0, 63.0, 73.0, 64.0, 87.0, 109.0, 87.0, 98.0, 75.0, 51.0, 50.0, 41.0, 34.0, 26.0, 16.0, 9.0, 8.0, 10.0, 2.0, 2.0, 1.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-1.2993812561035156e-05, -1.2654811143875122e-05, -1.2315809726715088e-05, -1.1976808309555054e-05, -1.163780689239502e-05, -1.1298805475234985e-05, -1.0959804058074951e-05, -1.0620802640914917e-05, -1.0281801223754883e-05, -9.942799806594849e-06, -9.603798389434814e-06, -9.26479697227478e-06, -8.925795555114746e-06, -8.586794137954712e-06, -8.247792720794678e-06, -7.908791303634644e-06, -7.569789886474609e-06, -7.230788469314575e-06, -6.891787052154541e-06, -6.552785634994507e-06, -6.213784217834473e-06, -5.8747828006744385e-06, -5.535781383514404e-06, -5.19677996635437e-06, -4.857778549194336e-06, -4.518777132034302e-06, -4.179775714874268e-06, -3.840774297714233e-06, -3.5017728805541992e-06, -3.162771463394165e-06, -2.823770046234131e-06, -2.4847686290740967e-06, -2.1457672119140625e-06, -1.8067657947540283e-06, -1.4677643775939941e-06, -1.12876296043396e-06, -7.897615432739258e-07, -4.507601261138916e-07, -1.1175870895385742e-07, 2.2724270820617676e-07, 5.662441253662109e-07, 9.052455425262451e-07, 1.2442469596862793e-06, 1.5832483768463135e-06, 1.9222497940063477e-06, 2.261251211166382e-06, 2.600252628326416e-06, 2.93925404548645e-06, 3.2782554626464844e-06, 3.6172568798065186e-06, 3.956258296966553e-06, 4.295259714126587e-06, 4.634261131286621e-06, 4.973262548446655e-06, 5.3122639656066895e-06, 5.651265382766724e-06, 5.990266799926758e-06, 6.329268217086792e-06, 6.668269634246826e-06, 7.00727105140686e-06, 7.3462724685668945e-06, 7.685273885726929e-06, 8.024275302886963e-06, 8.363276720046997e-06, 8.702278137207031e-06]}, "gradients/encoder.encoder.layers.0.attention.v_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 6.0, 13.0, 15.0, 13.0, 17.0, 28.0, 37.0, 51.0, 41.0, 131.0, 149.0, 260.0, 354.0, 585.0, 887.0, 1659.0, 2564.0, 5250.0, 9586.0, 24019.0, 59719.0, 252284.0, 497112.0, 126096.0, 36096.0, 15938.0, 7168.0, 3394.0, 2066.0, 1034.0, 714.0, 403.0, 292.0, 164.0, 137.0, 79.0, 60.0, 42.0, 24.0, 15.0, 21.0, 12.0, 7.0, 6.0, 7.0, 6.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7702579498291016e-05, -1.70757994055748e-05, -1.644901931285858e-05, -1.5822239220142365e-05, -1.5195459127426147e-05, -1.456867903470993e-05, -1.3941898941993713e-05, -1.3315118849277496e-05, -1.268833875656128e-05, -1.2061558663845062e-05, -1.1434778571128845e-05, -1.0807998478412628e-05, -1.0181218385696411e-05, -9.554438292980194e-06, -8.927658200263977e-06, -8.30087810754776e-06, -7.674098014831543e-06, -7.047317922115326e-06, -6.420537829399109e-06, -5.793757736682892e-06, -5.166977643966675e-06, -4.540197551250458e-06, -3.913417458534241e-06, -3.2866373658180237e-06, -2.6598572731018066e-06, -2.0330771803855896e-06, -1.4062970876693726e-06, -7.795169949531555e-07, -1.5273690223693848e-07, 4.7404319047927856e-07, 1.1008232831954956e-06, 1.7276033759117126e-06, 2.3543834686279297e-06, 2.9811635613441467e-06, 3.6079436540603638e-06, 4.234723746776581e-06, 4.861503839492798e-06, 5.488283932209015e-06, 6.115064024925232e-06, 6.741844117641449e-06, 7.368624210357666e-06, 7.995404303073883e-06, 8.6221843957901e-06, 9.248964488506317e-06, 9.875744581222534e-06, 1.0502524673938751e-05, 1.1129304766654968e-05, 1.1756084859371185e-05, 1.2382864952087402e-05, 1.300964504480362e-05, 1.3636425137519836e-05, 1.4263205230236053e-05, 1.488998532295227e-05, 1.5516765415668488e-05, 1.6143545508384705e-05, 1.677032560110092e-05, 1.739710569381714e-05, 1.8023885786533356e-05, 1.8650665879249573e-05, 1.927744597196579e-05, 1.9904226064682007e-05, 2.0531006157398224e-05, 2.115778625011444e-05, 2.1784566342830658e-05, 2.2411346435546875e-05]}, "gradients/encoder.encoder.layers.0.attention.v_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 5.0, 3.0, 4.0, 6.0, 5.0, 10.0, 10.0, 7.0, 12.0, 17.0, 15.0, 23.0, 30.0, 20.0, 47.0, 50.0, 50.0, 51.0, 47.0, 71.0, 65.0, 63.0, 60.0, 40.0, 43.0, 50.0, 40.0, 22.0, 22.0, 24.0, 19.0, 17.0, 8.0, 6.0, 8.0, 9.0, 9.0, 1.0, 3.0, 4.0, 4.0, 3.0, 1.0, 3.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.6166439056396484e-05, -2.535339444875717e-05, -2.454034984111786e-05, -2.3727305233478546e-05, -2.2914260625839233e-05, -2.210121601819992e-05, -2.1288171410560608e-05, -2.0475126802921295e-05, -1.9662082195281982e-05, -1.884903758764267e-05, -1.8035992980003357e-05, -1.7222948372364044e-05, -1.640990376472473e-05, -1.559685915708542e-05, -1.4783814549446106e-05, -1.3970769941806793e-05, -1.315772533416748e-05, -1.2344680726528168e-05, -1.1531636118888855e-05, -1.0718591511249542e-05, -9.90554690361023e-06, -9.092502295970917e-06, -8.279457688331604e-06, -7.466413080692291e-06, -6.6533684730529785e-06, -5.840323865413666e-06, -5.027279257774353e-06, -4.21423465013504e-06, -3.4011900424957275e-06, -2.588145434856415e-06, -1.775100827217102e-06, -9.620562195777893e-07, -1.4901161193847656e-07, 6.640329957008362e-07, 1.477077603340149e-06, 2.2901222109794617e-06, 3.1031668186187744e-06, 3.916211426258087e-06, 4.7292560338974e-06, 5.542300641536713e-06, 6.355345249176025e-06, 7.168389856815338e-06, 7.981434464454651e-06, 8.794479072093964e-06, 9.607523679733276e-06, 1.0420568287372589e-05, 1.1233612895011902e-05, 1.2046657502651215e-05, 1.2859702110290527e-05, 1.367274671792984e-05, 1.4485791325569153e-05, 1.5298835933208466e-05, 1.611188054084778e-05, 1.692492514848709e-05, 1.7737969756126404e-05, 1.8551014363765717e-05, 1.936405897140503e-05, 2.0177103579044342e-05, 2.0990148186683655e-05, 2.1803192794322968e-05, 2.261623740196228e-05, 2.3429282009601593e-05, 2.4242326617240906e-05, 2.505537122488022e-05, 2.586841583251953e-05]}, "gradients/encoder.encoder.layers.0.attention.k_proj.weight": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 3.0, 6.0, 4.0, 5.0, 15.0, 8.0, 4.0, 20.0, 14.0, 27.0, 26.0, 31.0, 59.0, 73.0, 96.0, 138.0, 216.0, 299.0, 540.0, 954.0, 1811.0, 4416.0, 11200.0, 39757.0, 756221.0, 190963.0, 26016.0, 8452.0, 3472.0, 1636.0, 786.0, 407.0, 274.0, 171.0, 126.0, 80.0, 55.0, 36.0, 33.0, 27.0, 15.0, 12.0, 10.0, 11.0, 6.0, 3.0, 10.0, 6.0, 4.0, 1.0, 3.0, 2.0, 1.0, 1.0, 2.0], "bins": [-2.7894973754882812e-05, -2.7070753276348114e-05, -2.6246532797813416e-05, -2.5422312319278717e-05, -2.459809184074402e-05, -2.377387136220932e-05, -2.294965088367462e-05, -2.2125430405139923e-05, -2.1301209926605225e-05, -2.0476989448070526e-05, -1.9652768969535828e-05, -1.882854849100113e-05, -1.800432801246643e-05, -1.7180107533931732e-05, -1.6355887055397034e-05, -1.5531666576862335e-05, -1.4707446098327637e-05, -1.3883225619792938e-05, -1.305900514125824e-05, -1.2234784662723541e-05, -1.1410564184188843e-05, -1.0586343705654144e-05, -9.762123227119446e-06, -8.937902748584747e-06, -8.113682270050049e-06, -7.28946179151535e-06, -6.465241312980652e-06, -5.641020834445953e-06, -4.816800355911255e-06, -3.992579877376556e-06, -3.168359398841858e-06, -2.3441389203071594e-06, -1.519918441772461e-06, -6.956979632377625e-07, 1.2852251529693604e-07, 9.527429938316345e-07, 1.776963472366333e-06, 2.6011839509010315e-06, 3.42540442943573e-06, 4.2496249079704285e-06, 5.073845386505127e-06, 5.8980658650398254e-06, 6.722286343574524e-06, 7.546506822109222e-06, 8.370727300643921e-06, 9.19494777917862e-06, 1.0019168257713318e-05, 1.0843388736248016e-05, 1.1667609214782715e-05, 1.2491829693317413e-05, 1.3316050171852112e-05, 1.414027065038681e-05, 1.4964491128921509e-05, 1.5788711607456207e-05, 1.6612932085990906e-05, 1.7437152564525604e-05, 1.8261373043060303e-05, 1.9085593521595e-05, 1.99098140001297e-05, 2.0734034478664398e-05, 2.1558254957199097e-05, 2.2382475435733795e-05, 2.3206695914268494e-05, 2.4030916392803192e-05, 2.485513687133789e-05]}, "gradients/encoder.encoder.layers.0.attention.k_proj.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 3.0, 0.0, 6.0, 0.0, 11.0, 0.0, 9.0, 0.0, 20.0, 0.0, 25.0, 0.0, 24.0, 33.0, 0.0, 28.0, 0.0, 46.0, 0.0, 41.0, 0.0, 53.0, 0.0, 55.0, 0.0, 48.0, 0.0, 68.0, 0.0, 69.0, 56.0, 0.0, 67.0, 0.0, 61.0, 0.0, 55.0, 0.0, 38.0, 0.0, 55.0, 0.0, 43.0, 0.0, 34.0, 19.0, 0.0, 17.0, 0.0, 5.0, 0.0, 7.0, 0.0, 9.0, 0.0, 5.0, 0.0, 4.0, 0.0, 4.0, 3.0], "bins": [-1.0132789611816406e-06, -9.816139936447144e-07, -9.499490261077881e-07, -9.182840585708618e-07, -8.866190910339355e-07, -8.549541234970093e-07, -8.23289155960083e-07, -7.916241884231567e-07, -7.599592208862305e-07, -7.282942533493042e-07, -6.966292858123779e-07, -6.649643182754517e-07, -6.332993507385254e-07, -6.016343832015991e-07, -5.699694156646729e-07, -5.383044481277466e-07, -5.066394805908203e-07, -4.7497451305389404e-07, -4.4330954551696777e-07, -4.116445779800415e-07, -3.7997961044311523e-07, -3.4831464290618896e-07, -3.166496753692627e-07, -2.849847078323364e-07, -2.5331974029541016e-07, -2.2165477275848389e-07, -1.8998980522155762e-07, -1.5832483768463135e-07, -1.2665987014770508e-07, -9.499490261077881e-08, -6.332993507385254e-08, -3.166496753692627e-08, 0.0, 3.166496753692627e-08, 6.332993507385254e-08, 9.499490261077881e-08, 1.2665987014770508e-07, 1.5832483768463135e-07, 1.8998980522155762e-07, 2.2165477275848389e-07, 2.5331974029541016e-07, 2.849847078323364e-07, 3.166496753692627e-07, 3.4831464290618896e-07, 3.7997961044311523e-07, 4.116445779800415e-07, 4.4330954551696777e-07, 4.7497451305389404e-07, 5.066394805908203e-07, 5.383044481277466e-07, 5.699694156646729e-07, 6.016343832015991e-07, 6.332993507385254e-07, 6.649643182754517e-07, 6.966292858123779e-07, 7.282942533493042e-07, 7.599592208862305e-07, 7.916241884231567e-07, 8.23289155960083e-07, 8.549541234970093e-07, 8.866190910339355e-07, 9.182840585708618e-07, 9.499490261077881e-07, 9.816139936447144e-07, 1.0132789611816406e-06]}, "gradients/encoder.encoder.layers.0.attention.q_proj.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 1.0, 8.0, 9.0, 12.0, 16.0, 29.0, 48.0, 91.0, 161.0, 319.0, 742.0, 1677.0, 5554.0, 48872.0, 964474.0, 20664.0, 3428.0, 1137.0, 539.0, 273.0, 173.0, 116.0, 69.0, 47.0, 26.0, 24.0, 11.0, 12.0, 4.0, 4.0, 3.0, 3.0, 2.0, 3.0, 1.0, 1.0, 3.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-7.736682891845703e-05, -7.489882409572601e-05, -7.2430819272995e-05, -6.996281445026398e-05, -6.749480962753296e-05, -6.502680480480194e-05, -6.255879998207092e-05, -6.0090795159339905e-05, -5.762279033660889e-05, -5.515478551387787e-05, -5.268678069114685e-05, -5.021877586841583e-05, -4.7750771045684814e-05, -4.5282766222953796e-05, -4.281476140022278e-05, -4.034675657749176e-05, -3.787875175476074e-05, -3.5410746932029724e-05, -3.2942742109298706e-05, -3.0474737286567688e-05, -2.800673246383667e-05, -2.5538727641105652e-05, -2.3070722818374634e-05, -2.0602717995643616e-05, -1.8134713172912598e-05, -1.566670835018158e-05, -1.3198703527450562e-05, -1.0730698704719543e-05, -8.262693881988525e-06, -5.794689059257507e-06, -3.3266842365264893e-06, -8.586794137954712e-07, 1.6093254089355469e-06, 4.077330231666565e-06, 6.545335054397583e-06, 9.013339877128601e-06, 1.1481344699859619e-05, 1.3949349522590637e-05, 1.6417354345321655e-05, 1.8885359168052673e-05, 2.135336399078369e-05, 2.382136881351471e-05, 2.6289373636245728e-05, 2.8757378458976746e-05, 3.1225383281707764e-05, 3.369338810443878e-05, 3.61613929271698e-05, 3.862939774990082e-05, 4.1097402572631836e-05, 4.3565407395362854e-05, 4.603341221809387e-05, 4.850141704082489e-05, 5.096942186355591e-05, 5.3437426686286926e-05, 5.5905431509017944e-05, 5.837343633174896e-05, 6.084144115447998e-05, 6.3309445977211e-05, 6.577745079994202e-05, 6.824545562267303e-05, 7.071346044540405e-05, 7.318146526813507e-05, 7.564947009086609e-05, 7.811747491359711e-05, 8.058547973632812e-05]}, "gradients/encoder.encoder.layers.0.attention.q_proj.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 2.0, 8.0, 5.0, 8.0, 31.0, 43.0, 145.0, 470.0, 166.0, 53.0, 18.0, 13.0, 12.0, 3.0, 5.0, 1.0, 3.0, 2.0, 0.0, 3.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0], "bins": [-8.463859558105469e-05, -8.196011185646057e-05, -7.928162813186646e-05, -7.660314440727234e-05, -7.392466068267822e-05, -7.12461769580841e-05, -6.856769323348999e-05, -6.588920950889587e-05, -6.321072578430176e-05, -6.053224205970764e-05, -5.7853758335113525e-05, -5.517527461051941e-05, -5.249679088592529e-05, -4.981830716133118e-05, -4.713982343673706e-05, -4.4461339712142944e-05, -4.178285598754883e-05, -3.910437226295471e-05, -3.6425888538360596e-05, -3.374740481376648e-05, -3.106892108917236e-05, -2.8390437364578247e-05, -2.571195363998413e-05, -2.3033469915390015e-05, -2.03549861907959e-05, -1.7676502466201782e-05, -1.4998018741607666e-05, -1.231953501701355e-05, -9.641051292419434e-06, -6.962567567825317e-06, -4.284083843231201e-06, -1.605600118637085e-06, 1.0728836059570312e-06, 3.7513673305511475e-06, 6.429851055145264e-06, 9.10833477973938e-06, 1.1786818504333496e-05, 1.4465302228927612e-05, 1.714378595352173e-05, 1.9822269678115845e-05, 2.250075340270996e-05, 2.5179237127304077e-05, 2.7857720851898193e-05, 3.053620457649231e-05, 3.3214688301086426e-05, 3.589317202568054e-05, 3.857165575027466e-05, 4.1250139474868774e-05, 4.392862319946289e-05, 4.660710692405701e-05, 4.928559064865112e-05, 5.196407437324524e-05, 5.4642558097839355e-05, 5.732104182243347e-05, 5.999952554702759e-05, 6.26780092716217e-05, 6.535649299621582e-05, 6.803497672080994e-05, 7.071346044540405e-05, 7.339194416999817e-05, 7.607042789459229e-05, 7.87489116191864e-05, 8.142739534378052e-05, 8.410587906837463e-05, 8.678436279296875e-05]}, "gradients/encoder.encoder.layers.0.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 5.0, 5.0, 9.0, 7.0, 26.0, 40.0, 59.0, 147.0, 230.0, 230.0, 124.0, 60.0, 27.0, 21.0, 6.0, 6.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0004745104524772614, -0.00044932845048606396, -0.00042414647759869695, -0.0003989644756074995, -0.000373782473616302, -0.000348600500728935, -0.00032341849873773754, -0.00029823649674654007, -0.00027305452385917306, -0.0002478725218679756, -0.00022269054898060858, -0.00019750854698941112, -0.00017232655955012888, -0.00014714457211084664, -0.00012196257011964917, -9.678058268036693e-05, -7.15985952410847e-05, -4.641660416382365e-05, -2.1234613086562604e-05, 3.947381628677249e-06, 2.9129369067959487e-05, 5.4311356507241726e-05, 7.949335849843919e-05, 0.00010467534593772143, 0.00012985733337700367, 0.0001550393208162859, 0.00018022130825556815, 0.00020540331024676561, 0.00023058529768604785, 0.0002557672851253301, 0.00028094928711652756, 0.00030613126000389457, 0.0003313132328912616, 0.00035649523488245904, 0.00038167720776982605, 0.0004068592097610235, 0.00043204118264839053, 0.000457223184639588, 0.00048240518663078547, 0.0005075871595181525, 0.0005327691324055195, 0.0005579511052928865, 0.0005831331363879144, 0.0006083151092752814, 0.0006334970821626484, 0.0006586790550500154, 0.0006838610861450434, 0.0007090430590324104, 0.0007342250901274383, 0.0007594070630148053, 0.0007845890941098332, 0.0008097710669972003, 0.0008349530398845673, 0.0008601350709795952, 0.0008853170438669622, 0.0009104990167543292, 0.0009356810478493571, 0.0009608630207367241, 0.0009860449936240911, 0.001011227024719119, 0.001036409055814147, 0.001061590970493853, 0.001086773001588881, 0.001111955032683909, 0.001137136947363615]}, "gradients/encoder.encoder.layers.0.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 4.0, 2.0, 3.0, 2.0, 8.0, 6.0, 6.0, 7.0, 13.0, 20.0, 23.0, 38.0, 55.0, 50.0, 61.0, 74.0, 82.0, 96.0, 76.0, 92.0, 64.0, 60.0, 31.0, 38.0, 36.0, 28.0, 11.0, 7.0, 6.0, 4.0, 6.0, 0.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.000755608081817627, -0.0007368577644228935, -0.0007181074470281601, -0.0006993571296334267, -0.0006806068122386932, -0.0006618564948439598, -0.0006431061774492264, -0.000624355860054493, -0.0006056055426597595, -0.0005868552252650261, -0.0005681049078702927, -0.0005493545904755592, -0.0005306042730808258, -0.0005118539556860924, -0.000493103638291359, -0.0004743533208966255, -0.0004556030035018921, -0.00043685268610715866, -0.00041810236871242523, -0.0003993520513176918, -0.0003806017339229584, -0.00036185141652822495, -0.0003431010991334915, -0.0003243507817387581, -0.00030560046434402466, -0.00028685014694929123, -0.0002680998295545578, -0.00024934951215982437, -0.00023059919476509094, -0.0002118488773703575, -0.00019309855997562408, -0.00017434824258089066, -0.00015559792518615723, -0.0001368476077914238, -0.00011809729039669037, -9.934697300195694e-05, -8.059665560722351e-05, -6.184633821249008e-05, -4.309602081775665e-05, -2.4345703423023224e-05, -5.595386028289795e-06, 1.3154931366443634e-05, 3.190524876117706e-05, 5.065556615591049e-05, 6.940588355064392e-05, 8.815620094537735e-05, 0.00010690651834011078, 0.0001256568357348442, 0.00014440715312957764, 0.00016315747052431107, 0.0001819077879190445, 0.00020065810531377792, 0.00021940842270851135, 0.00023815874010324478, 0.0002569090574979782, 0.00027565937489271164, 0.00029440969228744507, 0.0003131600096821785, 0.0003319103270769119, 0.00035066064447164536, 0.0003694109618663788, 0.0003881612792611122, 0.00040691159665584564, 0.00042566191405057907, 0.0004444122314453125]}, "gradients/encoder.encoder.pos_conv_embed.conv.bias": {"_type": "histogram", "values": [3.0, 1.0, 0.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 2.0, 3.0, 2.0, 3.0, 0.0, 2.0, 9.0, 6.0, 5.0, 10.0, 13.0, 17.0, 19.0, 31.0, 44.0, 87.0, 387.0, 165.0, 53.0, 47.0, 31.0, 17.0, 9.0, 11.0, 5.0, 9.0, 9.0, 3.0, 1.0, 3.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.414817810058594e-05, -7.126759737730026e-05, -6.838701665401459e-05, -6.550643593072891e-05, -6.262585520744324e-05, -5.974527448415756e-05, -5.686469376087189e-05, -5.398411303758621e-05, -5.110353231430054e-05, -4.822295159101486e-05, -4.534237086772919e-05, -4.246179014444351e-05, -3.958120942115784e-05, -3.670062869787216e-05, -3.382004797458649e-05, -3.093946725130081e-05, -2.8058886528015137e-05, -2.517830580472946e-05, -2.2297725081443787e-05, -1.941714435815811e-05, -1.6536563634872437e-05, -1.3655982911586761e-05, -1.0775402188301086e-05, -7.894821465015411e-06, -5.014240741729736e-06, -2.1336600184440613e-06, 7.469207048416138e-07, 3.627501428127289e-06, 6.508082151412964e-06, 9.388662874698639e-06, 1.2269243597984314e-05, 1.5149824321269989e-05, 1.8030405044555664e-05, 2.091098576784134e-05, 2.3791566491127014e-05, 2.667214721441269e-05, 2.9552727937698364e-05, 3.243330866098404e-05, 3.5313889384269714e-05, 3.819447010755539e-05, 4.1075050830841064e-05, 4.395563155412674e-05, 4.6836212277412415e-05, 4.971679300069809e-05, 5.2597373723983765e-05, 5.547795444726944e-05, 5.8358535170555115e-05, 6.123911589384079e-05, 6.411969661712646e-05, 6.700027734041214e-05, 6.988085806369781e-05, 7.276143878698349e-05, 7.564201951026917e-05, 7.852260023355484e-05, 8.140318095684052e-05, 8.428376168012619e-05, 8.716434240341187e-05, 9.004492312669754e-05, 9.292550384998322e-05, 9.580608457326889e-05, 9.868666529655457e-05, 0.00010156724601984024, 0.00010444782674312592, 0.00010732840746641159, 0.00011020898818969727]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_v": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 8.0, 7.0, 15.0, 20.0, 37.0, 56.0, 76.0, 109.0, 170.0, 309.0, 524.0, 847.0, 1584.0, 3213.0, 8118.0, 28562.0, 904908.0, 7394696.0, 30939.0, 8056.0, 3221.0, 1441.0, 671.0, 399.0, 235.0, 130.0, 77.0, 53.0, 33.0, 24.0, 15.0, 9.0, 7.0, 7.0, 5.0, 3.0, 4.0, 2.0, 1.0, 2.0, 0.0, 4.0], "bins": [-6.191468855831772e-05, -6.032883175066672e-05, -5.874297858099453e-05, -5.715712177334353e-05, -5.557126860367134e-05, -5.3985411796020344e-05, -5.2399554988369346e-05, -5.0813701818697155e-05, -4.9227845011046156e-05, -4.764198820339516e-05, -4.605613503372297e-05, -4.447027822607197e-05, -4.288442505639978e-05, -4.129856824874878e-05, -3.971271507907659e-05, -3.812685827142559e-05, -3.654100146377459e-05, -3.4955144656123593e-05, -3.33692914864514e-05, -3.1783434678800404e-05, -3.019757969013881e-05, -2.8611724701477215e-05, -2.702586971281562e-05, -2.5440014724154025e-05, -2.3854161554481834e-05, -2.226830656582024e-05, -2.0682451577158645e-05, -1.9096594769507647e-05, -1.7510739780846052e-05, -1.5924884792184457e-05, -1.4339029803522862e-05, -1.2753173905366566e-05, -1.116731800721027e-05, -9.581463018548675e-06, -7.995607120392378e-06, -6.409752131730784e-06, -4.823896688321838e-06, -3.2380412449128926e-06, -1.6521862562512979e-06, -6.633035809500143e-08, 1.5195246305665933e-06, 3.105380073975539e-06, 4.691235517384484e-06, 6.277090506046079e-06, 7.862945494707674e-06, 9.44880139286397e-06, 1.1034656381525565e-05, 1.2620512279681861e-05, 1.4206367268343456e-05, 1.579222225700505e-05, 1.7378077245666645e-05, 1.896393223432824e-05, 2.054978904197924e-05, 2.2135644030640833e-05, 2.3721499019302428e-05, 2.5307355826953426e-05, 2.6893208996625617e-05, 2.8479063985287212e-05, 3.0064918973948807e-05, 3.1650775781599805e-05, 3.3236628951271996e-05, 3.4822485758922994e-05, 3.6408338928595185e-05, 3.7994195736246184e-05, 3.958005254389718e-05]}, "gradients/encoder.encoder.pos_conv_embed.conv.weight_g": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 4.0, 5.0, 8.0, 26.0, 22.0, 12.0, 6.0, 5.0, 6.0, 5.0, 1.0, 1.0, 1.0, 2.0, 0.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00033665975206531584, -0.00031727735768072307, -0.00029789499239996076, -0.000278512598015368, -0.0002591302036307752, -0.0002397478383500129, -0.00022036544396542013, -0.00020098306413274258, -0.00018160068430006504, -0.0001622183044673875, -0.00014283592463470995, -0.00012345353025011718, -0.00010407115041743964, -8.46887705847621e-05, -6.530638347612694e-05, -4.592399636749178e-05, -2.654161653481424e-05, -7.159233064157888e-06, 1.2223150406498462e-05, 3.160553387715481e-05, 5.098791734781116e-05, 7.03702971804887e-05, 8.975268428912386e-05, 0.00010913507139775902, 0.00012851745123043656, 0.0001478998310631141, 0.00016728221089579165, 0.00018666460528038442, 0.00020604698511306196, 0.0002254293649457395, 0.0002448117593303323, 0.00026419415371492505, 0.0002835765480995178, 0.0003029589424841106, 0.0003223413077648729, 0.0003417237021494657, 0.000361106067430228, 0.00038048846181482077, 0.00039987085619941354, 0.0004192532505840063, 0.0004386356158647686, 0.0004580180102493614, 0.0004774003755301237, 0.0004967827699147165, 0.0005161651642993093, 0.0005355475004762411, 0.0005549298948608339, 0.0005743122892454267, 0.0005936946836300194, 0.0006130770780146122, 0.000632459472399205, 0.0006518418085761368, 0.0006712242029607296, 0.0006906065973453224, 0.0007099889917299151, 0.0007293713861145079, 0.0007487537804991007, 0.0007681361748836935, 0.0007875185692682862, 0.0008069009054452181, 0.0008262832998298109, 0.0008456656942144036, 0.0008650480885989964, 0.0008844304829835892, 0.000903812819160521]}, "gradients/encoder.masked_spec_embed": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 4.0, 2.0, 3.0, 4.0, 1.0, 5.0, 9.0, 4.0, 12.0, 16.0, 28.0, 44.0, 53.0, 66.0, 84.0, 130.0, 135.0, 109.0, 75.0, 67.0, 40.0, 36.0, 19.0, 19.0, 21.0, 12.0, 6.0, 6.0, 3.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.00018703937530517578, -0.00018251128494739532, -0.00017798319458961487, -0.0001734551042318344, -0.00016892701387405396, -0.0001643989235162735, -0.00015987083315849304, -0.00015534274280071259, -0.00015081465244293213, -0.00014628656208515167, -0.00014175847172737122, -0.00013723038136959076, -0.0001327022910118103, -0.00012817420065402985, -0.0001236461102962494, -0.00011911801993846893, -0.00011458992958068848, -0.00011006183922290802, -0.00010553374886512756, -0.00010100565850734711, -9.647756814956665e-05, -9.19494777917862e-05, -8.742138743400574e-05, -8.289329707622528e-05, -7.836520671844482e-05, -7.383711636066437e-05, -6.930902600288391e-05, -6.478093564510345e-05, -6.0252845287323e-05, -5.572475492954254e-05, -5.1196664571762085e-05, -4.666857421398163e-05, -4.214048385620117e-05, -3.7612393498420715e-05, -3.308430314064026e-05, -2.8556212782859802e-05, -2.4028122425079346e-05, -1.950003206729889e-05, -1.4971941709518433e-05, -1.0443851351737976e-05, -5.9157609939575195e-06, -1.387670636177063e-06, 3.1404197216033936e-06, 7.66851007938385e-06, 1.2196600437164307e-05, 1.6724690794944763e-05, 2.125278115272522e-05, 2.5780871510505676e-05, 3.0308961868286133e-05, 3.483705222606659e-05, 3.9365142583847046e-05, 4.38932329416275e-05, 4.842132329940796e-05, 5.2949413657188416e-05, 5.747750401496887e-05, 6.200559437274933e-05, 6.653368473052979e-05, 7.106177508831024e-05, 7.55898654460907e-05, 8.011795580387115e-05, 8.464604616165161e-05, 8.917413651943207e-05, 9.370222687721252e-05, 9.823031723499298e-05, 0.00010275840759277344]}, "gradients/encoder.feature_projection.projection.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 3.0, 3.0, 1.0, 4.0, 5.0, 4.0, 14.0, 17.0, 24.0, 49.0, 83.0, 127.0, 217.0, 451.0, 1010.0, 2288.0, 6287.0, 23433.0, 180978.0, 264633.0, 31957.0, 7868.0, 2565.0, 1054.0, 506.0, 284.0, 170.0, 92.0, 49.0, 32.0, 17.0, 21.0, 12.0, 7.0, 5.0, 7.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001844167709350586, -0.00017828866839408875, -0.0001721605658531189, -0.00016603246331214905, -0.0001599043607711792, -0.00015377625823020935, -0.0001476481556892395, -0.00014152005314826965, -0.0001353919506072998, -0.00012926384806632996, -0.0001231357455253601, -0.00011700764298439026, -0.00011087954044342041, -0.00010475143790245056, -9.862333536148071e-05, -9.249523282051086e-05, -8.636713027954102e-05, -8.023902773857117e-05, -7.411092519760132e-05, -6.798282265663147e-05, -6.185472011566162e-05, -5.572661757469177e-05, -4.9598515033721924e-05, -4.3470412492752075e-05, -3.7342309951782227e-05, -3.121420741081238e-05, -2.508610486984253e-05, -1.895800232887268e-05, -1.2829899787902832e-05, -6.701797246932983e-06, -5.736947059631348e-07, 5.554407835006714e-06, 1.1682510375976562e-05, 1.781061291694641e-05, 2.393871545791626e-05, 3.006681799888611e-05, 3.619492053985596e-05, 4.2323023080825806e-05, 4.8451125621795654e-05, 5.45792281627655e-05, 6.070733070373535e-05, 6.68354332447052e-05, 7.296353578567505e-05, 7.90916383266449e-05, 8.521974086761475e-05, 9.13478434085846e-05, 9.747594594955444e-05, 0.00010360404849052429, 0.00010973215103149414, 0.00011586025357246399, 0.00012198835611343384, 0.0001281164586544037, 0.00013424456119537354, 0.00014037266373634338, 0.00014650076627731323, 0.00015262886881828308, 0.00015875697135925293, 0.00016488507390022278, 0.00017101317644119263, 0.00017714127898216248, 0.00018326938152313232, 0.00018939748406410217, 0.00019552558660507202, 0.00020165368914604187, 0.00020778179168701172]}, "gradients/encoder.feature_projection.projection.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 5.0, 3.0, 6.0, 9.0, 13.0, 21.0, 26.0, 37.0, 42.0, 52.0, 61.0, 69.0, 97.0, 89.0, 96.0, 82.0, 85.0, 47.0, 41.0, 31.0, 30.0, 16.0, 10.0, 13.0, 6.0, 5.0, 7.0, 6.0, 3.0, 1.0, 2.0, 2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-2.4199485778808594e-05, -2.3546628654003143e-05, -2.2893771529197693e-05, -2.2240914404392242e-05, -2.1588057279586792e-05, -2.093520015478134e-05, -2.028234302997589e-05, -1.962948590517044e-05, -1.897662878036499e-05, -1.832377165555954e-05, -1.767091453075409e-05, -1.701805740594864e-05, -1.636520028114319e-05, -1.5712343156337738e-05, -1.5059486031532288e-05, -1.4406628906726837e-05, -1.3753771781921387e-05, -1.3100914657115936e-05, -1.2448057532310486e-05, -1.1795200407505035e-05, -1.1142343282699585e-05, -1.0489486157894135e-05, -9.836629033088684e-06, -9.183771908283234e-06, -8.530914783477783e-06, -7.878057658672333e-06, -7.225200533866882e-06, -6.572343409061432e-06, -5.9194862842559814e-06, -5.266629159450531e-06, -4.6137720346450806e-06, -3.96091490983963e-06, -3.3080577850341797e-06, -2.6552006602287292e-06, -2.002343535423279e-06, -1.3494864106178284e-06, -6.966292858123779e-07, -4.377216100692749e-08, 6.09084963798523e-07, 1.2619420886039734e-06, 1.914799213409424e-06, 2.5676563382148743e-06, 3.2205134630203247e-06, 3.873370587825775e-06, 4.526227712631226e-06, 5.179084837436676e-06, 5.8319419622421265e-06, 6.484799087047577e-06, 7.137656211853027e-06, 7.790513336658478e-06, 8.443370461463928e-06, 9.096227586269379e-06, 9.749084711074829e-06, 1.040194183588028e-05, 1.105479896068573e-05, 1.170765608549118e-05, 1.2360513210296631e-05, 1.3013370335102081e-05, 1.3666227459907532e-05, 1.4319084584712982e-05, 1.4971941709518433e-05, 1.5624798834323883e-05, 1.6277655959129333e-05, 1.6930513083934784e-05, 1.7583370208740234e-05]}, "gradients/encoder.feature_projection.layer_norm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 4.0, 0.0, 2.0, 2.0, 3.0, 5.0, 3.0, 9.0, 9.0, 16.0, 23.0, 15.0, 25.0, 42.0, 58.0, 55.0, 63.0, 50.0, 37.0, 31.0, 14.0, 10.0, 6.0, 8.0, 6.0, 1.0, 1.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010279625712428242, -9.981842595152557e-05, -9.68405875028111e-05, -9.386274905409664e-05, -9.088491788133979e-05, -8.790708670858294e-05, -8.492924825986847e-05, -8.195140981115401e-05, -7.897357863839716e-05, -7.59957474656403e-05, -7.301790901692584e-05, -7.004007056821138e-05, -6.706223939545453e-05, -6.408440822269768e-05, -6.110656977398321e-05, -5.812873496324755e-05, -5.5150900152511895e-05, -5.217306534177624e-05, -4.919523053104058e-05, -4.621739572030492e-05, -4.3239560909569263e-05, -4.0261726098833606e-05, -3.728389128809795e-05, -3.430605647736229e-05, -3.132822166662663e-05, -2.8350386855890974e-05, -2.5372552045155317e-05, -2.239471723441966e-05, -1.9416882423684e-05, -1.6439047612948343e-05, -1.3461212802212685e-05, -1.0483377991477028e-05, -7.50554318074137e-06, -4.527708370005712e-06, -1.549873559270054e-06, 1.4279612514656037e-06, 4.4057960622012615e-06, 7.383630872936919e-06, 1.0361465683672577e-05, 1.3339300494408235e-05, 1.6317135305143893e-05, 1.929497011587955e-05, 2.227280492661521e-05, 2.5250639737350866e-05, 2.8228474548086524e-05, 3.120630935882218e-05, 3.418414416955784e-05, 3.71619789802935e-05, 4.0139813791029155e-05, 4.311764860176481e-05, 4.609548341250047e-05, 4.907331822323613e-05, 5.2051153033971786e-05, 5.5028987844707444e-05, 5.80068226554431e-05, 6.098465746617876e-05, 6.396249227691442e-05, 6.694032344967127e-05, 6.991816189838573e-05, 7.28960003471002e-05, 7.587383151985705e-05, 7.88516626926139e-05, 8.182950114132836e-05, 8.480733959004283e-05, 8.778517076279968e-05]}, "gradients/encoder.feature_projection.layer_norm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 3.0, 1.0, 5.0, 5.0, 11.0, 10.0, 7.0, 7.0, 16.0, 17.0, 19.0, 34.0, 20.0, 34.0, 22.0, 33.0, 36.0, 30.0, 22.0, 35.0, 27.0, 24.0, 15.0, 13.0, 12.0, 10.0, 6.0, 8.0, 6.0, 4.0, 6.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00011539459228515625, -0.00011178944259881973, -0.00010818429291248322, -0.0001045791432261467, -0.00010097399353981018, -9.736884385347366e-05, -9.376369416713715e-05, -9.015854448080063e-05, -8.655339479446411e-05, -8.29482451081276e-05, -7.934309542179108e-05, -7.573794573545456e-05, -7.213279604911804e-05, -6.852764636278152e-05, -6.492249667644501e-05, -6.131734699010849e-05, -5.771219730377197e-05, -5.4107047617435455e-05, -5.050189793109894e-05, -4.689674824476242e-05, -4.32915985584259e-05, -3.9686448872089386e-05, -3.608129918575287e-05, -3.247614949941635e-05, -2.8870999813079834e-05, -2.5265850126743317e-05, -2.16607004404068e-05, -1.8055550754070282e-05, -1.4450401067733765e-05, -1.0845251381397247e-05, -7.24010169506073e-06, -3.6349520087242126e-06, -2.9802322387695312e-08, 3.575347363948822e-06, 7.180497050285339e-06, 1.0785646736621857e-05, 1.4390796422958374e-05, 1.799594610929489e-05, 2.160109579563141e-05, 2.5206245481967926e-05, 2.8811395168304443e-05, 3.241654485464096e-05, 3.602169454097748e-05, 3.9626844227313995e-05, 4.323199391365051e-05, 4.683714359998703e-05, 5.044229328632355e-05, 5.4047442972660065e-05, 5.765259265899658e-05, 6.12577423453331e-05, 6.486289203166962e-05, 6.846804171800613e-05, 7.207319140434265e-05, 7.567834109067917e-05, 7.928349077701569e-05, 8.28886404633522e-05, 8.649379014968872e-05, 9.009893983602524e-05, 9.370408952236176e-05, 9.730923920869827e-05, 0.00010091438889503479, 0.00010451953858137131, 0.00010812468826770782, 0.00011172983795404434, 0.00011533498764038086]}, "eval/loss": 18.981948852539062, "eval/bleu": 0.0, "eval/runtime": 3751.3356, "eval/samples_per_second": 3.935, "eval/steps_per_second": 0.984}
\ No newline at end of file