{"gradients/classifier.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.202251486480236e-05, -5.076711022411473e-05, -4.9511701945448294e-05, -4.8256297304760665e-05, -4.7000892664073035e-05, -4.5745488023385406e-05, -4.449007974471897e-05, -4.323467510403134e-05, -4.197927046334371e-05, -4.072386582265608e-05, -3.9468457543989643e-05, -3.8213052903302014e-05, -3.6957648262614384e-05, -3.5702243621926755e-05, -3.444683534326032e-05, -3.319143070257269e-05, -3.193602242390625e-05, -3.068061778321862e-05, -2.942521132354159e-05, -2.8169804863864556e-05, -2.6914400223176926e-05, -2.5658993763499893e-05, -2.440358730382286e-05, -2.314818266313523e-05, -2.1892776203458197e-05, -2.0637369743781164e-05, -1.9381965103093535e-05, -1.81265586434165e-05, -1.687115218373947e-05, -1.561574754305184e-05, -1.4360341083374806e-05, -1.3104935533192474e-05, -1.184953362098895e-05, -1.0594128070806619e-05, -9.338722520624287e-06, -8.083316060947254e-06, -6.827910510764923e-06, -5.572504960582592e-06, -4.317098955652909e-06, -3.061692950723227e-06, -1.8062874005408958e-06, -5.50881622984889e-07, 7.045241545711178e-07, 1.9599299321271246e-06, 3.2153357096831314e-06, 4.470741259865463e-06, 5.726147264795145e-06, 6.981553269724827e-06, 8.236958819907159e-06, 9.49236437008949e-06, 1.0747769920271821e-05, 1.2003176379948854e-05, 1.3258581930131186e-05, 1.4513987480313517e-05, 1.576939393999055e-05, 1.702479858067818e-05, 1.8280205040355213e-05, 1.9535611500032246e-05, 2.0791016140719876e-05, 2.204642260039691e-05, 2.3301829060073942e-05, 2.455723370076157e-05, 2.5812640160438605e-05, 2.7068046620115638e-05, 2.8323451260803267e-05]}, "gradients/classifier.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 5.0, 6.0, 12.0, 11.0, 14.0, 33.0, 41.0, 46.0, 66.0, 111.0, 235.0, 382.0, 762.0, 2403.0, 5669.0, 1894.0, 706.0, 368.0, 200.0, 110.0, 83.0, 49.0, 27.0, 25.0, 16.0, 11.0, 6.0, 5.0, 7.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00029932823963463306, -0.0002853554324246943, -0.0002713825961109251, -0.0002574097889009863, -0.0002434369525872171, -0.00022946414537727833, -0.00021549132361542434, -0.00020151850185357034, -0.00018754568009171635, -0.00017357285832986236, -0.00015960003656800836, -0.00014562721480615437, -0.0001316544075962156, -0.000117681578558404, -0.00010370876407250762, -8.973594231065363e-05, -7.576312054879963e-05, -6.179029878694564e-05, -4.7817480663070455e-05, -3.384466253919527e-05, -1.9871840777341276e-05, -5.8990190154872835e-06, 8.073795470409095e-06, 2.2046617232263088e-05, 3.601943899411708e-05, 4.9992260755971074e-05, 6.396508251782507e-05, 7.793789700372145e-05, 9.191071876557544e-05, 0.00010588354052742943, 0.00011985635501332581, 0.0001338291767751798, 0.0001478019985370338, 0.0001617748202988878, 0.00017574764206074178, 0.00018972044927068055, 0.00020369328558444977, 0.00021766609279438853, 0.00023163891455624253, 0.0002456117363180965, 0.00025958457263186574, 0.0002735573798418045, 0.0002875302161555737, 0.0003015030233655125, 0.0003154758596792817, 0.0003294486668892205, 0.00034342147409915924, 0.00035739431041292846, 0.0003713671176228672, 0.000385339924832806, 0.0003993127611465752, 0.000413285568356514, 0.0004272584046702832, 0.00044123121188022196, 0.0004552040481939912, 0.00046917685540392995, 0.0004831496626138687, 0.0004971224698238075, 0.0005110952770337462, 0.0005250681424513459, 0.0005390409496612847, 0.0005530137568712234, 0.0005669865640811622, 0.000580959371291101, 0.0005949322367087007]}, "gradients/bert.encoder.layer.23.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 7.0, 4.0, 8.0, 10.0, 7.0, 18.0, 10.0, 14.0, 31.0, 39.0, 44.0, 66.0, 91.0, 105.0, 125.0, 123.0, 148.0, 116.0, 31.0, 16.0, 5.0, 2.0, 1.0, 1.0], "bins": [-4.480287680053152e-05, -4.40258409071248e-05, -4.3248801375739276e-05, -4.247176548233256e-05, -4.169472595094703e-05, -4.091769005754031e-05, -4.0140650526154786e-05, -3.936361463274807e-05, -3.858657510136254e-05, -3.780953920795582e-05, -3.7032499676570296e-05, -3.625546378316358e-05, -3.547842425177805e-05, -3.470138835837133e-05, -3.3924348826985806e-05, -3.314731293357909e-05, -3.237027340219356e-05, -3.159323750878684e-05, -3.0816197977401316e-05, -3.0039160265005194e-05, -2.926212255260907e-05, -2.848508484021295e-05, -2.7708047127816826e-05, -2.6931009415420704e-05, -2.6153973522013985e-05, -2.5376935809617862e-05, -2.459989809722174e-05, -2.3822860384825617e-05, -2.3045822672429495e-05, -2.2268784960033372e-05, -2.149174724763725e-05, -2.0714709535241127e-05, -1.99376700038556e-05, -1.916063229145948e-05, -1.8383594579063356e-05, -1.7606556866667233e-05, -1.682951915427111e-05, -1.605248144187499e-05, -1.5275443729478866e-05, -1.4498406017082743e-05, -1.3721369214181323e-05, -1.29443315017852e-05, -1.2167293789389078e-05, -1.1390256076992955e-05, -1.0613218364596833e-05, -9.836181561695412e-06, -9.05914384929929e-06, -8.282106136903167e-06, -7.505067969759693e-06, -6.728030257363571e-06, -5.950992544967448e-06, -5.173955287318677e-06, -4.396917574922554e-06, -3.6198798625264317e-06, -2.842842150130309e-06, -2.0658044377341866e-06, -1.2887667253380641e-06, -5.117290697853605e-07, 2.653085857673432e-07, 1.042346184476628e-06, 1.8193838968727505e-06, 2.5964213818951976e-06, 3.37345909429132e-06, 4.150496806687443e-06, 4.927534519083565e-06]}, "gradients/bert.encoder.layer.23.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 4.0, 4.0, 5.0, 9.0, 6.0, 8.0, 16.0, 7.0, 13.0, 18.0, 12.0, 19.0, 20.0, 22.0, 25.0, 25.0, 29.0, 37.0, 30.0, 41.0, 32.0, 49.0, 30.0, 32.0, 35.0, 37.0, 37.0, 44.0, 31.0, 31.0, 30.0, 26.0, 32.0, 28.0, 20.0, 30.0, 24.0, 15.0, 10.0, 15.0, 15.0, 15.0, 8.0, 5.0, 4.0, 6.0, 3.0, 6.0, 7.0, 2.0, 3.0, 4.0, 2.0], "bins": [-6.376759301929269e-06, -6.198817573022097e-06, -6.020876298862277e-06, -5.842935024702456e-06, -5.664993295795284e-06, -5.4870515668881126e-06, -5.309110292728292e-06, -5.131169018568471e-06, -4.9532272896612994e-06, -4.775285560754128e-06, -4.597344286594307e-06, -4.419403012434486e-06, -4.241461283527315e-06, -4.063519554620143e-06, -3.885578280460322e-06, -3.707636778926826e-06, -3.52969527739333e-06, -3.3517537758598337e-06, -3.1738122743263375e-06, -2.9958707727928413e-06, -2.817929271259345e-06, -2.639987769725849e-06, -2.4620462681923527e-06, -2.2841047666588565e-06, -2.1061632651253603e-06, -1.928221763591864e-06, -1.750280262058368e-06, -1.5723387605248718e-06, -1.3943972589913756e-06, -1.2164557574578794e-06, -1.0385142559243832e-06, -8.60572754390887e-07, -6.826312528573908e-07, -5.046897513238946e-07, -3.267482497903984e-07, -1.488067482569022e-07, 2.9134753276593983e-08, 2.0707625481009018e-07, 3.8501775634358637e-07, 5.629592578770826e-07, 7.409007594105788e-07, 9.18842260944075e-07, 1.0967837624775711e-06, 1.2747252640110673e-06, 1.4526667655445635e-06, 1.6306082670780597e-06, 1.808549768611556e-06, 1.986491270145052e-06, 2.1644327716785483e-06, 2.3423742732120445e-06, 2.5203157747455407e-06, 2.698257276279037e-06, 2.876198777812533e-06, 3.0541402793460293e-06, 3.2320817808795255e-06, 3.4100232824130217e-06, 3.587964783946518e-06, 3.765906285480014e-06, 3.94384778701351e-06, 4.121789061173331e-06, 4.299730790080503e-06, 4.477672518987674e-06, 4.655613793147495e-06, 4.833555067307316e-06, 5.011496796214487e-06]}, "gradients/bert.encoder.layer.23.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0, 3.0, 3.0, 13.0, 7.0, 22.0, 21.0, 23.0, 24.0, 26.0, 35.0, 44.0, 51.0, 39.0, 49.0, 49.0, 42.0, 57.0, 55.0, 63.0, 47.0, 59.0, 44.0, 33.0, 37.0, 30.0, 23.0, 17.0, 19.0, 18.0, 11.0, 7.0, 12.0, 12.0, 6.0, 1.0, 5.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-5.945716111455113e-06, -5.758302904723678e-06, -5.570889697992243e-06, -5.383476491260808e-06, -5.196062829782022e-06, -5.008649623050587e-06, -4.821236416319152e-06, -4.6338232095877174e-06, -4.446409548108932e-06, -4.258996341377497e-06, -4.071583134646062e-06, -3.884169927914627e-06, -3.696756266435841e-06, -3.509343059704406e-06, -3.3219298529729713e-06, -3.1345166462415364e-06, -2.9471034395101015e-06, -2.7596902327786665e-06, -2.572276798673556e-06, -2.3848635919421213e-06, -2.197450157837011e-06, -2.010036951105576e-06, -1.822623744374141e-06, -1.6352104239558685e-06, -1.4477971035375958e-06, -1.2603837831193232e-06, -1.0729704627010506e-06, -8.855572559696157e-07, -6.98143935551343e-07, -5.107306151330704e-07, -3.233174084016355e-07, -1.3590408798336284e-07, 5.150923243490979e-08, 2.38922524431473e-07, 4.263358164280362e-07, 6.1374908000289e-07, 8.011624004211626e-07, 9.885757208394352e-07, 1.1759889275708701e-06, 1.3634022479891428e-06, 1.5508155684074154e-06, 1.738228888825688e-06, 1.9256422092439607e-06, 2.1130554159753956e-06, 2.3004686227068305e-06, 2.487882056811941e-06, 2.6752952635433758e-06, 2.862708697648486e-06, 3.050121904379921e-06, 3.237535111111356e-06, 3.4249485452164663e-06, 3.612361751947901e-06, 3.7997751860530116e-06, 3.9871883927844465e-06, 4.174601599515881e-06, 4.362014806247316e-06, 4.549428012978751e-06, 4.736841219710186e-06, 4.924254426441621e-06, 5.111667633173056e-06, 5.299081294651842e-06, 5.486494501383277e-06, 5.6739077081147116e-06, 5.8613209148461465e-06, 6.048734576324932e-06]}, "gradients/bert.encoder.layer.23.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 2.0, 4.0, 7.0, 6.0, 14.0, 15.0, 22.0, 43.0, 57.0, 116.0, 144.0, 198.0, 329.0, 490.0, 843.0, 1323.0, 2215.0, 3686.0, 6400.0, 11417.0, 21283.0, 42050.0, 95385.0, 324331.0, 1733529.0, 1524719.0, 255344.0, 85532.0, 38981.0, 19846.0, 10721.0, 6022.0, 3558.0, 2114.0, 1276.0, 765.0, 514.0, 328.0, 226.0, 144.0, 101.0, 63.0, 42.0, 23.0, 22.0, 16.0, 14.0, 4.0, 5.0, 0.0, 1.0, 4.0, 0.0, 3.0, 1.0, 0.0, 1.0], "bins": [-1.110329230868956e-05, -1.0755696166597772e-05, -1.0408100024505984e-05, -1.0060504791908897e-05, -9.712908649817109e-06, -9.36531250772532e-06, -9.017716365633532e-06, -8.670120223541744e-06, -8.322524081449956e-06, -7.974927939358167e-06, -7.62733225201373e-06, -7.2797361099219415e-06, -6.932140422577504e-06, -6.584544280485716e-06, -6.236948138393927e-06, -5.889351996302139e-06, -5.5417567637050524e-06, -5.194160621613264e-06, -4.846564934268827e-06, -4.498968792177038e-06, -4.151373104832601e-06, -3.8037769627408125e-06, -3.456180820649024e-06, -3.108584905930911e-06, -2.7609889912127983e-06, -2.4133930764946854e-06, -2.0657971617765725e-06, -1.7182010196847841e-06, -1.3706051049666712e-06, -1.0230091902485583e-06, -6.754130481567699e-07, -3.2781713343865704e-07, 1.977878127945587e-08, 3.6737475284098764e-07, 7.149707244025194e-07, 1.06256675280747e-06, 1.410162667525583e-06, 1.7577585822436959e-06, 2.105354724335484e-06, 2.452950639053597e-06, 2.80054655377171e-06, 3.148142468489823e-06, 3.495738383207936e-06, 3.843334525299724e-06, 4.1909306673915125e-06, 4.53852635473595e-06, 4.886122496827738e-06, 5.233718184172176e-06, 5.581314326263964e-06, 5.9289104683557525e-06, 6.27650615570019e-06, 6.624102297791978e-06, 6.971697985136416e-06, 7.319294127228204e-06, 7.666890269319993e-06, 8.014486411411781e-06, 8.362081644008867e-06, 8.709677786100656e-06, 9.057273928192444e-06, 9.404870070284232e-06, 9.752465302881319e-06, 1.0100061444973107e-05, 1.0447657587064896e-05, 1.0795253729156684e-05, 1.1142849871248472e-05]}, "gradients/bert.encoder.layer.23.intermediate.dense.bias": {"_type": "histogram", "values": [2.0, 2.0, 3.0, 2.0, 2.0, 1.0, 7.0, 3.0, 7.0, 10.0, 12.0, 17.0, 18.0, 26.0, 29.0, 44.0, 54.0, 74.0, 99.0, 112.0, 164.0, 205.0, 306.0, 431.0, 654.0, 589.0, 396.0, 243.0, 148.0, 114.0, 96.0, 48.0, 49.0, 30.0, 23.0, 22.0, 12.0, 6.0, 8.0, 6.0, 6.0, 2.0, 3.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.200317678420106e-06, -3.0709577458765125e-06, -2.9415975859592436e-06, -2.81223765341565e-06, -2.6828774934983812e-06, -2.5535175609547878e-06, -2.4241576284111943e-06, -2.2947974684939254e-06, -2.165437535950332e-06, -2.0360776034067385e-06, -1.9067174434894696e-06, -1.7773575109458761e-06, -1.647997464715445e-06, -1.5186374184850138e-06, -1.3892774859414203e-06, -1.2599174397109891e-06, -1.130557393480558e-06, -1.0011973472501268e-06, -8.718373578631144e-07, -7.424773684761021e-07, -6.13117322245671e-07, -4.837572760152398e-07, -3.5439728662822745e-07, -2.2503729724121513e-07, -9.567725101078395e-08, 3.36827667979378e-08, 1.6304278460665955e-07, 2.924028024153813e-07, 4.2176282022410305e-07, 5.511228664545342e-07, 6.804828558415466e-07, 8.098428452285589e-07, 9.392024367116392e-07, 1.0685624829420703e-06, 1.1979225291725015e-06, 1.327282461716095e-06, 1.4566425079465262e-06, 1.5860025541769573e-06, 1.7153624867205508e-06, 1.844722532950982e-06, 1.974082579181413e-06, 2.1034425117250066e-06, 2.2328026716422755e-06, 2.362162604185869e-06, 2.4915225367294624e-06, 2.6208826966467313e-06, 2.750242629190325e-06, 2.8796025617339183e-06, 3.008962721651187e-06, 3.1383226541947806e-06, 3.2676828141120495e-06, 3.397042746655643e-06, 3.526402906572912e-06, 3.6557628391165053e-06, 3.785122771660099e-06, 3.914482931577368e-06, 4.043842636747286e-06, 4.173202796664555e-06, 4.302562501834473e-06, 4.4319226617517415e-06, 4.5612828216690104e-06, 4.6906425268389285e-06, 4.820002686756197e-06, 4.949362846673466e-06, 5.078723006590735e-06]}, "gradients/bert.encoder.layer.23.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 3.0, 3.0, 9.0, 7.0, 5.0, 14.0, 13.0, 14.0, 19.0, 25.0, 52.0, 84.0, 272.0, 1270.0, 8526.0, 89177.0, 3455226.0, 604672.0, 30311.0, 3597.0, 578.0, 168.0, 71.0, 37.0, 26.0, 24.0, 23.0, 9.0, 11.0, 9.0, 5.0, 3.0, 9.0, 2.0, 5.0, 4.0, 3.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.8433423216920346e-05, -4.6909575758036226e-05, -4.53857246611733e-05, -4.386187720228918e-05, -4.233802610542625e-05, -4.081417864654213e-05, -3.929033118765801e-05, -3.7766480090795085e-05, -3.624262899393216e-05, -3.471878153504804e-05, -3.319493043818511e-05, -3.167108297930099e-05, -3.0147231882438064e-05, -2.8623384423553944e-05, -2.709953514568042e-05, -2.5575685867806897e-05, -2.4051838408922777e-05, -2.2527989131049253e-05, -2.100413985317573e-05, -1.948029239429161e-05, -1.7956441297428682e-05, -1.6432593838544562e-05, -1.4908744560671039e-05, -1.3384895282797515e-05, -1.1861046004923992e-05, -1.0337196727050468e-05, -8.813347449176945e-06, -7.289499080798123e-06, -5.7656498029245995e-06, -4.241800525051076e-06, -2.717952156672254e-06, -1.1941028787987307e-06, 3.2974276109598577e-07, 1.8535918115958339e-06, 3.377440862095682e-06, 4.901289685221855e-06, 6.425138963095378e-06, 7.948988240968902e-06, 9.472836609347723e-06, 1.0996685887221247e-05, 1.252053516509477e-05, 1.4044384442968294e-05, 1.5568233720841818e-05, 1.709208299871534e-05, 1.861593045759946e-05, 2.0139781554462388e-05, 2.1663629013346508e-05, 2.318747829122003e-05, 2.4711327569093555e-05, 2.623517684696708e-05, 2.7759026124840602e-05, 2.9282873583724722e-05, 3.080672468058765e-05, 3.233057213947177e-05, 3.385441959835589e-05, 3.5378270695218816e-05, 3.6902121792081743e-05, 3.8425969250965863e-05, 3.994982034782879e-05, 4.147366780671291e-05, 4.299751890357584e-05, 4.452136636245996e-05, 4.604521382134408e-05, 4.7569064918207005e-05, 4.9092912377091125e-05]}, "gradients/bert.encoder.layer.23.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [3.0, 2.0, 4.0, 11.0, 20.0, 58.0, 167.0, 295.0, 286.0, 123.0, 34.0, 12.0, 4.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0994344847858883e-05, -9.60500710789347e-06, -8.21567027742276e-06, -6.826332537457347e-06, -5.436995252239285e-06, -4.047657967021223e-06, -2.6583202270558104e-06, -1.2689833965850994e-06, 1.2035434338031337e-07, 1.509691742285213e-06, 2.8990291411901126e-06, 4.28836665378185e-06, 5.677703938999912e-06, 7.067041224217974e-06, 8.456378964183386e-06, 9.845715794654097e-06, 1.123505353461951e-05, 1.2624391274584923e-05, 1.4013728105055634e-05, 1.5403065845021047e-05, 1.6792402675491758e-05, 1.8181741324951872e-05, 1.9571078155422583e-05, 2.0960414985893294e-05, 2.2349751816364005e-05, 2.3739088646834716e-05, 2.512842729629483e-05, 2.6517764126765542e-05, 2.7907100957236253e-05, 2.9296439606696367e-05, 3.068577643716708e-05, 3.207511326763779e-05, 3.346445373608731e-05, 3.485379056655802e-05, 3.624312739702873e-05, 3.763246786547825e-05, 3.902180469594896e-05, 4.041114152641967e-05, 4.180047835689038e-05, 4.318981518736109e-05, 4.45791520178318e-05, 4.596848884830251e-05, 4.7357825678773224e-05, 4.8747162509243935e-05, 5.0136502977693453e-05, 5.1525839808164164e-05, 5.2915176638634875e-05, 5.4304513469105586e-05, 5.5693853937555104e-05, 5.7083190768025815e-05, 5.8472527598496526e-05, 5.986186442896724e-05, 6.125120125943795e-05, 6.264053808990866e-05, 6.402988219633698e-05, 6.541921175085008e-05, 6.680854858132079e-05, 6.81978854117915e-05, 6.958722224226221e-05, 7.097655907273293e-05, 7.236589590320364e-05, 7.375523273367435e-05, 7.514457684010267e-05, 7.653390639461577e-05, 7.79232505010441e-05]}, "gradients/bert.encoder.layer.23.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 4.0, 4.0, 5.0, 11.0, 6.0, 4.0, 10.0, 21.0, 17.0, 18.0, 17.0, 29.0, 30.0, 31.0, 38.0, 40.0, 43.0, 46.0, 54.0, 46.0, 54.0, 62.0, 45.0, 43.0, 42.0, 49.0, 34.0, 33.0, 27.0, 26.0, 22.0, 17.0, 9.0, 22.0, 12.0, 13.0, 6.0, 10.0, 2.0, 5.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-8.44226360641187e-06, -8.198624527722131e-06, -7.954986358527094e-06, -7.711347279837355e-06, -7.467708201147616e-06, -7.224069577205228e-06, -6.9804309532628395e-06, -6.7367918745731e-06, -6.493153250630712e-06, -6.249514626688324e-06, -6.005875547998585e-06, -5.762236924056197e-06, -5.518598300113808e-06, -5.274959221424069e-06, -5.031320597481681e-06, -4.787681973539293e-06, -4.544042894849554e-06, -4.3004042709071655e-06, -4.056765192217426e-06, -3.813126568275038e-06, -3.5694877169589745e-06, -3.325848865642911e-06, -3.0822102417005226e-06, -2.838571390384459e-06, -2.5949325390683953e-06, -2.3512936877523316e-06, -2.107654836436268e-06, -1.8640162124938797e-06, -1.620377361177816e-06, -1.3767385098617524e-06, -1.1330997722325264e-06, -8.894610346033005e-07, -6.458226380345877e-07, -4.021838435619429e-07, -1.5854504908929812e-07, 8.509374538334669e-08, 3.287325398559915e-07, 5.723713911720552e-07, 8.160101288012811e-07, 1.059648866430507e-06, 1.3032877177465707e-06, 1.5469265690626344e-06, 1.7905653066918603e-06, 2.0342040443210863e-06, 2.27784289563715e-06, 2.5214817469532136e-06, 2.765120370895602e-06, 3.0087592222116655e-06, 3.252398073527729e-06, 3.496036924843793e-06, 3.7396757761598565e-06, 3.983314400102245e-06, 4.226953024044633e-06, 4.470592102734372e-06, 4.71423072667676e-06, 4.9578693506191485e-06, 5.2015084293088876e-06, 5.445147053251276e-06, 5.688786131941015e-06, 5.932424755883403e-06, 6.176063834573142e-06, 6.4197024585155305e-06, 6.663341082457919e-06, 6.906980161147658e-06, 7.150618785090046e-06]}, "gradients/bert.encoder.layer.23.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 5.0, 1.0, 3.0, 4.0, 7.0, 11.0, 11.0, 13.0, 17.0, 21.0, 22.0, 22.0, 31.0, 29.0, 46.0, 54.0, 48.0, 54.0, 62.0, 51.0, 64.0, 50.0, 36.0, 55.0, 43.0, 40.0, 34.0, 37.0, 29.0, 20.0, 22.0, 17.0, 10.0, 8.0, 11.0, 6.0, 5.0, 3.0, 4.0, 2.0, 4.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.481690201733727e-06, -8.239385351771489e-06, -7.99708050180925e-06, -7.754775651847012e-06, -7.512470801884774e-06, -7.270165951922536e-06, -7.027861101960298e-06, -6.7855562519980595e-06, -6.543251402035821e-06, -6.300946552073583e-06, -6.058641702111345e-06, -5.8163368521491066e-06, -5.574032002186868e-06, -5.33172715222463e-06, -5.089422302262392e-06, -4.847117452300154e-06, -4.6048126023379155e-06, -4.362507752375677e-06, -4.120202902413439e-06, -3.877898052451201e-06, -3.6355932024889626e-06, -3.3932883525267243e-06, -3.150983502564486e-06, -2.908678652602248e-06, -2.6663738026400097e-06, -2.4240689526777714e-06, -2.1817641027155332e-06, -1.939459252753295e-06, -1.6971544027910568e-06, -1.4548495528288186e-06, -1.2125447028665803e-06, -9.702398529043421e-07, -7.279350029421039e-07, -4.856301529798657e-07, -2.4332530301762745e-07, -1.0204530553892255e-09, 2.41284396906849e-07, 4.835892468690872e-07, 7.258940968313254e-07, 9.681989467935637e-07, 1.2105037967558019e-06, 1.4528086467180401e-06, 1.6951134966802783e-06, 1.9374183466425166e-06, 2.1797231966047548e-06, 2.422028046566993e-06, 2.6643328965292312e-06, 2.9066377464914694e-06, 3.1489425964537077e-06, 3.391247446415946e-06, 3.633552296378184e-06, 3.875857146340422e-06, 4.1181619963026606e-06, 4.360466846264899e-06, 4.602771696227137e-06, 4.845076546189375e-06, 5.0873813961516134e-06, 5.329686246113852e-06, 5.57199109607609e-06, 5.814295946038328e-06, 6.056600796000566e-06, 6.2989056459628046e-06, 6.541210495925043e-06, 6.783515345887281e-06, 7.025820195849519e-06]}, "gradients/bert.encoder.layer.23.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 0.0, 1.0, 3.0, 6.0, 7.0, 5.0, 14.0, 31.0, 18.0, 46.0, 79.0, 101.0, 187.0, 343.0, 572.0, 1143.0, 2458.0, 5348.0, 13807.0, 44781.0, 196749.0, 577714.0, 148342.0, 35867.0, 11832.0, 4699.0, 2067.0, 1081.0, 498.0, 305.0, 178.0, 97.0, 66.0, 45.0, 20.0, 22.0, 11.0, 12.0, 6.0, 2.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.755415360094048e-05, -1.7028824004228227e-05, -1.6503494407515973e-05, -1.597816481080372e-05, -1.5452835214091465e-05, -1.4927505617379211e-05, -1.4402176930161659e-05, -1.3876847333449405e-05, -1.335151773673715e-05, -1.2826188140024897e-05, -1.2300858543312643e-05, -1.1775528946600389e-05, -1.1250200259382837e-05, -1.0724870662670583e-05, -1.0199541065958329e-05, -9.674211469246075e-06, -9.14888187253382e-06, -8.623552275821567e-06, -8.098222679109313e-06, -7.5728935371444095e-06, -7.0475639404321555e-06, -6.5222343437199015e-06, -5.996905201754998e-06, -5.4715756050427444e-06, -4.9462460083304904e-06, -4.4209164116182365e-06, -3.8955868149059825e-06, -3.3702576729410794e-06, -2.8449280762288254e-06, -2.3195984795165714e-06, -1.7942691101779928e-06, -1.2689397408394143e-06, -7.436101441271603e-07, -2.1828066110174404e-07, 3.070488219236722e-07, 8.323783049490885e-07, 1.3577077879745048e-06, 1.8830373846867587e-06, 2.4083667540253373e-06, 2.933696123363916e-06, 3.45902572007617e-06, 3.984355316788424e-06, 4.509684913500678e-06, 5.035014055465581e-06, 5.560343652177835e-06, 6.085673248890089e-06, 6.611002390854992e-06, 7.136331987567246e-06, 7.6616615842795e-06, 8.186991180991754e-06, 8.712320777704008e-06, 9.237650374416262e-06, 9.762979971128516e-06, 1.028830956784077e-05, 1.0813638255058322e-05, 1.1338967851770576e-05, 1.186429744848283e-05, 1.2389627045195084e-05, 1.2914956641907338e-05, 1.3440286238619592e-05, 1.3965614925837144e-05, 1.4490944522549398e-05, 1.5016274119261652e-05, 1.5541603715973906e-05, 1.606693331268616e-05]}, "gradients/bert.encoder.layer.23.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 4.0, 2.0, 5.0, 6.0, 6.0, 6.0, 8.0, 13.0, 10.0, 17.0, 16.0, 15.0, 29.0, 30.0, 36.0, 41.0, 39.0, 35.0, 34.0, 34.0, 46.0, 45.0, 44.0, 50.0, 46.0, 46.0, 37.0, 41.0, 37.0, 34.0, 26.0, 35.0, 17.0, 23.0, 13.0, 13.0, 13.0, 8.0, 12.0, 8.0, 9.0, 4.0, 5.0, 6.0, 4.0, 3.0, 2.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.621652235276997e-06, -5.4046222430770285e-06, -5.18759225087706e-06, -4.9705618039297406e-06, -4.753531811729772e-06, -4.5365018195298035e-06, -4.319471827329835e-06, -4.1024413803825155e-06, -3.885411388182547e-06, -3.6683813959825784e-06, -3.4513511764089344e-06, -3.234321184208966e-06, -3.017290964635322e-06, -2.8002609724353533e-06, -2.5832309802353848e-06, -2.3662007606617408e-06, -2.1491707684617722e-06, -1.9321407762618037e-06, -1.7151105566881597e-06, -1.4980805644881912e-06, -1.2810503449145472e-06, -1.0640203527145786e-06, -8.469902468277724e-07, -6.299601409409661e-07, -4.129300350541598e-07, -1.9589994337820826e-07, 2.113014829774329e-08, 2.3816022576284013e-07, 4.551903316496464e-07, 6.722203806930338e-07, 8.892504865798401e-07, 1.1062805924666463e-06, 1.3233106983534526e-06, 1.5403408042402589e-06, 1.7573709101270651e-06, 1.9744009023270337e-06, 2.1914311219006777e-06, 2.4084611141006462e-06, 2.6254911063006148e-06, 2.8425213258742588e-06, 3.0595515454479028e-06, 3.2765815376478713e-06, 3.4936117572215153e-06, 3.710641749421484e-06, 3.927671968995128e-06, 4.144701961195096e-06, 4.361731953395065e-06, 4.5787619455950335e-06, 4.795791937795002e-06, 5.0128219299949706e-06, 5.229851922194939e-06, 5.4468823691422585e-06, 5.663912361342227e-06, 5.880942353542196e-06, 6.097972345742164e-06, 6.315002792689484e-06, 6.532032784889452e-06, 6.749062777089421e-06, 6.966092769289389e-06, 7.183123216236709e-06, 7.400153208436677e-06, 7.617183200636646e-06, 7.834213647583965e-06, 8.051243639783934e-06, 8.268273631983902e-06]}, "gradients/bert.encoder.layer.23.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 5.0, 5.0, 7.0, 6.0, 14.0, 10.0, 16.0, 12.0, 34.0, 34.0, 47.0, 58.0, 71.0, 103.0, 123.0, 164.0, 237.0, 436.0, 1121.0, 2869.0, 11273.0, 68674.0, 607143.0, 309896.0, 35460.0, 6734.0, 2008.0, 787.0, 342.0, 211.0, 177.0, 114.0, 84.0, 67.0, 61.0, 45.0, 26.0, 20.0, 21.0, 15.0, 9.0, 9.0, 4.0, 9.0, 2.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.891373176476918e-05, -1.823419916036073e-05, -1.755466655595228e-05, -1.687513395154383e-05, -1.619560134713538e-05, -1.5516070561716333e-05, -1.4836537957307883e-05, -1.4157005352899432e-05, -1.3477472748490982e-05, -1.2797940144082531e-05, -1.2118407539674081e-05, -1.1438875844760332e-05, -1.0759343240351882e-05, -1.0079810635943431e-05, -9.400278941029683e-06, -8.720746336621232e-06, -8.041213732212782e-06, -7.3616811278043315e-06, -6.682148978143232e-06, -6.002616828482132e-06, -5.323084224073682e-06, -4.6435516196652316e-06, -3.964019470004132e-06, -3.2844873203430325e-06, -2.604954715934582e-06, -1.925422338899807e-06, -1.245889961865032e-06, -5.663575848302571e-07, 1.1317479220451787e-07, 7.927071692392929e-07, 1.4722395462740678e-06, 2.1517716959351674e-06, 2.831304300343618e-06, 3.5108366773783928e-06, 4.190369054413168e-06, 4.869901204074267e-06, 5.549433808482718e-06, 6.228966412891168e-06, 6.908498562552268e-06, 7.588030712213367e-06, 8.267563316621818e-06, 8.947095921030268e-06, 9.626628525438718e-06, 1.0306160220352467e-05, 1.0985692824760918e-05, 1.1665225429169368e-05, 1.2344757124083117e-05, 1.3024289728491567e-05, 1.3703822332900017e-05, 1.4383354937308468e-05, 1.5062887541716918e-05, 1.574242014612537e-05, 1.642195275053382e-05, 1.7101483535952866e-05, 1.7781016140361317e-05, 1.8460548744769767e-05, 1.9140081349178217e-05, 1.9819613953586668e-05, 2.0499146557995118e-05, 2.117867916240357e-05, 2.1858209947822616e-05, 2.2537742552231066e-05, 2.3217275156639516e-05, 2.3896807761047967e-05, 2.4576340365456417e-05]}, "gradients/bert.encoder.layer.23.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 6.0, 0.0, 3.0, 0.0, 3.0, 0.0, 0.0, 4.0, 3.0, 13.0, 7.0, 0.0, 24.0, 19.0, 44.0, 47.0, 75.0, 45.0, 137.0, 208.0, 105.0, 95.0, 57.0, 12.0, 39.0, 9.0, 20.0, 4.0, 0.0, 22.0, 0.0, 6.0, 0.0, 5.0, 0.0, 0.0, 4.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.984279490192421e-13, -2.866595849582154e-13, -2.7489122089718876e-13, -2.631228568361621e-13, -2.5135449277513544e-13, -2.395861287141088e-13, -2.278177646530821e-13, -2.1604940059205546e-13, -2.042810365310288e-13, -1.9251267247000214e-13, -1.8074430840897548e-13, -1.6897594434794883e-13, -1.5720758028692217e-13, -1.454392162258955e-13, -1.3367085216486885e-13, -1.219024881038422e-13, -1.1013412404281553e-13, -9.836575998178887e-14, -8.659739592076221e-14, -7.482903185973555e-14, -6.306066779870889e-14, -5.129230373768223e-14, -3.952393967665557e-14, -2.7755575615628914e-14, -1.5987211554602254e-14, -4.218847493575595e-15, 7.549516567451064e-15, 1.9317880628477724e-14, 3.108624468950438e-14, 4.285460875053104e-14, 5.46229728115577e-14, 6.639133687258436e-14, 7.815970093361102e-14, 8.992806499463768e-14, 1.0169642905566434e-13, 1.13464793116691e-13, 1.2523315717771766e-13, 1.3700152123874432e-13, 1.4876988529977098e-13, 1.6053824936079764e-13, 1.723066134218243e-13, 1.8407497748285095e-13, 1.9584334154387761e-13, 2.0761170560490427e-13, 2.1938006966593093e-13, 2.311484337269576e-13, 2.4291679778798425e-13, 2.546851618490109e-13, 2.6645352591003757e-13, 2.7822188997106423e-13, 2.899902540320909e-13, 3.0175861809311755e-13, 3.135269821541442e-13, 3.2529534621517087e-13, 3.3706371027619753e-13, 3.488320743372242e-13, 3.6060043839825084e-13, 3.723688024592775e-13, 3.8413716652030416e-13, 3.959055305813308e-13, 4.076738946423575e-13, 4.1944225870338414e-13, 4.312106227644108e-13, 4.4297898682543746e-13, 4.547473508864641e-13]}, "gradients/bert.encoder.layer.23.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 3.0, 2.0, 4.0, 1.0, 5.0, 9.0, 14.0, 16.0, 25.0, 49.0, 74.0, 137.0, 212.0, 526.0, 1402.0, 4469.0, 21154.0, 250337.0, 716457.0, 42682.0, 7496.0, 2082.0, 737.0, 305.0, 146.0, 73.0, 34.0, 24.0, 24.0, 14.0, 8.0, 14.0, 4.0, 8.0, 6.0, 5.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.836195406212937e-05, -1.7732681953930296e-05, -1.710340984573122e-05, -1.6474137737532146e-05, -1.5844863810343668e-05, -1.5215592611639295e-05, -1.4586319593945518e-05, -1.3957047485746443e-05, -1.3327775377547368e-05, -1.2698503269348294e-05, -1.2069231161149219e-05, -1.1439958143455442e-05, -1.0810686035256367e-05, -1.0181413927057292e-05, -9.552140909363516e-06, -8.92286880116444e-06, -8.293596692965366e-06, -7.664324584766291e-06, -7.035052021819865e-06, -6.40577945887344e-06, -5.776507350674365e-06, -5.14723524247529e-06, -4.517962679528864e-06, -3.888690116582438e-06, -3.2594180083833635e-06, -2.630145672810613e-06, -2.000873337237863e-06, -1.3716010016651126e-06, -7.423286660923623e-07, -1.1305633051961195e-07, 5.162160050531384e-07, 1.1454885679995641e-06, 1.7747588572092354e-06, 2.4040311927819857e-06, 3.033303528354736e-06, 3.6625758639274864e-06, 4.291848199500237e-06, 4.9211203076993115e-06, 5.550392870645737e-06, 6.179665433592163e-06, 6.808937541791238e-06, 7.438209649990313e-06, 8.067481758189388e-06, 8.696754775883164e-06, 9.326026884082239e-06, 9.955298992281314e-06, 1.058457200997509e-05, 1.1213844118174165e-05, 1.184311622637324e-05, 1.2472388334572315e-05, 1.310166044277139e-05, 1.3730933460465167e-05, 1.4360205568664242e-05, 1.4989477676863316e-05, 1.5618750694557093e-05, 1.6248022802756168e-05, 1.6877294910955243e-05, 1.7506567019154318e-05, 1.8135839127353393e-05, 1.8765111235552467e-05, 1.9394385162740946e-05, 2.002365727094002e-05, 2.0652929379139096e-05, 2.128220148733817e-05, 2.1911473595537245e-05]}, "gradients/bert.encoder.layer.23.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 2.0, 1.0, 1.0, 2.0, 2.0, 3.0, 5.0, 6.0, 10.0, 15.0, 9.0, 21.0, 33.0, 65.0, 89.0, 151.0, 236.0, 137.0, 75.0, 46.0, 37.0, 14.0, 15.0, 4.0, 9.0, 5.0, 6.0, 6.0, 1.0, 1.0, 4.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.5819914501189487e-06, -3.4558204333734466e-06, -3.329649189254269e-06, -3.203478172508767e-06, -3.0773069283895893e-06, -2.951135911644087e-06, -2.8249646675249096e-06, -2.6987936507794075e-06, -2.5726226340339053e-06, -2.4464516172884032e-06, -2.3202803731692256e-06, -2.1941093564237235e-06, -2.067938112304546e-06, -1.941767095559044e-06, -1.815595965126704e-06, -1.6894248346943641e-06, -1.5632535905751865e-06, -1.4370824601428467e-06, -1.3109113297105068e-06, -1.1847403129650047e-06, -1.0585690688458271e-06, -9.323979952569061e-07, -8.062269216679852e-07, -6.800557912356453e-07, -5.538846608033055e-07, -4.277135303709656e-07, -3.015424283603352e-07, -1.7537132634970476e-07, -4.920019591736491e-08, 7.697093451497494e-08, 2.0314200810389593e-07, 3.293131385362358e-07, 4.554844963422511e-07, 5.816556267745909e-07, 7.078267572069308e-07, 8.339978307958518e-07, 9.601690180716105e-07, 1.0863400348171126e-06, 1.2125111652494525e-06, 1.3386822956817923e-06, 1.4648534261141322e-06, 1.591024556546472e-06, 1.7171956869788119e-06, 1.8433668174111517e-06, 1.969537834156654e-06, 2.0957090782758314e-06, 2.2218800950213335e-06, 2.3480511117668357e-06, 2.4742223558860132e-06, 2.6003933726315154e-06, 2.726564616750693e-06, 2.852735633496195e-06, 2.9789068776153727e-06, 3.1050778943608748e-06, 3.2312491384800524e-06, 3.3574201552255545e-06, 3.4835911719710566e-06, 3.6097621887165587e-06, 3.7359334328357363e-06, 3.862104676954914e-06, 3.988275693700416e-06, 4.114446710445918e-06, 4.24061772719142e-06, 4.366788743936922e-06, 4.492960215429775e-06]}, "gradients/bert.encoder.layer.23.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 3.0, 5.0, 5.0, 4.0, 6.0, 7.0, 9.0, 23.0, 66.0, 258.0, 1467.0, 20030.0, 972721.0, 50941.0, 2463.0, 393.0, 90.0, 19.0, 21.0, 9.0, 5.0, 3.0, 6.0, 1.0, 3.0, 2.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.4718661229126155e-05, -4.325831832829863e-05, -4.17979754274711e-05, -4.0337632526643574e-05, -3.887728598783724e-05, -3.741694308700971e-05, -3.5956600186182186e-05, -3.449625728535466e-05, -3.3035910746548325e-05, -3.15755678457208e-05, -3.0115223125903867e-05, -2.865488022507634e-05, -2.719453550525941e-05, -2.5734192604431883e-05, -2.4273849703604355e-05, -2.281350680277683e-05, -2.13531639019493e-05, -1.9892821001121774e-05, -1.8432476281304844e-05, -1.6972133380477317e-05, -1.5511788660660386e-05, -1.4051445759832859e-05, -1.2591102859005332e-05, -1.1130759048683103e-05, -9.670415238360874e-06, -8.210071428038646e-06, -6.749728072463768e-06, -5.28938471688889e-06, -3.829040906566661e-06, -2.368697096244432e-06, -9.08354195416905e-07, 5.519896149053238e-07, 2.0123370632063597e-06, 3.472680646154913e-06, 4.9330242291034665e-06, 6.3933675846783444e-06, 7.853711395000573e-06, 9.314055205322802e-06, 1.0774398106150329e-05, 1.2234741916472558e-05, 1.3695085726794787e-05, 1.5155429537117016e-05, 1.6615773347439244e-05, 1.807611624826677e-05, 1.95364591490943e-05, 2.099680386891123e-05, 2.2457146769738756e-05, 2.3917491489555687e-05, 2.5377834390383214e-05, 2.683817729121074e-05, 2.829852201102767e-05, 2.97588649118552e-05, 3.121920963167213e-05, 3.2679552532499656e-05, 3.413989543332718e-05, 3.560023833415471e-05, 3.7060584872961044e-05, 3.852092777378857e-05, 3.99812706746161e-05, 4.1441613575443625e-05, 4.290196011424996e-05, 4.436230301507749e-05, 4.5822645915905014e-05, 4.728298881673254e-05, 4.874333171756007e-05]}, "gradients/bert.encoder.layer.22.output.LayerNorm.weight": {"_type": "histogram", "values": [3.0, 5.0, 19.0, 57.0, 171.0, 412.0, 285.0, 52.0, 11.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1183426977368072e-05, -9.203973604599014e-06, -7.224521141324658e-06, -5.245068223302951e-06, -3.2656153052812442e-06, -1.2861619325121865e-06, 6.932905307621695e-07, 2.6727429940365255e-06, 4.652196366805583e-06, 6.63164928482729e-06, 8.611102202848997e-06, 1.0590554666123353e-05, 1.257000803889241e-05, 1.4549461411661468e-05, 1.6528912965441123e-05, 1.850836633821018e-05, 2.0487819710979238e-05, 2.2467273083748296e-05, 2.4446726456517354e-05, 2.6426178010297008e-05, 2.8405631383066066e-05, 3.0385084755835123e-05, 3.236453630961478e-05, 3.4343989682383835e-05, 3.632344305515289e-05, 3.830289642792195e-05, 4.028234980069101e-05, 4.2261803173460066e-05, 4.4241256546229124e-05, 4.622070991899818e-05, 4.820015965378843e-05, 5.017961302655749e-05, 5.2159070037305355e-05, 5.413852341007441e-05, 5.611797678284347e-05, 5.809743015561253e-05, 6.0076883528381586e-05, 6.205633690115064e-05, 6.40357902739197e-05, 6.601524364668876e-05, 6.799469701945782e-05, 6.997415039222687e-05, 7.195360376499593e-05, 7.393305713776499e-05, 7.591251051053405e-05, 7.78919638833031e-05, 7.987141725607216e-05, 8.185087062884122e-05, 8.383031672565266e-05, 8.580977009842172e-05, 8.778922347119078e-05, 8.976867684395984e-05, 9.17481302167289e-05, 9.372758358949795e-05, 9.570703696226701e-05, 9.768648305907845e-05, 9.966593643184751e-05, 0.00010164538980461657, 0.00010362484317738563, 0.00010560429655015469, 0.00010758374992292374, 0.0001095632032956928, 0.00011154265666846186, 0.00011352211004123092, 0.00011550156341399997]}, "gradients/bert.encoder.layer.22.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 5.0, 5.0, 5.0, 4.0, 8.0, 11.0, 15.0, 11.0, 17.0, 25.0, 25.0, 27.0, 34.0, 27.0, 36.0, 51.0, 47.0, 39.0, 40.0, 64.0, 45.0, 54.0, 51.0, 32.0, 45.0, 37.0, 28.0, 38.0, 36.0, 27.0, 31.0, 22.0, 13.0, 13.0, 15.0, 9.0, 7.0, 8.0, 2.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-1.4270231986301951e-05, -1.3861889783584047e-05, -1.3453547580866143e-05, -1.3045205378148239e-05, -1.2636863175430335e-05, -1.2228520972712431e-05, -1.1820178769994527e-05, -1.1411835657781921e-05, -1.1003494364558719e-05, -1.0595152161840815e-05, -1.0186809959122911e-05, -9.778467756405007e-06, -9.370125553687103e-06, -8.961783350969199e-06, -8.553441148251295e-06, -8.14509803603869e-06, -7.736755833320785e-06, -7.328413630602881e-06, -6.920071427884977e-06, -6.511729225167073e-06, -6.103387022449169e-06, -5.695044819731265e-06, -5.28670216226601e-06, -4.878359959548106e-06, -4.470017756830202e-06, -4.061675554112298e-06, -3.6533333513943944e-06, -3.244990921302815e-06, -2.836648718584911e-06, -2.428306515867007e-06, -2.0199640857754275e-06, -1.6116218830575235e-06, -1.2032796803396195e-06, -7.949374207782967e-07, -3.865951612169738e-07, 2.174715518776793e-08, 4.3008935790567193e-07, 8.384315606235759e-07, 1.2467739907151554e-06, 1.6551161934330594e-06, 2.0634583961509634e-06, 2.4718005988688674e-06, 2.8801428015867714e-06, 3.288485231678351e-06, 3.696827434396255e-06, 4.105169864487834e-06, 4.513512067205738e-06, 4.921854269923642e-06, 5.330196472641546e-06, 5.73853867535945e-06, 6.146880878077354e-06, 6.555223080795258e-06, 6.963565283513162e-06, 7.371907486231066e-06, 7.780250598443672e-06, 8.188591891666874e-06, 8.59693500387948e-06, 9.005277206597384e-06, 9.413619409315288e-06, 9.821961612033192e-06, 1.0230303814751096e-05, 1.0638646017469e-05, 1.1046988220186904e-05, 1.145533133239951e-05, 1.1863672625622712e-05]}, "gradients/bert.encoder.layer.22.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 3.0, 2.0, 3.0, 4.0, 10.0, 13.0, 21.0, 25.0, 32.0, 32.0, 50.0, 40.0, 56.0, 75.0, 64.0, 70.0, 71.0, 67.0, 76.0, 57.0, 43.0, 50.0, 43.0, 29.0, 21.0, 16.0, 16.0, 14.0, 4.0, 6.0, 2.0, 4.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.550952765683178e-05, -1.5157824236666784e-05, -1.4806119907007087e-05, -1.4454416486842092e-05, -1.4102713066677097e-05, -1.3751009646512102e-05, -1.3399305316852406e-05, -1.304760189668741e-05, -1.2695898476522416e-05, -1.2344195056357421e-05, -1.1992490726697724e-05, -1.164078730653273e-05, -1.1289083886367735e-05, -1.093738046620274e-05, -1.0585676136543043e-05, -1.0233972716378048e-05, -9.882269296213053e-06, -9.530565876048058e-06, -9.178861546388362e-06, -8.827158126223367e-06, -8.475454706058372e-06, -8.123751285893377e-06, -7.77204695623368e-06, -7.420343536068685e-06, -7.068639206408989e-06, -6.716935331496643e-06, -6.365231911331648e-06, -6.013528036419302e-06, -5.661824616254307e-06, -5.3101207413419615e-06, -4.958416866429616e-06, -4.606713446264621e-06, -4.255009571352275e-06, -3.903305696439929e-06, -3.5516022762749344e-06, -3.1998984013625886e-06, -2.8481949811975937e-06, -2.496491106285248e-06, -2.1447874587465776e-06, -1.7930838112079073e-06, -1.441380163669237e-06, -1.0896765161305666e-06, -7.379728117484774e-07, -3.862691073663882e-07, -3.456545982771786e-08, 3.171381877109525e-07, 6.688419489364605e-07, 1.0205455964751309e-06, 1.3722492440138012e-06, 1.7239528915524716e-06, 2.075656539091142e-06, 2.4273604140034877e-06, 2.7790638341684826e-06, 3.1307677090808284e-06, 3.4824713566194987e-06, 3.834175004158169e-06, 4.185878424323164e-06, 4.53758229923551e-06, 4.889285719400505e-06, 5.24098959431285e-06, 5.592693014477845e-06, 5.944396889390191e-06, 6.296100764302537e-06, 6.647804184467532e-06, 6.9995080593798775e-06]}, "gradients/bert.encoder.layer.22.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 2.0, 1.0, 2.0, 4.0, 10.0, 8.0, 12.0, 10.0, 19.0, 24.0, 34.0, 45.0, 60.0, 69.0, 123.0, 209.0, 467.0, 1223.0, 4538.0, 24151.0, 853540.0, 3246464.0, 51825.0, 8120.0, 1899.0, 665.0, 287.0, 140.0, 95.0, 62.0, 44.0, 37.0, 25.0, 26.0, 16.0, 7.0, 9.0, 8.0, 7.0, 2.0, 3.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-3.9852806366980076e-05, -3.878085044561885e-05, -3.770889088627882e-05, -3.66369349649176e-05, -3.556497540557757e-05, -3.449301948421635e-05, -3.342105992487632e-05, -3.2349104003515095e-05, -3.1277144444175065e-05, -3.0205186703824438e-05, -2.9133228963473812e-05, -2.8061271223123185e-05, -2.698931348277256e-05, -2.5917357561411336e-05, -2.484539982106071e-05, -2.3773442080710083e-05, -2.270148615934886e-05, -2.1629528418998234e-05, -2.0557570678647608e-05, -1.948561293829698e-05, -1.8413655197946355e-05, -1.7341699276585132e-05, -1.6269741536234505e-05, -1.5197783795883879e-05, -1.4125826055533253e-05, -1.3053868315182626e-05, -1.1981910574832e-05, -1.0909953743976075e-05, -9.837996003625449e-06, -8.766038263274822e-06, -7.694081432418898e-06, -6.622123692068271e-06, -5.550162313738838e-06, -4.4782045733882114e-06, -3.406247287784936e-06, -2.334289774807985e-06, -1.262332261831034e-06, -1.9037452148040757e-07, 8.81582764122868e-07, 1.9535400497261435e-06, 3.02549779007677e-06, 4.097455530427396e-06, 5.169412816030672e-06, 6.241370101633947e-06, 7.313327841984574e-06, 8.3852855823352e-06, 9.457242413191125e-06, 1.0529200153541751e-05, 1.1601157893892378e-05, 1.2673115634243004e-05, 1.374507337459363e-05, 1.4817030205449555e-05, 1.5888988855294883e-05, 1.6960944776656106e-05, 1.8032902517006733e-05, 1.910486025735736e-05, 2.0176817997707985e-05, 2.1248775738058612e-05, 2.2320733478409238e-05, 2.3392691218759865e-05, 2.4464647140121087e-05, 2.5536606699461117e-05, 2.660856262082234e-05, 2.7680520361172967e-05, 2.8752478101523593e-05]}, "gradients/bert.encoder.layer.22.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 5.0, 1.0, 5.0, 7.0, 9.0, 20.0, 15.0, 37.0, 51.0, 114.0, 199.0, 509.0, 1133.0, 1042.0, 431.0, 215.0, 106.0, 51.0, 49.0, 35.0, 23.0, 9.0, 6.0, 3.0, 2.0, 2.0, 2.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.070897597965086e-06, -5.853529728483409e-06, -5.636162313749082e-06, -5.418794444267405e-06, -5.201426574785728e-06, -4.984058705304051e-06, -4.766690835822374e-06, -4.549323421088047e-06, -4.33195555160637e-06, -4.114587682124693e-06, -3.897220267390367e-06, -3.6798523979086895e-06, -3.4624845284270123e-06, -3.245116658945335e-06, -3.0277490168373333e-06, -2.8103813747293316e-06, -2.5930135052476544e-06, -2.375645635765977e-06, -2.1582779936579755e-06, -1.9409103515499737e-06, -1.7235424820682965e-06, -1.506174726273457e-06, -1.2888069704786176e-06, -1.0714392146837781e-06, -8.540714588889387e-07, -6.367037030940992e-07, -4.193359472992597e-07, -2.0196819150442025e-07, 1.539956429041922e-08, 2.327673200852587e-07, 4.5013507588009816e-07, 6.675028316749376e-07, 8.848701327224262e-07, 1.1022378885172657e-06, 1.3196056443121051e-06, 1.5369734001069446e-06, 1.754341155901784e-06, 1.9717090253834613e-06, 2.189076667491463e-06, 2.4064443095994648e-06, 2.623812179081142e-06, 2.841180048562819e-06, 3.058547690670821e-06, 3.2759153327788226e-06, 3.4932832022605e-06, 3.710651071742177e-06, 3.928018486476503e-06, 4.1453863559581805e-06, 4.362754225439858e-06, 4.580122094921535e-06, 4.797489964403212e-06, 5.014857379137538e-06, 5.2322252486192156e-06, 5.449593118100893e-06, 5.666960532835219e-06, 5.884328402316896e-06, 6.1016962717985734e-06, 6.319064141280251e-06, 6.536432010761928e-06, 6.753799425496254e-06, 6.971167294977931e-06, 7.1885351644596085e-06, 7.405902579193935e-06, 7.623270448675612e-06, 7.84063831815729e-06]}, "gradients/bert.encoder.layer.22.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 4.0, 2.0, 9.0, 7.0, 20.0, 20.0, 31.0, 46.0, 102.0, 215.0, 774.0, 7526.0, 1667540.0, 2508156.0, 8431.0, 905.0, 216.0, 108.0, 67.0, 37.0, 24.0, 17.0, 10.0, 7.0, 6.0, 2.0, 3.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.061343058012426e-05, -6.809320620959625e-05, -6.557298911502585e-05, -6.305276474449784e-05, -6.053254037396982e-05, -5.801231964142062e-05, -5.549209890887141e-05, -5.29718745383434e-05, -5.045165016781539e-05, -4.793142943526618e-05, -4.541120506473817e-05, -4.2890984332188964e-05, -4.037075996166095e-05, -3.7850539229111746e-05, -3.533031849656254e-05, -3.281009412603453e-05, -3.0289873393485323e-05, -2.7769650841946714e-05, -2.5249428290408105e-05, -2.27292075578589e-05, -2.0208983187330887e-05, -1.768876245478168e-05, -1.5168539903243072e-05, -1.2648317351704463e-05, -1.0128094800165854e-05, -7.6078722486272454e-06, -5.087650151835987e-06, -2.5674280550447293e-06, -4.7205503506120294e-08, 2.4730170480324887e-06, 4.993238690076396e-06, 7.513461241615005e-06, 1.0033683793153614e-05, 1.2553906344692223e-05, 1.5074128896230832e-05, 1.7594349628780037e-05, 2.011457399930805e-05, 2.2634794731857255e-05, 2.5155017283395864e-05, 2.7675239834934473e-05, 3.0195462386473082e-05, 3.271568493801169e-05, 3.5235905670560896e-05, 3.775613004108891e-05, 4.0276350773638114e-05, 4.279657514416613e-05, 4.531679587671533e-05, 4.7837020247243345e-05, 5.035724097979255e-05, 5.2877461712341756e-05, 5.539768608286977e-05, 5.7917906815418974e-05, 6.0438131185946986e-05, 6.295835191849619e-05, 6.54785762890242e-05, 6.799880065955222e-05, 7.051901775412261e-05, 7.303924212465063e-05, 7.555945921922103e-05, 7.807968358974904e-05, 8.059990796027705e-05, 8.312013233080506e-05, 8.564034942537546e-05, 8.816057379590347e-05, 9.068079816643149e-05]}, "gradients/bert.encoder.layer.22.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [6.0, 19.0, 97.0, 378.0, 433.0, 81.0, 7.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0070341886603273e-05, -7.524838110839482e-06, -4.979334335075691e-06, -2.4338305593119003e-06, 1.1167321645189077e-07, 2.657176992215682e-06, 5.202680767979473e-06, 7.748183634248562e-06, 1.0293688319507055e-05, 1.2839192095270846e-05, 1.5384695871034637e-05, 1.793020055629313e-05, 2.047570342256222e-05, 2.302120628883131e-05, 2.55667109740898e-05, 2.811221384035889e-05, 3.065772034460679e-05, 3.320322502986528e-05, 3.574872971512377e-05, 3.829423076240346e-05, 4.083973544766195e-05, 4.3385240132920444e-05, 4.593074118020013e-05, 4.847624586545862e-05, 5.1021750550717115e-05, 5.356725523597561e-05, 5.61127599212341e-05, 5.865826096851379e-05, 6.120376929175109e-05, 6.374927033903077e-05, 6.629477138631046e-05, 6.884027970954776e-05, 7.138577348086983e-05, 7.393127452814952e-05, 7.647678285138682e-05, 7.90222838986665e-05, 8.15677922219038e-05, 8.411329326918349e-05, 8.665879431646317e-05, 8.920430263970047e-05, 9.174980368698016e-05, 9.429530473425984e-05, 9.684081305749714e-05, 9.938631410477683e-05, 0.00010193181515205652, 0.00010447732347529382, 0.0001070228245225735, 0.00010956832556985319, 0.00011211383389309049, 0.00011465933494037017, 0.00011720484326360747, 0.00011975034431088716, 0.00012229585263412446, 0.00012484134640544653, 0.00012738685472868383, 0.00012993236305192113, 0.00013247787137515843, 0.00013502337969839573, 0.0001375688734697178, 0.0001401143817929551, 0.0001426598901161924, 0.00014520538388751447, 0.00014775089221075177, 0.00015029640053398907, 0.00015284189430531114]}, "gradients/bert.encoder.layer.22.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 6.0, 8.0, 2.0, 11.0, 8.0, 20.0, 22.0, 43.0, 37.0, 40.0, 54.0, 45.0, 60.0, 67.0, 70.0, 64.0, 67.0, 57.0, 61.0, 52.0, 38.0, 43.0, 23.0, 33.0, 23.0, 22.0, 13.0, 6.0, 4.0, 6.0, 2.0, 6.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-1.4850053048576228e-05, -1.4501511031994596e-05, -1.4152968105918262e-05, -1.380442608933663e-05, -1.3455883163260296e-05, -1.3107341146678664e-05, -1.2758799130097032e-05, -1.2410256204020698e-05, -1.2061713277944364e-05, -1.1713171261362731e-05, -1.1364628335286397e-05, -1.1016086318704765e-05, -1.0667543392628431e-05, -1.0319001376046799e-05, -9.970459359465167e-06, -9.621916433388833e-06, -9.2733744168072e-06, -8.924832400225569e-06, -8.576289474149235e-06, -8.227747457567602e-06, -7.879204531491268e-06, -7.530662514909636e-06, -7.182120043580653e-06, -6.83357757225167e-06, -6.485035100922687e-06, -6.136492629593704e-06, -5.787950158264721e-06, -5.439407686935738e-06, -5.0908656703541055e-06, -4.7423227442777716e-06, -4.393780727696139e-06, -4.045238256367156e-06, -3.696695785038173e-06, -3.34815331370919e-06, -2.999610842380207e-06, -2.6510685984248994e-06, -2.3025261270959163e-06, -1.9539836557669332e-06, -1.6054414118116256e-06, -1.2568989404826425e-06, -9.083564691536594e-07, -5.598140546680952e-07, -2.1127164018253097e-07, 1.372707174596144e-07, 4.858131887885975e-07, 8.343556601175806e-07, 1.1828979040728882e-06, 1.5314403754018713e-06, 1.8799828467308544e-06, 2.2285253180598374e-06, 2.5770677893888205e-06, 2.925610033344128e-06, 3.2741525046731113e-06, 3.6226949760020943e-06, 3.971237219957402e-06, 4.319779691286385e-06, 4.668322162615368e-06, 5.016864633944351e-06, 5.365407105273334e-06, 5.713949576602317e-06, 6.06249159318395e-06, 6.4110345192602836e-06, 6.759576535841916e-06, 7.108119007170899e-06, 7.456661478499882e-06]}, "gradients/bert.encoder.layer.22.attention.output.dense.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 0.0, 0.0, 7.0, 10.0, 0.0, 5.0, 9.0, 3.0, 8.0, 15.0, 21.0, 13.0, 28.0, 30.0, 25.0, 32.0, 35.0, 36.0, 49.0, 36.0, 48.0, 42.0, 48.0, 47.0, 43.0, 42.0, 36.0, 46.0, 40.0, 46.0, 28.0, 21.0, 25.0, 23.0, 24.0, 16.0, 17.0, 14.0, 13.0, 5.0, 7.0, 3.0, 7.0, 4.0, 3.0, 0.0, 3.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-6.556674179591937e-06, -6.307264357019449e-06, -6.05785453444696e-06, -5.808444711874472e-06, -5.5590353440493345e-06, -5.309625521476846e-06, -5.060215698904358e-06, -4.8108058763318695e-06, -4.561396053759381e-06, -4.311986231186893e-06, -4.0625764086144045e-06, -3.8131668134155916e-06, -3.5637569908431033e-06, -3.314347168270615e-06, -3.064937573071802e-06, -2.8155277504993137e-06, -2.5661179279268254e-06, -2.316708105354337e-06, -2.0672982827818487e-06, -1.8178886875830358e-06, -1.5684788650105475e-06, -1.3190690424380591e-06, -1.0696593335524085e-06, -8.202496246667579e-07, -5.708398020942695e-07, -3.2143003636520007e-07, -7.202027063613059e-08, 1.773894950929389e-07, 4.2679926082200836e-07, 6.762090833944967e-07, 9.256187922801473e-07, 1.175028501165798e-06, 1.4244378689909354e-06, 1.6738476915634237e-06, 1.923257514135912e-06, 2.172667109334725e-06, 2.4220769319072133e-06, 2.6714867544797016e-06, 2.9208963496785145e-06, 3.170306172251003e-06, 3.419715994823491e-06, 3.6691258173959795e-06, 3.918535639968468e-06, 4.167945462540956e-06, 4.417354830366094e-06, 4.666764652938582e-06, 4.91617447551107e-06, 5.165584298083559e-06, 5.414994120656047e-06, 5.664403943228535e-06, 5.913813765801024e-06, 6.163223588373512e-06, 6.412633410946e-06, 6.662043233518489e-06, 6.911452601343626e-06, 7.1608624239161145e-06, 7.410272246488603e-06, 7.65968161431374e-06, 7.909091436886229e-06, 8.158501259458717e-06, 8.407911082031205e-06, 8.657320904603694e-06, 8.906730727176182e-06, 9.15614054974867e-06, 9.405550372321159e-06]}, "gradients/bert.encoder.layer.22.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 4.0, 1.0, 3.0, 1.0, 4.0, 7.0, 7.0, 7.0, 19.0, 34.0, 49.0, 105.0, 210.0, 372.0, 629.0, 1220.0, 2222.0, 4453.0, 10225.0, 33495.0, 267338.0, 635603.0, 64846.0, 15392.0, 5975.0, 2918.0, 1588.0, 816.0, 429.0, 260.0, 158.0, 60.0, 55.0, 27.0, 11.0, 6.0, 5.0, 1.0, 3.0, 3.0, 1.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.6060334019130096e-05, -1.5545543647021987e-05, -1.5030753274913877e-05, -1.451596381230047e-05, -1.400117344019236e-05, -1.3486383068084251e-05, -1.2971593605470844e-05, -1.2456803233362734e-05, -1.1942012861254625e-05, -1.1427222489146516e-05, -1.0912432117038406e-05, -1.0397642654424999e-05, -9.88285228231689e-06, -9.36806191020878e-06, -8.853272447595373e-06, -8.338482075487264e-06, -7.823691703379154e-06, -7.308901331271045e-06, -6.7941114139102865e-06, -6.279321496549528e-06, -5.764531124441419e-06, -5.2497407523333095e-06, -4.734950834972551e-06, -4.220160917611793e-06, -3.7053705455036834e-06, -3.1905804007692495e-06, -2.6757902560348157e-06, -2.161000111300382e-06, -1.646209966565948e-06, -1.1314198218315141e-06, -6.166296770970803e-07, -1.0183953236264642e-07, 4.1295061237178743e-07, 9.277407571062213e-07, 1.4425309018406551e-06, 1.957321046575089e-06, 2.472111191309523e-06, 2.9869013360439567e-06, 3.5016914807783905e-06, 4.016481398139149e-06, 4.531271770247258e-06, 5.0460621423553675e-06, 5.560852059716126e-06, 6.075641977076884e-06, 6.590432349184994e-06, 7.105222721293103e-06, 7.620012638653861e-06, 8.13480255601462e-06, 8.649592928122729e-06, 9.164383300230838e-06, 9.679173672338948e-06, 1.0193963134952355e-05, 1.0708753507060464e-05, 1.1223543879168574e-05, 1.1738333341781981e-05, 1.225312371389009e-05, 1.27679140859982e-05, 1.328270445810631e-05, 1.3797494830214418e-05, 1.4312284292827826e-05, 1.4827074664935935e-05, 1.5341864127549343e-05, 1.5856654499657452e-05, 1.637144487176556e-05, 1.688623524387367e-05]}, "gradients/bert.encoder.layer.22.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 4.0, 1.0, 2.0, 3.0, 3.0, 1.0, 7.0, 11.0, 9.0, 12.0, 13.0, 20.0, 17.0, 21.0, 30.0, 25.0, 34.0, 29.0, 52.0, 49.0, 39.0, 46.0, 52.0, 49.0, 53.0, 41.0, 43.0, 42.0, 48.0, 30.0, 28.0, 36.0, 31.0, 30.0, 13.0, 13.0, 24.0, 11.0, 19.0, 3.0, 3.0, 3.0, 5.0, 1.0, 3.0, 4.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.308032531407662e-06, -9.008259439724497e-06, -8.708486348041333e-06, -8.408713256358169e-06, -8.108940164675005e-06, -7.80916707299184e-06, -7.509394436056027e-06, -7.209621344372863e-06, -6.909848252689699e-06, -6.6100751610065345e-06, -6.31030206932337e-06, -6.010528977640206e-06, -5.710756340704393e-06, -5.410983249021228e-06, -5.111210157338064e-06, -4.8114370656549e-06, -4.511663973971736e-06, -4.2118908822885714e-06, -3.912117790605407e-06, -3.6123449262959184e-06, -3.312571834612754e-06, -3.01279874292959e-06, -2.713025878620101e-06, -2.413252786936937e-06, -2.1134796952537727e-06, -1.8137066035706084e-06, -1.513933625574282e-06, -1.2141606475779554e-06, -9.143875558947911e-07, -6.146144642116269e-07, -3.148414862153004e-07, -1.5068508218973875e-08, 2.847036739694886e-07, 5.84476708809234e-07, 8.842497436489793e-07, 1.1840227216453059e-06, 1.48379581332847e-06, 1.7835689050116343e-06, 2.083341769321123e-06, 2.3831148610042874e-06, 2.6828879526874516e-06, 2.982661044370616e-06, 3.28243413605378e-06, 3.582207000363269e-06, 3.881979864672758e-06, 4.181752956355922e-06, 4.481526048039086e-06, 4.78129913972225e-06, 5.081072231405415e-06, 5.380845323088579e-06, 5.680618414771743e-06, 5.980391506454907e-06, 6.280164598138072e-06, 6.579937689821236e-06, 6.879710326757049e-06, 7.1794834184402134e-06, 7.479256510123378e-06, 7.779029147059191e-06, 8.078802238742355e-06, 8.37857533042552e-06, 8.678348422108684e-06, 8.978121513791848e-06, 9.277894605475012e-06, 9.577667697158176e-06, 9.87744078884134e-06]}, "gradients/bert.encoder.layer.22.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 3.0, 3.0, 5.0, 3.0, 9.0, 4.0, 10.0, 11.0, 27.0, 23.0, 23.0, 34.0, 43.0, 64.0, 72.0, 85.0, 106.0, 114.0, 152.0, 197.0, 359.0, 1776.0, 26761.0, 991502.0, 24179.0, 1683.0, 375.0, 192.0, 169.0, 114.0, 93.0, 69.0, 72.0, 56.0, 54.0, 21.0, 20.0, 21.0, 18.0, 13.0, 8.0, 5.0, 5.0, 3.0, 4.0, 2.0, 3.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.825536598218605e-05, -4.6722881961613894e-05, -4.519039794104174e-05, -4.365791392046958e-05, -4.2125429899897426e-05, -4.059294587932527e-05, -3.9060461858753115e-05, -3.752797783818096e-05, -3.5995493817608804e-05, -3.446300979703665e-05, -3.293052577646449e-05, -3.1398041755892336e-05, -2.986555773532018e-05, -2.8333073714748025e-05, -2.6800591513165273e-05, -2.5268107492593117e-05, -2.3735625291010365e-05, -2.220314127043821e-05, -2.0670657249866053e-05, -1.9138173229293898e-05, -1.7605689208721742e-05, -1.6073205188149586e-05, -1.4540722986566834e-05, -1.3008238965994678e-05, -1.1475754945422523e-05, -9.943270924850367e-06, -8.410786904278211e-06, -6.878303793200757e-06, -5.345819772628602e-06, -3.813335752056446e-06, -2.280852640978992e-06, -7.483686204068363e-07, 7.841154001653194e-07, 2.3165991933637997e-06, 3.84908298656228e-06, 5.381566552387085e-06, 6.9140505729592405e-06, 8.446534593531396e-06, 9.97901770460885e-06, 1.1511501725181006e-05, 1.3043985745753162e-05, 1.4576469766325317e-05, 1.6108953786897473e-05, 1.7641435988480225e-05, 1.917392000905238e-05, 2.0706404029624537e-05, 2.2238888050196692e-05, 2.3771372070768848e-05, 2.5303856091341004e-05, 2.683634011191316e-05, 2.8368824132485315e-05, 2.990130815305747e-05, 3.143379217362963e-05, 3.296627619420178e-05, 3.449875657679513e-05, 3.603124059736729e-05, 3.756372461793944e-05, 3.90962086385116e-05, 4.0628692659083754e-05, 4.216117667965591e-05, 4.3693660700228065e-05, 4.522614472080022e-05, 4.675862874137238e-05, 4.829111276194453e-05, 4.982359678251669e-05]}, "gradients/bert.encoder.layer.22.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 6.0, 5.0, 8.0, 7.0, 4.0, 19.0, 25.0, 58.0, 203.0, 376.0, 170.0, 57.0, 28.0, 11.0, 14.0, 7.0, 3.0, 4.0, 3.0, 3.0, 0.0, 3.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.0516032489249483e-12, -1.0262901639634947e-12, -1.0009770790020411e-12, -9.756639940405876e-13, -9.50350909079134e-13, -9.250378241176804e-13, -8.997247391562269e-13, -8.744116541947733e-13, -8.490985692333197e-13, -8.237854842718662e-13, -7.984723993104126e-13, -7.73159314348959e-13, -7.478462293875054e-13, -7.225331444260519e-13, -6.972200594645983e-13, -6.719069745031447e-13, -6.465938895416912e-13, -6.212808045802376e-13, -5.95967719618784e-13, -5.706546346573305e-13, -5.453415496958769e-13, -5.200284647344233e-13, -4.947153797729698e-13, -4.694022948115162e-13, -4.440892098500626e-13, -4.1877612488860905e-13, -3.934630399271555e-13, -3.681499549657019e-13, -3.4283687000424834e-13, -3.1752378504279477e-13, -2.922107000813412e-13, -2.6689761511988763e-13, -2.4158453015843406e-13, -2.162714451969805e-13, -1.9095836023552692e-13, -1.6564527527407336e-13, -1.4033219031261979e-13, -1.1501910535116622e-13, -8.970602038971265e-14, -6.439293542825908e-14, -3.907985046680551e-14, -1.3766765505351941e-14, 1.1546319456101628e-14, 3.68594044175552e-14, 6.217248937900877e-14, 8.748557434046234e-14, 1.127986593019159e-13, 1.3811174426336947e-13, 1.6342482922482304e-13, 1.887379141862766e-13, 2.1405099914773018e-13, 2.3936408410918375e-13, 2.646771690706373e-13, 2.899902540320909e-13, 3.1530333899354446e-13, 3.4061642395499803e-13, 3.659295089164516e-13, 3.9124259387790516e-13, 4.1655567883935873e-13, 4.418687638008123e-13, 4.671818487622659e-13, 4.924949337237194e-13, 5.17808018685173e-13, 5.431211036466266e-13, 5.684341886080801e-13]}, "gradients/bert.encoder.layer.22.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 3.0, 2.0, 5.0, 3.0, 3.0, 11.0, 13.0, 25.0, 36.0, 71.0, 109.0, 367.0, 2028.0, 67164.0, 969229.0, 8295.0, 778.0, 200.0, 71.0, 55.0, 32.0, 17.0, 12.0, 12.0, 6.0, 5.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7495319955050945e-05, -2.658652010723017e-05, -2.56777220783988e-05, -2.4768922230578028e-05, -2.3860122382757254e-05, -2.2951324353925884e-05, -2.204252450610511e-05, -2.1133724658284336e-05, -2.0224924810463563e-05, -1.931612496264279e-05, -1.840732693381142e-05, -1.7498527085990645e-05, -1.658972723816987e-05, -1.56809292093385e-05, -1.4772129361517727e-05, -1.3863329513696954e-05, -1.2954531484865583e-05, -1.2045732546539512e-05, -1.1136932698718738e-05, -1.0228133760392666e-05, -9.319333912571892e-06, -8.41053497424582e-06, -7.501736035919748e-06, -6.592936642846325e-06, -5.684137249772903e-06, -4.77533785669948e-06, -3.866538463626057e-06, -2.957739525299985e-06, -2.048940132226562e-06, -1.1401407391531393e-06, -2.3134180082706735e-07, 6.774575922463555e-07, 1.5862569853197783e-06, 2.495056378393201e-06, 3.4038555440929485e-06, 4.312654709792696e-06, 5.221454102866119e-06, 6.130253495939542e-06, 7.0390524342656136e-06, 7.947852282086387e-06, 8.85665122041246e-06, 9.765450158738531e-06, 1.0674250006559305e-05, 1.1583048944885377e-05, 1.2491847883211449e-05, 1.3400647731032223e-05, 1.4309446669358294e-05, 1.5218245607684366e-05, 1.612704545550514e-05, 1.7035845303325914e-05, 1.7944643332157284e-05, 1.8853443179978058e-05, 1.976224302779883e-05, 2.0671042875619605e-05, 2.1579840904450975e-05, 2.248864075227175e-05, 2.339743878110312e-05, 2.4306238628923893e-05, 2.5215036657755263e-05, 2.6123836505576037e-05, 2.703263635339681e-05, 2.794143438222818e-05, 2.8850234230048954e-05, 2.9759034077869728e-05, 3.06678339256905e-05]}, "gradients/bert.encoder.layer.22.attention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 4.0, 1.0, 1.0, 5.0, 12.0, 15.0, 21.0, 30.0, 44.0, 60.0, 113.0, 269.0, 172.0, 88.0, 59.0, 34.0, 29.0, 15.0, 7.0, 7.0, 5.0, 5.0, 4.0, 2.0, 2.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5501440177322365e-06, -2.4673031475686003e-06, -2.384462277404964e-06, -2.3016214072413277e-06, -2.2187805370776914e-06, -2.1359394395403797e-06, -2.0530985693767434e-06, -1.970257699213107e-06, -1.8874168290494708e-06, -1.8045759588858346e-06, -1.7217350887221983e-06, -1.6388941048717243e-06, -1.556053234708088e-06, -1.4732123645444517e-06, -1.3903713806939777e-06, -1.3075305105303414e-06, -1.2246896403667051e-06, -1.1418487702030689e-06, -1.0590079000394326e-06, -9.761669161889586e-07, -8.933260460253223e-07, -8.10485175861686e-07, -7.276442488546309e-07, -6.448033218475757e-07, -5.619624516839394e-07, -4.791215815203032e-07, -3.96280654513248e-07, -3.134397559279023e-07, -2.3059885734255658e-07, -1.4775795875721087e-07, -6.491706017186516e-08, 1.7923866835189983e-08, 1.0076473699882627e-07, 1.8360563558417198e-07, 2.664465341695177e-07, 3.492874327548634e-07, 4.321283313402091e-07, 5.149692015038454e-07, 5.978101285109005e-07, 6.806510555179557e-07, 7.63491925681592e-07, 8.463327958452282e-07, 9.291737228522834e-07, 1.0120146498593385e-06, 1.0948555200229748e-06, 1.177696390186611e-06, 1.260537374037085e-06, 1.3433782442007214e-06, 1.4262191143643577e-06, 1.509059984527994e-06, 1.5919008546916302e-06, 1.6747418385421042e-06, 1.7575827087057405e-06, 1.8404235788693768e-06, 1.923264562719851e-06, 2.006105432883487e-06, 2.0889463030471234e-06, 2.1717871732107596e-06, 2.254628043374396e-06, 2.337468913538032e-06, 2.420310011075344e-06, 2.5031508812389802e-06, 2.5859917514026165e-06, 2.6688326215662528e-06, 2.751673491729889e-06]}, "gradients/bert.encoder.layer.22.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 3.0, 0.0, 0.0, 4.0, 2.0, 3.0, 7.0, 9.0, 12.0, 27.0, 84.0, 224.0, 860.0, 4771.0, 138292.0, 892062.0, 10232.0, 1386.0, 370.0, 111.0, 47.0, 18.0, 11.0, 8.0, 5.0, 4.0, 5.0, 0.0, 1.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.2128189812065102e-05, -2.1394442228483967e-05, -2.0660694644902833e-05, -1.99269488803111e-05, -1.9193201296729967e-05, -1.8459453713148832e-05, -1.7725706129567698e-05, -1.6991958545986563e-05, -1.6258210962405428e-05, -1.5524463378824294e-05, -1.479071670473786e-05, -1.4056969121156726e-05, -1.3323221537575591e-05, -1.2589474863489158e-05, -1.1855727279908024e-05, -1.1121979696326889e-05, -1.0388233022240456e-05, -9.654485438659322e-06, -8.920738764572889e-06, -8.186991180991754e-06, -7.453243597410619e-06, -6.7194964685768355e-06, -5.985749339743052e-06, -5.252001756161917e-06, -4.518254627328133e-06, -3.784507271120674e-06, -3.0507599149132147e-06, -2.317012786079431e-06, -1.5832654298719717e-06, -8.495180736645125e-07, -1.157709448307287e-07, 6.17976638750406e-07, 1.3517237675841898e-06, 2.085471123791649e-06, 2.8192184799991082e-06, 3.552965608832892e-06, 4.286713192414027e-06, 5.0204603212478105e-06, 5.754207450081594e-06, 6.487955033662729e-06, 7.221702162496513e-06, 7.955449291330297e-06, 8.689196874911431e-06, 9.422943548997864e-06, 1.0156691132578999e-05, 1.0890438716160133e-05, 1.1624186299741268e-05, 1.2357933883322403e-05, 1.3091680557408836e-05, 1.382542814098997e-05, 1.4559174815076403e-05, 1.5292922398657538e-05, 1.6026669982238673e-05, 1.6760417565819807e-05, 1.749416333041154e-05, 1.8227910913992673e-05, 1.8961658497573808e-05, 1.9695406081154943e-05, 2.0429153664736077e-05, 2.1162901248317212e-05, 2.1896647012908943e-05, 2.2630394596490078e-05, 2.3364142180071212e-05, 2.4097889763652347e-05, 2.4831637347233482e-05]}, "gradients/bert.encoder.layer.21.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 13.0, 81.0, 459.0, 426.0, 38.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013652659254148602, -0.0001334177504759282, -0.00013030892296228558, -0.00012720008089672774, -0.0001240912388311699, -0.0001209824113175273, -0.00011787356925196946, -0.00011476473446236923, -0.00011165589967276901, -0.00010854706488316879, -0.00010543822281761095, -0.00010232938802801073, -9.92205532384105e-05, -9.611171844881028e-05, -9.300287638325244e-05, -8.989404159365222e-05, -8.678519952809438e-05, -8.367636473849416e-05, -8.056752267293632e-05, -7.74586878833361e-05, -7.434985309373587e-05, -7.124101102817804e-05, -6.813217623857781e-05, -6.502334144897759e-05, -6.191449938341975e-05, -5.880566095584072e-05, -5.56968261662405e-05, -5.258798773866147e-05, -4.9479152949061245e-05, -4.6370314521482214e-05, -4.3261476093903184e-05, -4.015264130430296e-05, -3.704381379066035e-05, -3.393497536308132e-05, -3.08261405734811e-05, -2.7717302145902067e-05, -2.460846553731244e-05, -2.1499628928722814e-05, -1.8390790501143783e-05, -1.5281953892554156e-05, -1.217311728396453e-05, -9.064280675374903e-06, -5.955443157290574e-06, -2.8466056392062455e-06, 2.622309693833813e-07, 3.371067577973008e-06, 6.4799060055520386e-06, 9.588742614141665e-06, 1.2697579222731292e-05, 1.580641583132092e-05, 1.8915252439910546e-05, 2.2024090867489576e-05, 2.5132927476079203e-05, 2.824176408466883e-05, 3.135060251224786e-05, 3.4459437301848084e-05, 3.7568275729427114e-05, 4.0677114157006145e-05, 4.378594894660637e-05, 4.68947873741854e-05, 5.000362580176443e-05, 5.311246059136465e-05, 5.622129901894368e-05, 5.933013744652271e-05, 6.243897223612294e-05]}, "gradients/bert.encoder.layer.21.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 0.0, 1.0, 2.0, 5.0, 2.0, 5.0, 10.0, 7.0, 6.0, 8.0, 12.0, 21.0, 16.0, 18.0, 24.0, 21.0, 23.0, 30.0, 30.0, 36.0, 31.0, 31.0, 34.0, 34.0, 33.0, 53.0, 50.0, 45.0, 52.0, 45.0, 36.0, 37.0, 30.0, 28.0, 30.0, 27.0, 15.0, 26.0, 20.0, 17.0, 10.0, 16.0, 8.0, 4.0, 6.0, 4.0, 7.0, 4.0, 0.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.3433740605250932e-05, -1.3023000065004453e-05, -1.2612260434252676e-05, -1.2201519894006196e-05, -1.1790780263254419e-05, -1.138003972300794e-05, -1.096929918276146e-05, -1.0558558642514981e-05, -1.0147819011763204e-05, -9.737078471516725e-06, -9.326338840764947e-06, -8.915598300518468e-06, -8.504857760271989e-06, -8.094118129520211e-06, -7.683377589273732e-06, -7.272637503774604e-06, -6.8618974182754755e-06, -6.451157332776347e-06, -6.040417247277219e-06, -5.62967670703074e-06, -5.218936621531611e-06, -4.808196536032483e-06, -4.397455995786004e-06, -3.9867159102868754e-06, -3.575975824787747e-06, -3.1652357392886188e-06, -2.754495426415815e-06, -2.3437551135430112e-06, -1.933015028043883e-06, -1.5222749425447546e-06, -1.1115346296719508e-06, -7.007943167991471e-07, -2.9005423130001873e-07, 1.2068596788594732e-07, 5.314261670719134e-07, 9.421663662578794e-07, 1.3529065654438455e-06, 1.7636466509429738e-06, 2.1743869638157776e-06, 2.5851272766885813e-06, 2.9958673621877097e-06, 3.406607447686838e-06, 3.817347533185966e-06, 4.2280880734324455e-06, 4.638828158931574e-06, 5.049568244430702e-06, 5.460308784677181e-06, 5.87104887017631e-06, 6.281788955675438e-06, 6.692529041174566e-06, 7.103269126673695e-06, 7.514009666920174e-06, 7.924749297671951e-06, 8.33548983791843e-06, 8.74623037816491e-06, 9.156970918411389e-06, 9.567710549163166e-06, 9.978451089409646e-06, 1.0389190720161423e-05, 1.0799931260407902e-05, 1.1210671800654382e-05, 1.1621411431406159e-05, 1.2032151971652638e-05, 1.2442891602404416e-05, 1.2853632142650895e-05]}, "gradients/bert.encoder.layer.21.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 3.0, 5.0, 8.0, 5.0, 13.0, 14.0, 14.0, 16.0, 31.0, 28.0, 41.0, 40.0, 49.0, 54.0, 52.0, 58.0, 62.0, 60.0, 61.0, 62.0, 46.0, 46.0, 37.0, 52.0, 45.0, 20.0, 28.0, 15.0, 13.0, 7.0, 11.0, 11.0, 3.0, 2.0, 3.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-1.081004120351281e-05, -1.0528253369557206e-05, -1.0246465535601601e-05, -9.964676792151295e-06, -9.68288895819569e-06, -9.401101124240085e-06, -9.119313290284481e-06, -8.837525456328876e-06, -8.55573671287857e-06, -8.273948878922965e-06, -7.99216104496736e-06, -7.710372301517054e-06, -7.42858446756145e-06, -7.146796633605845e-06, -6.865008799650241e-06, -6.583220965694636e-06, -6.3014331317390315e-06, -6.019645297783427e-06, -5.7378570090804715e-06, -5.456069175124867e-06, -5.174280886421911e-06, -4.892493052466307e-06, -4.610705218510702e-06, -4.328917384555098e-06, -4.047129095852142e-06, -3.765341034522862e-06, -3.483552973193582e-06, -3.2017651392379776e-06, -2.9199770779086975e-06, -2.6381890165794175e-06, -2.356401182623813e-06, -2.074613121294533e-06, -1.7928250599652529e-06, -1.5110369986359729e-06, -1.2292490509935305e-06, -9.474610465076694e-07, -6.656730420218082e-07, -3.838849806925282e-07, -1.0209703305008588e-07, 1.7969091459235642e-07, 4.6147897592163645e-07, 7.432669804074976e-07, 1.0250549848933588e-06, 1.306842932535801e-06, 1.5886309938650811e-06, 1.8704190551943611e-06, 2.1522068891499657e-06, 2.4339949504792457e-06, 2.7157830118085258e-06, 2.997571073137806e-06, 3.279359134467086e-06, 3.5611469684226904e-06, 3.842935257125646e-06, 4.1247230910812505e-06, 4.406510925036855e-06, 4.68829875899246e-06, 4.970087047695415e-06, 5.25187488165102e-06, 5.533663170353975e-06, 5.81545100430958e-06, 6.097238838265184e-06, 6.37902712696814e-06, 6.660814960923744e-06, 6.9426032496267e-06, 7.224391083582304e-06]}, "gradients/bert.encoder.layer.21.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 4.0, 3.0, 2.0, 3.0, 5.0, 9.0, 6.0, 6.0, 11.0, 11.0, 6.0, 12.0, 13.0, 26.0, 20.0, 28.0, 37.0, 51.0, 67.0, 134.0, 201.0, 418.0, 885.0, 2909.0, 9912.0, 51161.0, 3035846.0, 1051493.0, 30777.0, 6563.0, 1993.0, 714.0, 344.0, 193.0, 111.0, 81.0, 58.0, 26.0, 23.0, 23.0, 26.0, 18.0, 8.0, 5.0, 8.0, 8.0, 5.0, 3.0, 5.0, 8.0, 2.0, 7.0, 3.0, 4.0, 1.0, 2.0, 1.0, 1.0], "bins": [-3.419119821046479e-05, -3.3151041861856356e-05, -3.211088551324792e-05, -3.107072916463949e-05, -3.0030572816031054e-05, -2.899041646742262e-05, -2.7950258299824782e-05, -2.6910101951216348e-05, -2.5869945602607913e-05, -2.482978925399948e-05, -2.3789632905391045e-05, -2.274947655678261e-05, -2.1709318389184773e-05, -2.066916204057634e-05, -1.9629005691967905e-05, -1.858884934335947e-05, -1.7548692994751036e-05, -1.6508536646142602e-05, -1.5468380297534168e-05, -1.4428223039431032e-05, -1.3388066690822598e-05, -1.2347910342214163e-05, -1.1307753084111027e-05, -1.0267596735502593e-05, -9.227440386894159e-06, -8.187284038285725e-06, -7.14712723492994e-06, -6.106970431574155e-06, -5.0668140829657204e-06, -4.026657734357286e-06, -2.986500931001501e-06, -1.946344127645716e-06, -9.06191417016089e-07, 1.3396515896602068e-07, 1.1741217349481303e-06, 2.21427831093024e-06, 3.2544348869123496e-06, 4.294591235520784e-06, 5.334748038876569e-06, 6.374904842232354e-06, 7.415061190840788e-06, 8.455217539449222e-06, 9.495373888057657e-06, 1.0535531146160793e-05, 1.1575687494769227e-05, 1.2615843843377661e-05, 1.3656001101480797e-05, 1.4696157450089231e-05, 1.5736313798697665e-05, 1.67764701473061e-05, 1.7816626495914534e-05, 1.8856782844522968e-05, 1.9896939193131402e-05, 2.0937095541739836e-05, 2.1977253709337674e-05, 2.3017410057946108e-05, 2.4057566406554542e-05, 2.5097722755162977e-05, 2.613787910377141e-05, 2.7178035452379845e-05, 2.8218193619977683e-05, 2.9258349968586117e-05, 3.029850631719455e-05, 3.1338662665802985e-05, 3.237881901441142e-05]}, "gradients/bert.encoder.layer.21.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 6.0, 11.0, 20.0, 21.0, 26.0, 67.0, 137.0, 372.0, 1328.0, 1407.0, 380.0, 129.0, 91.0, 38.0, 18.0, 17.0, 2.0, 5.0, 2.0, 2.0, 0.0, 1.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.642375410592649e-06, -6.340717845887411e-06, -6.039059826434823e-06, -5.737402261729585e-06, -5.435744242276996e-06, -5.134086677571759e-06, -4.832429112866521e-06, -4.530771548161283e-06, -4.2291135287086945e-06, -3.927455964003457e-06, -3.625797944550868e-06, -3.3241403798456304e-06, -3.022482587766717e-06, -2.720824795687804e-06, -2.4191672309825663e-06, -2.117509438903653e-06, -1.8158516468247399e-06, -1.5141938547458267e-06, -1.2125361763537512e-06, -9.108784411182569e-07, -6.092207058827626e-07, -3.0756291380384937e-07, -5.9052354117739014e-09, 2.9575244298030157e-07, 5.974102350592148e-07, 8.990679702947091e-07, 1.2007257055302034e-06, 1.5023833839222789e-06, 1.804041176001192e-06, 2.1056989680801053e-06, 2.407356532785343e-06, 2.709014324864256e-06, 3.0106712074484676e-06, 3.312328999527381e-06, 3.613986791606294e-06, 3.915644356311532e-06, 4.21730237576412e-06, 4.518959940469358e-06, 4.820617505174596e-06, 5.122275069879834e-06, 5.423933089332422e-06, 5.72559065403766e-06, 6.027248673490249e-06, 6.328906238195486e-06, 6.630563802900724e-06, 6.932221822353313e-06, 7.2338793870585505e-06, 7.535537406511139e-06, 7.837194971216377e-06, 8.138852535921615e-06, 8.440510100626852e-06, 8.742168574826792e-06, 9.04382613953203e-06, 9.345483704237267e-06, 9.647141268942505e-06, 9.948798833647743e-06, 1.025045639835298e-05, 1.0552113963058218e-05, 1.0853771527763456e-05, 1.1155430001963396e-05, 1.1457087566668633e-05, 1.1758745131373871e-05, 1.2060402696079109e-05, 1.2362060260784347e-05, 1.2663718734984286e-05]}, "gradients/bert.encoder.layer.21.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 3.0, 4.0, 13.0, 17.0, 18.0, 25.0, 54.0, 132.0, 376.0, 3593.0, 3596039.0, 591053.0, 2377.0, 339.0, 115.0, 63.0, 28.0, 17.0, 9.0, 3.0, 3.0, 5.0, 1.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.798622340895236e-05, -9.405692253494635e-05, -9.012762893689796e-05, -8.619832806289196e-05, -8.226902718888596e-05, -7.833972631487995e-05, -7.441043271683156e-05, -7.048113184282556e-05, -6.655183096881956e-05, -6.262253009481356e-05, -5.869323285878636e-05, -5.476393562275916e-05, -5.083463474875316e-05, -4.6905337512725964e-05, -4.297604027669877e-05, -3.9046739402692765e-05, -3.5117445804644376e-05, -3.118814856861718e-05, -2.7258847694611177e-05, -2.332955045858398e-05, -1.940025140356738e-05, -1.547095234855078e-05, -1.1541655112523586e-05, -7.612356057506986e-06, -3.6830570024903864e-06, 2.4624159777886234e-07, 4.175540198048111e-06, 8.104838343570009e-06, 1.2034137398586608e-05, 1.5963436453603208e-05, 1.9892733689630404e-05, 2.3822032744647004e-05, 2.7751331799663603e-05, 3.16806290356908e-05, 3.56099299096968e-05, 3.9539227145724e-05, 4.346852801973e-05, 4.73978252557572e-05, 5.1327122491784394e-05, 5.52564233657904e-05, 5.918572060181759e-05, 6.311501783784479e-05, 6.704431871185079e-05, 7.09736195858568e-05, 7.490291318390518e-05, 7.883221405791119e-05, 8.276151493191719e-05, 8.669080852996558e-05, 9.062010940397158e-05, 9.454941027797759e-05, 9.847870387602597e-05, 0.00010240800475003198, 0.00010633730562403798, 0.00011026659922208637, 0.00011419590009609237, 0.00011812520097009838, 0.00012205449456814677, 0.00012598378816619515, 0.00012991309631615877, 0.00013384238991420716, 0.00013777168351225555, 0.00014170099166221917, 0.00014563028526026756, 0.00014955957885831594, 0.00015348888700827956]}, "gradients/bert.encoder.layer.21.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [3.0, 0.0, 7.0, 21.0, 75.0, 212.0, 429.0, 212.0, 52.0, 10.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1973876098636538e-05, -1.0104076864081435e-05, -8.234277629526332e-06, -6.364477940223878e-06, -4.494678705668775e-06, -2.6248790163663216e-06, -7.550797818112187e-07, 1.1147194527438842e-06, 2.984518687298987e-06, 4.85431792185409e-06, 6.724117156409193e-06, 8.593917300458997e-06, 1.04637165350141e-05, 1.2333515769569203e-05, 1.4203315004124306e-05, 1.607311423867941e-05, 1.7942913473234512e-05, 1.9812712707789615e-05, 2.1682511942344718e-05, 2.355231117689982e-05, 2.5422110411454923e-05, 2.7291909646010026e-05, 2.9161710699554533e-05, 3.103150811512023e-05, 3.290130916866474e-05, 3.4771110222209245e-05, 3.6640907637774944e-05, 3.851070869131945e-05, 4.038050610688515e-05, 4.2250307160429657e-05, 4.4120104575995356e-05, 4.598990562953986e-05, 4.785970304510556e-05, 4.972950409865007e-05, 5.159930151421577e-05, 5.3469102567760274e-05, 5.533889998332597e-05, 5.720870103687048e-05, 5.907849845243618e-05, 6.0948299505980685e-05, 6.281810055952519e-05, 6.468789797509089e-05, 6.65577026666142e-05, 6.84275000821799e-05, 7.02972974977456e-05, 7.21670949133113e-05, 7.403689960483462e-05, 7.590669702040032e-05, 7.777649443596601e-05, 7.964629185153171e-05, 8.151609654305503e-05, 8.338589395862073e-05, 8.525569137418643e-05, 8.712548878975213e-05, 8.899529348127544e-05, 9.086509089684114e-05, 9.273488831240684e-05, 9.460468572797254e-05, 9.647449041949585e-05, 9.834428783506155e-05, 0.00010021408525062725, 0.00010208388266619295, 0.00010395368735771626, 0.00010582348477328196, 0.00010769328218884766]}, "gradients/bert.encoder.layer.21.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 4.0, 7.0, 4.0, 8.0, 10.0, 15.0, 9.0, 17.0, 17.0, 27.0, 29.0, 34.0, 36.0, 26.0, 37.0, 39.0, 50.0, 42.0, 49.0, 55.0, 42.0, 47.0, 32.0, 40.0, 47.0, 35.0, 37.0, 38.0, 35.0, 20.0, 28.0, 15.0, 12.0, 11.0, 13.0, 7.0, 14.0, 6.0, 4.0, 2.0, 5.0, 4.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.64858793647727e-06, -8.403675565205049e-06, -8.158763193932828e-06, -7.913850822660606e-06, -7.668938451388385e-06, -7.424026080116164e-06, -7.179113708843943e-06, -6.9342013375717215e-06, -6.6892889662995e-06, -6.444376595027279e-06, -6.199464223755058e-06, -5.954551852482837e-06, -5.7096394812106155e-06, -5.464727109938394e-06, -5.219814738666173e-06, -4.974902367393952e-06, -4.72998954137438e-06, -4.4850771701021586e-06, -4.240164798829937e-06, -3.995252427557716e-06, -3.750340056285495e-06, -3.5054276850132737e-06, -3.260515086367377e-06, -3.015602715095156e-06, -2.7706903438229347e-06, -2.5257779725507135e-06, -2.2808656012784922e-06, -2.0359530026325956e-06, -1.7910407450472121e-06, -1.546128373774991e-06, -1.301215888815932e-06, -1.0563035175437108e-06, -8.113916010188404e-07, -5.664792297466192e-07, -3.2156680163097917e-07, -7.66543735153391e-08, 1.682579977568821e-07, 4.131703690291033e-07, 6.580828539881622e-07, 9.029952252603834e-07, 1.1479075965326047e-06, 1.3928199678048259e-06, 1.637732339077047e-06, 1.882644824036106e-06, 2.127557308995165e-06, 2.372469680267386e-06, 2.6173820515396073e-06, 2.8622944228118286e-06, 3.1072067940840498e-06, 3.352119165356271e-06, 3.597031536628492e-06, 3.841943907900713e-06, 4.086856279172935e-06, 4.331768650445156e-06, 4.576681021717377e-06, 4.821593392989598e-06, 5.066505764261819e-06, 5.311418135534041e-06, 5.556330506806262e-06, 5.801242878078483e-06, 6.046155249350704e-06, 6.2910676206229255e-06, 6.535979991895147e-06, 6.780892363167368e-06, 7.02580518918694e-06]}, "gradients/bert.encoder.layer.21.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 3.0, 2.0, 9.0, 9.0, 10.0, 8.0, 14.0, 11.0, 13.0, 19.0, 25.0, 25.0, 21.0, 31.0, 29.0, 31.0, 36.0, 41.0, 33.0, 46.0, 27.0, 38.0, 54.0, 39.0, 41.0, 36.0, 37.0, 40.0, 36.0, 29.0, 24.0, 28.0, 20.0, 21.0, 21.0, 12.0, 14.0, 15.0, 10.0, 6.0, 9.0, 4.0, 10.0, 10.0, 0.0, 5.0, 2.0, 3.0, 1.0, 2.0, 2.0], "bins": [-7.77812056185212e-06, -7.557326625828864e-06, -7.336532689805608e-06, -7.1157387537823524e-06, -6.894944817759097e-06, -6.67415042698849e-06, -6.453356945712585e-06, -6.232562554941978e-06, -6.0117686189187225e-06, -5.790974682895467e-06, -5.570180746872211e-06, -5.349386810848955e-06, -5.128592874825699e-06, -4.9077989388024434e-06, -4.687004548031837e-06, -4.466210612008581e-06, -4.245416675985325e-06, -4.024622739962069e-06, -3.8038288039388135e-06, -3.5830348679155577e-06, -3.3622407045186264e-06, -3.1414467684953706e-06, -2.920652832472115e-06, -2.6998586690751836e-06, -2.4790651877992786e-06, -2.258271251776023e-06, -2.037477315752767e-06, -1.8166832660426735e-06, -1.59588921633258e-06, -1.3750952803093242e-06, -1.1543013442860683e-06, -9.335072945759748e-07, -7.127132448658813e-07, -4.919192519992066e-07, -2.7112528755424137e-07, -5.033132310927613e-08, 1.7046266975739854e-07, 3.912566626240732e-07, 6.12050598647329e-07, 8.328446483574226e-07, 1.0536385843806784e-06, 1.2744325204039342e-06, 1.4952265701140277e-06, 1.7160205061372835e-06, 1.9368144421605393e-06, 2.157608378183795e-06, 2.378402314207051e-06, 2.599196477603982e-06, 2.819990413627238e-06, 3.040784349650494e-06, 3.2615782856737496e-06, 3.482372449070681e-06, 3.7031663850939367e-06, 3.9239603211171925e-06, 4.144754257140448e-06, 4.365548193163704e-06, 4.58634212918696e-06, 4.807136065210216e-06, 5.0279300012334716e-06, 5.248723937256727e-06, 5.469517873279983e-06, 5.690311809303239e-06, 5.911106200073846e-06, 6.1319001360971015e-06, 6.352694072120357e-06]}, "gradients/bert.encoder.layer.21.attention.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 2.0, 2.0, 1.0, 4.0, 3.0, 7.0, 5.0, 7.0, 19.0, 25.0, 33.0, 55.0, 101.0, 148.0, 245.0, 388.0, 691.0, 1180.0, 2299.0, 4497.0, 9684.0, 26082.0, 97945.0, 487761.0, 320570.0, 62333.0, 18924.0, 7483.0, 3661.0, 1847.0, 1051.0, 603.0, 381.0, 203.0, 116.0, 74.0, 49.0, 29.0, 15.0, 13.0, 12.0, 7.0, 4.0, 4.0, 0.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.073497514880728e-05, -1.0349505828344263e-05, -9.964037417375948e-06, -9.578568096912932e-06, -9.193099685944617e-06, -8.8076303654816e-06, -8.422161045018584e-06, -8.036691724555567e-06, -7.651223313587252e-06, -7.265754447871586e-06, -6.8802855821559206e-06, -6.494816261692904e-06, -6.109347395977238e-06, -5.7238785302615725e-06, -5.338409209798556e-06, -4.95294034408289e-06, -4.567471478367224e-06, -4.182002612651559e-06, -3.7965335195622174e-06, -3.4110644264728762e-06, -3.0255955607572105e-06, -2.6401266950415447e-06, -2.2546576019522035e-06, -1.8691885088628624e-06, -1.4837196431471966e-06, -1.0982506637446932e-06, -7.127816843421897e-07, -3.2731270493968623e-07, 5.815627446281724e-08, 4.43625140178483e-07, 8.290942332678242e-07, 1.2145633263571654e-06, 1.6000312825781293e-06, 1.985500148293795e-06, 2.3709692413831363e-06, 2.7564383344724774e-06, 3.141907200188143e-06, 3.527376065903809e-06, 3.9128453863668256e-06, 4.298314252082491e-06, 4.683783117798157e-06, 5.069251983513823e-06, 5.4547208492294885e-06, 5.840190169692505e-06, 6.225659035408171e-06, 6.611127901123837e-06, 6.996597221586853e-06, 7.382066087302519e-06, 7.767534953018185e-06, 8.153004273481201e-06, 8.538472684449516e-06, 8.923942004912533e-06, 9.30941132537555e-06, 9.694879736343864e-06, 1.0080349056806881e-05, 1.0465817467775196e-05, 1.0851286788238212e-05, 1.1236756108701229e-05, 1.1622224519669544e-05, 1.200769384013256e-05, 1.2393162251100875e-05, 1.2778631571563892e-05, 1.3164100892026909e-05, 1.3549570212489925e-05, 1.393503862345824e-05]}, "gradients/bert.encoder.layer.21.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 5.0, 3.0, 4.0, 6.0, 5.0, 10.0, 13.0, 7.0, 19.0, 19.0, 23.0, 19.0, 22.0, 30.0, 22.0, 30.0, 34.0, 48.0, 34.0, 47.0, 35.0, 34.0, 45.0, 36.0, 40.0, 38.0, 52.0, 45.0, 41.0, 38.0, 39.0, 15.0, 21.0, 19.0, 14.0, 22.0, 16.0, 11.0, 12.0, 5.0, 7.0, 5.0, 5.0, 4.0, 4.0, 3.0, 2.0, 4.0, 0.0, 3.0, 2.0, 0.0, 1.0], "bins": [-8.891911420505494e-06, -8.626653652754612e-06, -8.36139588500373e-06, -8.09613902674755e-06, -7.83088125899667e-06, -7.565623491245788e-06, -7.300366178242257e-06, -7.035108865238726e-06, -6.7698510974878445e-06, -6.504593329736963e-06, -6.239336016733432e-06, -5.9740787037299015e-06, -5.70882093597902e-06, -5.443563168228138e-06, -5.1783058552246075e-06, -4.913048542221077e-06, -4.647790774470195e-06, -4.3825330067193136e-06, -4.117275693715783e-06, -3.852018380712252e-06, -3.5867606129613705e-06, -3.3215030725841643e-06, -3.056245532206958e-06, -2.790987991829752e-06, -2.525730451452546e-06, -2.2604729110753397e-06, -1.9952153706981335e-06, -1.7299578303209273e-06, -1.4647002899437211e-06, -1.199442749566515e-06, -9.341852091893088e-07, -6.689276688121026e-07, -4.036692189401947e-07, -1.3841167856298853e-07, 1.2684586181421764e-07, 3.921034021914238e-07, 6.5736094256863e-07, 9.226184829458361e-07, 1.1878760233230423e-06, 1.4531335637002485e-06, 1.7183911040774547e-06, 1.983648644454661e-06, 2.248906184831867e-06, 2.514163725209073e-06, 2.7794212655862793e-06, 3.0446788059634855e-06, 3.3099363463406917e-06, 3.575193886717898e-06, 3.840451427095104e-06, 4.105709194845986e-06, 4.370966507849516e-06, 4.636223820853047e-06, 4.901481588603929e-06, 5.16673935635481e-06, 5.431996669358341e-06, 5.697253982361872e-06, 5.962511750112753e-06, 6.227769517863635e-06, 6.493026830867166e-06, 6.7582841438706964e-06, 7.023541911621578e-06, 7.28879967937246e-06, 7.55405699237599e-06, 7.819314305379521e-06, 8.084572073130403e-06]}, "gradients/bert.encoder.layer.21.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 0.0, 3.0, 2.0, 4.0, 8.0, 9.0, 9.0, 12.0, 15.0, 10.0, 14.0, 15.0, 28.0, 36.0, 48.0, 48.0, 60.0, 87.0, 112.0, 142.0, 207.0, 423.0, 3235.0, 943892.0, 97623.0, 1403.0, 328.0, 206.0, 116.0, 101.0, 70.0, 52.0, 54.0, 32.0, 31.0, 17.0, 22.0, 16.0, 14.0, 10.0, 7.0, 8.0, 6.0, 9.0, 6.0, 4.0, 0.0, 1.0, 2.0, 3.0, 0.0, 2.0, 5.0, 0.0, 1.0, 1.0], "bins": [-8.75271434779279e-05, -8.477906521875411e-05, -8.203099423553795e-05, -7.928291597636417e-05, -7.653483771719038e-05, -7.378676673397422e-05, -7.103868847480044e-05, -6.829061021562666e-05, -6.554253923241049e-05, -6.279446097323671e-05, -6.0046386352041736e-05, -5.729831173084676e-05, -5.455023710965179e-05, -5.1802162488456815e-05, -4.9054084229283035e-05, -4.630600960808806e-05, -4.355793134891428e-05, -4.080985672771931e-05, -3.8061778468545526e-05, -3.531370384735055e-05, -3.256562922615558e-05, -2.9817552785971202e-05, -2.7069476345786825e-05, -2.432140172459185e-05, -2.1573325284407474e-05, -1.8825248844223097e-05, -1.6077174223028123e-05, -1.3329097782843746e-05, -1.0581022252154071e-05, -7.832946721464396e-06, -5.084870281280018e-06, -2.336795660085045e-06, 4.1128078009933233e-07, 3.159356538162683e-06, 5.907432296226034e-06, 8.65550828166306e-06, 1.1403583812352736e-05, 1.4151659343042411e-05, 1.6899735783226788e-05, 1.964781040442176e-05, 2.239588684460614e-05, 2.5143963284790516e-05, 2.789203790598549e-05, 3.064011252718046e-05, 3.3388190786354244e-05, 3.613626540754922e-05, 3.888434002874419e-05, 4.163241828791797e-05, 4.4380492909112945e-05, 4.712856753030792e-05, 4.98766457894817e-05, 5.262472041067667e-05, 5.537279503187165e-05, 5.812087329104543e-05, 6.08689479122404e-05, 6.361702253343537e-05, 6.636510079260916e-05, 6.911317905178294e-05, 7.18612500349991e-05, 7.460932829417288e-05, 7.735740655334666e-05, 8.010547753656283e-05, 8.285355579573661e-05, 8.560162677895278e-05, 8.834970503812656e-05]}, "gradients/bert.encoder.layer.21.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 3.0, 5.0, 2.0, 1.0, 7.0, 10.0, 4.0, 9.0, 26.0, 117.0, 413.0, 281.0, 70.0, 26.0, 14.0, 5.0, 2.0, 5.0, 2.0, 3.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.389644451905042e-13, -7.052136652418994e-13, -6.714628852932947e-13, -6.377121053446899e-13, -6.039613253960852e-13, -5.702105454474804e-13, -5.364597654988756e-13, -5.027089855502709e-13, -4.689582056016661e-13, -4.3520742565306136e-13, -4.014566457044566e-13, -3.6770586575585185e-13, -3.339550858072471e-13, -3.0020430585864233e-13, -2.6645352591003757e-13, -2.327027459614328e-13, -1.9895196601282805e-13, -1.652011860642233e-13, -1.3145040611561853e-13, -9.769962616701378e-14, -6.394884621840902e-14, -3.019806626980426e-14, 3.552713678800501e-15, 3.730349362740526e-14, 7.105427357601002e-14, 1.0480505352461478e-13, 1.3855583347321954e-13, 1.723066134218243e-13, 2.0605739337042905e-13, 2.398081733190338e-13, 2.7355895326763857e-13, 3.0730973321624333e-13, 3.410605131648481e-13, 3.7481129311345285e-13, 4.085620730620576e-13, 4.4231285301066237e-13, 4.760636329592671e-13, 5.098144129078719e-13, 5.435651928564766e-13, 5.773159728050814e-13, 6.110667527536862e-13, 6.448175327022909e-13, 6.785683126508957e-13, 7.123190925995004e-13, 7.460698725481052e-13, 7.7982065249671e-13, 8.135714324453147e-13, 8.473222123939195e-13, 8.810729923425242e-13, 9.14823772291129e-13, 9.485745522397337e-13, 9.823253321883385e-13, 1.0160761121369433e-12, 1.049826892085548e-12, 1.0835776720341528e-12, 1.1173284519827575e-12, 1.1510792319313623e-12, 1.184830011879967e-12, 1.2185807918285718e-12, 1.2523315717771766e-12, 1.2860823517257813e-12, 1.319833131674386e-12, 1.3535839116229909e-12, 1.3873346915715956e-12, 1.4210854715202004e-12]}, "gradients/bert.encoder.layer.21.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 1.0, 6.0, 5.0, 3.0, 6.0, 6.0, 15.0, 20.0, 36.0, 76.0, 181.0, 2671.0, 1032987.0, 11987.0, 340.0, 96.0, 36.0, 27.0, 16.0, 10.0, 12.0, 5.0, 7.0, 6.0, 0.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-9.0632529463619e-05, -8.785737009020522e-05, -8.508220344083384e-05, -8.230704406742007e-05, -7.953187741804868e-05, -7.675671804463491e-05, -7.398155867122114e-05, -7.120639202184975e-05, -6.843122537247837e-05, -6.56560659990646e-05, -6.288089934969321e-05, -6.010573997627944e-05, -5.733057332690805e-05, -5.455541395349428e-05, -5.17802509421017e-05, -4.9005087930709124e-05, -4.622992855729535e-05, -4.3454765545902774e-05, -4.0679602534510195e-05, -3.7904443161096424e-05, -3.512927651172504e-05, -3.235411713831127e-05, -2.957895412691869e-05, -2.680379111552611e-05, -2.402862810413353e-05, -2.1253465092740953e-05, -1.8478302081348374e-05, -1.57031408889452e-05, -1.2927977877552621e-05, -1.0152814866160043e-05, -7.377653673756868e-06, -4.602490662364289e-06, -1.8273203750140965e-06, 9.478421816311311e-07, 3.7230047382763587e-06, 6.498166840174235e-06, 9.273329851566814e-06, 1.2048492862959392e-05, 1.4823654055362567e-05, 1.7598817066755146e-05, 2.0373980078147724e-05, 2.3149143089540303e-05, 2.592430610093288e-05, 2.8699467293336056e-05, 3.147462848573923e-05, 3.424979513511062e-05, 3.702495450852439e-05, 3.9800117519916967e-05, 4.2575280531309545e-05, 4.5350443542702124e-05, 4.81256065540947e-05, 5.0900765927508473e-05, 5.367593257687986e-05, 5.645109195029363e-05, 5.922625496168621e-05, 6.200141797307879e-05, 6.477658462245017e-05, 6.755174399586394e-05, 7.032691064523533e-05, 7.31020700186491e-05, 7.587723666802049e-05, 7.865239604143426e-05, 8.142755541484803e-05, 8.420272206421942e-05, 8.697788143763319e-05]}, "gradients/bert.encoder.layer.21.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 5.0, 1.0, 3.0, 9.0, 19.0, 27.0, 39.0, 128.0, 461.0, 180.0, 68.0, 29.0, 20.0, 9.0, 4.0, 4.0, 5.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.099972779338714e-06, -5.893872639717301e-06, -5.68777295484324e-06, -5.4816728152218275e-06, -5.275572675600415e-06, -5.069472535979003e-06, -4.863372851104941e-06, -4.657272711483529e-06, -4.4511725718621165e-06, -4.245072432240704e-06, -4.038972747366643e-06, -3.83287260774523e-06, -3.626772468123818e-06, -3.420672555876081e-06, -3.214572643628344e-06, -3.0084725040069316e-06, -2.80237281913287e-06, -2.596272906885133e-06, -2.3901727672637207e-06, -2.184072855015984e-06, -1.9779727153945714e-06, -1.7718728031468345e-06, -1.5657728908990975e-06, -1.3596728649645229e-06, -1.1535728390299482e-06, -9.474728130953736e-07, -7.413728440042178e-07, -5.35272874913062e-07, -3.291728489784873e-07, -1.2307282304391265e-07, 8.302708920382429e-08, 2.8912711513839895e-07, 4.952266863256227e-07, 7.013267122601974e-07, 9.074266813513532e-07, 1.113526650442509e-06, 1.3196266763770836e-06, 1.5257267023116583e-06, 1.7318266145593952e-06, 1.9379267541808076e-06, 2.1440266664285446e-06, 2.3501265786762815e-06, 2.556226718297694e-06, 2.762326630545431e-06, 2.9684265427931678e-06, 3.17452668241458e-06, 3.380626594662317e-06, 3.586726506910054e-06, 3.7928266465314664e-06, 3.998926786152879e-06, 4.20502647102694e-06, 4.411126610648353e-06, 4.617226750269765e-06, 4.823326889891177e-06, 5.029426574765239e-06, 5.235526714386651e-06, 5.441626854008064e-06, 5.647726993629476e-06, 5.8538266785035376e-06, 6.05992681812495e-06, 6.266026957746362e-06, 6.472127097367775e-06, 6.678226782241836e-06, 6.8843269218632486e-06, 7.09042660673731e-06]}, "gradients/bert.encoder.layer.21.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 5.0, 11.0, 19.0, 66.0, 359.0, 3532.0, 1028978.0, 14822.0, 600.0, 121.0, 28.0, 10.0, 6.0, 3.0, 0.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00010037061292678118, -9.747526200953871e-05, -9.457991109229624e-05, -9.168456017505378e-05, -8.87892019818537e-05, -8.589385106461123e-05, -8.299850014736876e-05, -8.010314923012629e-05, -7.720779103692621e-05, -7.431244011968374e-05, -7.141708920244128e-05, -6.852173828519881e-05, -6.562638009199873e-05, -6.273102917475626e-05, -5.983567825751379e-05, -5.6940327340271324e-05, -5.4044976423028857e-05, -5.114962550578639e-05, -4.8254270950565115e-05, -4.535892003332265e-05, -4.246356547810137e-05, -3.9568214560858905e-05, -3.667286364361644e-05, -3.377751272637397e-05, -3.0882158171152696e-05, -2.7986805434920825e-05, -2.5091452698688954e-05, -2.2196101781446487e-05, -1.9300749045214616e-05, -1.6405396308982745e-05, -1.3510045391740277e-05, -1.0614692655508406e-05, -7.71934719523415e-06, -4.82399491374963e-06, -1.9286426322651096e-06, 9.667091944720596e-07, 3.8620619307039306e-06, 6.7574146669358015e-06, 9.652765584178269e-06, 1.254811832041014e-05, 1.544347105664201e-05, 1.8338823792873882e-05, 2.1234176529105753e-05, 2.412952744634822e-05, 2.702488018258009e-05, 2.9920232918811962e-05, 3.281558383605443e-05, 3.5710938391275704e-05, 3.860628930851817e-05, 4.150164022576064e-05, 4.439699478098191e-05, 4.729234569822438e-05, 5.0187700253445655e-05, 5.308305117068812e-05, 5.597840208793059e-05, 5.887375300517306e-05, 6.176911119837314e-05, 6.46644621156156e-05, 6.755981303285807e-05, 7.045516395010054e-05, 7.335052214330062e-05, 7.624587306054309e-05, 7.914122397778556e-05, 8.203657489502802e-05, 8.493192581227049e-05]}, "gradients/bert.encoder.layer.20.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 2.0, 3.0, 8.0, 15.0, 38.0, 76.0, 167.0, 282.0, 252.0, 118.0, 39.0, 10.0, 5.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1947909115406219e-05, -1.0561091585259419e-05, -9.174274055112619e-06, -7.787456524965819e-06, -6.400638994819019e-06, -5.013821464672219e-06, -3.627003934525419e-06, -2.240186404378619e-06, -8.533688742318191e-07, 5.334486559149809e-07, 1.920266186061781e-06, 3.307083716208581e-06, 4.693901246355381e-06, 6.080718776502181e-06, 7.467536306648981e-06, 8.85435383679578e-06, 1.024117136694258e-05, 1.162798889708938e-05, 1.301480642723618e-05, 1.440162395738298e-05, 1.5788442397024482e-05, 1.717525810818188e-05, 1.8562077457318082e-05, 1.994889316847548e-05, 2.1335712517611682e-05, 2.2722530047758482e-05, 2.4109347577905282e-05, 2.5496165108052082e-05, 2.6882982638198882e-05, 2.8269800168345682e-05, 2.9656617698492482e-05, 3.104343340964988e-05, 3.243025275878608e-05, 3.3817072107922286e-05, 3.520388781907968e-05, 3.659070353023708e-05, 3.797752287937328e-05, 3.9364342228509486e-05, 4.075115793966688e-05, 4.213797365082428e-05, 4.352479299996048e-05, 4.4911612349096686e-05, 4.629842806025408e-05, 4.768524377141148e-05, 4.907206312054768e-05, 5.0458882469683886e-05, 5.184569818084128e-05, 5.323251389199868e-05, 5.461933324113488e-05, 5.6006152590271086e-05, 5.739296830142848e-05, 5.877978401258588e-05, 6.016660336172208e-05, 6.155342271085829e-05, 6.294023478403687e-05, 6.432705413317308e-05, 6.571387348230928e-05, 6.710069283144549e-05, 6.848751218058169e-05, 6.987432425376028e-05, 7.126114360289648e-05, 7.264796295203269e-05, 7.403477502521127e-05, 7.542159437434748e-05, 7.680841372348368e-05]}, "gradients/bert.encoder.layer.20.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 4.0, 4.0, 4.0, 3.0, 5.0, 6.0, 14.0, 12.0, 10.0, 12.0, 14.0, 18.0, 25.0, 22.0, 31.0, 31.0, 32.0, 43.0, 36.0, 43.0, 34.0, 39.0, 39.0, 37.0, 39.0, 44.0, 43.0, 37.0, 42.0, 42.0, 34.0, 26.0, 34.0, 16.0, 25.0, 19.0, 17.0, 13.0, 16.0, 11.0, 10.0, 8.0, 3.0, 4.0, 4.0, 2.0, 4.0, 2.0, 3.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.302243259095121e-06, -7.992500286491122e-06, -7.682756404392421e-06, -7.373013431788422e-06, -7.063270459184423e-06, -6.753527486580424e-06, -6.443784059229074e-06, -6.134040631877724e-06, -5.824297659273725e-06, -5.514554686669726e-06, -5.204811259318376e-06, -4.895067831967026e-06, -4.585324859363027e-06, -4.275581886759028e-06, -3.965838459407678e-06, -3.6560952594300034e-06, -3.346352059452329e-06, -3.0366088594746543e-06, -2.7268656594969798e-06, -2.4171224595193053e-06, -2.1073792595416307e-06, -1.7976360595639562e-06, -1.4878928595862817e-06, -1.1781496596086072e-06, -8.684064596309327e-07, -5.586632596532581e-07, -2.489200596755836e-07, 6.08231403020909e-08, 3.7056634027976543e-07, 6.8030954025744e-07, 9.900527402351145e-07, 1.299795940212789e-06, 1.6095400496851653e-06, 1.91928324966284e-06, 2.2290264496405143e-06, 2.538769649618189e-06, 2.8485128495958634e-06, 3.158256049573538e-06, 3.4679992495512124e-06, 3.777742449528887e-06, 4.0874856495065615e-06, 4.3972286221105605e-06, 4.7069720494619105e-06, 5.0167154768132605e-06, 5.3264584494172595e-06, 5.636201422021259e-06, 5.945944849372609e-06, 6.2556882767239586e-06, 6.565431249327958e-06, 6.875174221931957e-06, 7.184917649283307e-06, 7.494661076634657e-06, 7.804404049238656e-06, 8.114147021842655e-06, 8.423890903941356e-06, 8.733633876545355e-06, 9.043376849149354e-06, 9.353119821753353e-06, 9.662862794357352e-06, 9.972606676456053e-06, 1.0282349649060052e-05, 1.0592092621664051e-05, 1.0901836503762752e-05, 1.1211579476366751e-05, 1.152132244897075e-05]}, "gradients/bert.encoder.layer.20.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 2.0, 2.0, 6.0, 4.0, 9.0, 9.0, 15.0, 17.0, 23.0, 35.0, 26.0, 30.0, 28.0, 41.0, 46.0, 47.0, 45.0, 44.0, 48.0, 48.0, 58.0, 66.0, 57.0, 39.0, 43.0, 42.0, 34.0, 28.0, 30.0, 21.0, 17.0, 14.0, 8.0, 4.0, 10.0, 10.0, 3.0, 4.0, 2.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0162779290112667e-05, -9.90447460935684e-06, -9.64616901910631e-06, -9.387864338350482e-06, -9.129558748099953e-06, -8.871254067344125e-06, -8.612948477093596e-06, -8.354643796337768e-06, -8.096338206087239e-06, -7.838033525331412e-06, -7.579727935080882e-06, -7.321422799577704e-06, -7.063117664074525e-06, -6.804812528571347e-06, -6.546507393068168e-06, -6.288202712312341e-06, -6.029897576809162e-06, -5.771592441305984e-06, -5.513287305802805e-06, -5.254982170299627e-06, -4.9966770347964484e-06, -4.73837189929327e-06, -4.480067218537442e-06, -4.221761628286913e-06, -3.9634569475310855e-06, -3.705151812027907e-06, -3.4468466765247285e-06, -3.18854154102155e-06, -2.9302364055183716e-06, -2.671931270015193e-06, -2.41362636188569e-06, -2.1553212263825117e-06, -1.8970163182530086e-06, -1.6387111827498302e-06, -1.3804060472466517e-06, -1.122101025430311e-06, -8.637958899271325e-07, -6.054907544239541e-07, -3.471857326076133e-07, -8.888059710443486e-08, 1.694245383987436e-07, 4.2772964548021264e-07, 6.860347525616817e-07, 9.443398312214413e-07, 1.2026449667246197e-06, 1.4609501022277982e-06, 1.719255124044139e-06, 1.9775602595473174e-06, 2.235865395050496e-06, 2.4941705305536743e-06, 2.7524756660568528e-06, 3.0107808015600313e-06, 3.2690859370632097e-06, 3.527391072566388e-06, 3.785695980695891e-06, 4.044000888825394e-06, 4.3023064790759236e-06, 4.560611614579102e-06, 4.8189167500822805e-06, 5.077221885585459e-06, 5.335527021088637e-06, 5.593832156591816e-06, 5.852137292094994e-06, 6.110441972850822e-06, 6.368747108354e-06]}, "gradients/bert.encoder.layer.20.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 4.0, 7.0, 2.0, 9.0, 9.0, 7.0, 14.0, 18.0, 22.0, 30.0, 27.0, 62.0, 67.0, 100.0, 131.0, 227.0, 372.0, 622.0, 1199.0, 2336.0, 5117.0, 12208.0, 32745.0, 140307.0, 2733724.0, 1148579.0, 77507.0, 22762.0, 8708.0, 3729.0, 1659.0, 775.0, 461.0, 260.0, 131.0, 100.0, 61.0, 46.0, 46.0, 24.0, 18.0, 18.0, 11.0, 10.0, 6.0, 4.0, 6.0, 4.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.2439395252149552e-05, -2.1775971617898904e-05, -2.1112546164658852e-05, -2.0449122530408204e-05, -1.9785697077168152e-05, -1.9122273442917503e-05, -1.8458849808666855e-05, -1.7795424355426803e-05, -1.7132000721176155e-05, -1.6468577086925507e-05, -1.5805151633685455e-05, -1.5141727999434806e-05, -1.4478303455689456e-05, -1.3814878911944106e-05, -1.3151455277693458e-05, -1.2488030733948108e-05, -1.1824606190202758e-05, -1.1161181646457408e-05, -1.0497757102712058e-05, -9.83433346846141e-06, -9.170908924716059e-06, -8.507484380970709e-06, -7.84406074672006e-06, -7.180636202974711e-06, -6.5172116592293605e-06, -5.8537871154840104e-06, -5.190363026486011e-06, -4.526938937488012e-06, -3.863514393742662e-06, -3.2000900773709873e-06, -2.5366657609993126e-06, -1.8732416720013134e-06, -1.2098189472453669e-06, -5.463946308736922e-07, 1.1702968549798243e-07, 7.804540018696571e-07, 1.4438783182413317e-06, 2.1073026346130064e-06, 2.770726950984681e-06, 3.4341510399826802e-06, 4.09757558372803e-06, 4.76100012747338e-06, 5.42442421647138e-06, 6.087848305469379e-06, 6.751272849214729e-06, 7.414697392960079e-06, 8.078121027210727e-06, 8.741545570956077e-06, 9.404970114701428e-06, 1.0068394658446778e-05, 1.0731819202192128e-05, 1.1395242836442776e-05, 1.2058667380188126e-05, 1.2722091923933476e-05, 1.3385515558184125e-05, 1.4048940101929475e-05, 1.4712364645674825e-05, 1.5375788279925473e-05, 1.6039213733165525e-05, 1.6702637367416173e-05, 1.7366062820656225e-05, 1.8029486454906873e-05, 1.8692910089157522e-05, 1.9356335542397574e-05, 2.0019759176648222e-05]}, "gradients/bert.encoder.layer.20.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 5.0, 9.0, 6.0, 9.0, 26.0, 42.0, 80.0, 160.0, 292.0, 1129.0, 1420.0, 505.0, 183.0, 73.0, 54.0, 35.0, 20.0, 14.0, 5.0, 4.0, 6.0, 3.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.2355963008303661e-05, -1.203214742417913e-05, -1.1708331840054598e-05, -1.1384516255930066e-05, -1.1060701581300236e-05, -1.0736885997175705e-05, -1.0413070413051173e-05, -1.0089254828926641e-05, -9.76543924480211e-06, -9.441623660677578e-06, -9.117808076553047e-06, -8.793993401923217e-06, -8.470177817798685e-06, -8.146362233674154e-06, -7.822546649549622e-06, -7.4987310654250905e-06, -7.174916390795261e-06, -6.851100806670729e-06, -6.527285677293548e-06, -6.203470093169017e-06, -5.879654963791836e-06, -5.5558393796673045e-06, -5.232023795542773e-06, -4.908208211418241e-06, -4.5843930820410606e-06, -4.260577497916529e-06, -3.936762368539348e-06, -3.6129467844148166e-06, -3.2891314276639605e-06, -2.9653160709131043e-06, -2.6415004867885727e-06, -2.3176851300377166e-06, -1.993870682781562e-06, -1.670055326030706e-06, -1.3462398555930122e-06, -1.0224243851553183e-06, -6.986090284044622e-07, -3.74793671653606e-07, -5.09780875290744e-08, 2.7283726922178175e-07, 5.966526259726379e-07, 9.204680395669129e-07, 1.244283453161188e-06, 1.5680989235988818e-06, 1.891914280349738e-06, 2.215729637100594e-06, 2.5395452212251257e-06, 2.863360577975982e-06, 3.187175934726838e-06, 3.510991291477694e-06, 3.83480664822855e-06, 4.158622232353082e-06, 4.482437361730263e-06, 4.806252945854794e-06, 5.130068529979326e-06, 5.4538841141038574e-06, 5.777699243481038e-06, 6.10151482760557e-06, 6.4253299569827504e-06, 6.749145541107282e-06, 7.072961125231814e-06, 7.396776254608994e-06, 7.720591383986175e-06, 8.044406968110707e-06, 8.368222552235238e-06]}, "gradients/bert.encoder.layer.20.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 1.0, 0.0, 1.0, 2.0, 3.0, 4.0, 10.0, 13.0, 32.0, 65.0, 132.0, 396.0, 1955.0, 282128.0, 3905279.0, 3429.0, 507.0, 184.0, 70.0, 37.0, 20.0, 7.0, 3.0, 6.0, 0.0, 4.0, 3.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000176769113750197, -0.00017187409684993327, -0.00016697907994966954, -0.0001620840630494058, -0.00015718903159722686, -0.00015229401469696313, -0.0001473989977966994, -0.00014250398089643568, -0.00013760896399617195, -0.00013271394709590822, -0.0001278189301956445, -0.00012292391329538077, -0.00011802888911915943, -0.0001131338722188957, -0.00010823884804267436, -0.00010334383114241064, -9.844881424214691e-05, -9.355379734188318e-05, -8.865878044161946e-05, -8.376375626539811e-05, -7.886873936513439e-05, -7.397372246487066e-05, -6.907869828864932e-05, -6.41836813883856e-05, -5.928866448812187e-05, -5.439364758785814e-05, -4.949862704961561e-05, -4.460360651137307e-05, -3.9708589611109346e-05, -3.481357271084562e-05, -2.9918552172603086e-05, -2.5023531634360552e-05, -2.0128529286012053e-05, -1.5233510566758923e-05, -1.0338491847505793e-05, -5.443473128252663e-06, -5.484544089995325e-07, 4.346564310253598e-06, 9.241583029506728e-06, 1.4136603567749262e-05, 1.903162046801299e-05, 2.392663918726612e-05, 2.882165790651925e-05, 3.371667844476178e-05, 3.861169534502551e-05, 4.3506712245289236e-05, 4.840173278353177e-05, 5.3296753321774304e-05, 5.819177022203803e-05, 6.308678712230176e-05, 6.798180402256548e-05, 7.287682819878682e-05, 7.777184509905055e-05, 8.266686199931428e-05, 8.756188617553562e-05, 9.245690307579935e-05, 9.735191997606307e-05, 0.0001022469368763268, 0.00010714195377659053, 0.00011203697795281187, 0.0001169319948530756, 0.00012182701175333932, 0.00012672203592956066, 0.0001316170528298244, 0.00013651206973008811]}, "gradients/bert.encoder.layer.20.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 9.0, 16.0, 37.0, 108.0, 224.0, 293.0, 197.0, 88.0, 28.0, 13.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.717775739962235e-05, -1.5775371139170602e-05, -1.4372983969224151e-05, -1.29705967992777e-05, -1.1568210538825952e-05, -1.0165824278374203e-05, -8.763437108427752e-06, -7.361049938481301e-06, -5.958663678029552e-06, -4.556276962830452e-06, -3.1538902476313524e-06, -1.7515035324322525e-06, -3.491168172331527e-07, 1.0532698979659472e-06, 2.455656613165047e-06, 3.858043783111498e-06, 5.260430043563247e-06, 6.662816758762347e-06, 8.065203473961446e-06, 9.467590643907897e-06, 1.0869976904359646e-05, 1.2272363164811395e-05, 1.3674750334757846e-05, 1.5077137504704297e-05, 1.6479523765156046e-05, 1.7881910025607795e-05, 1.9284296286059543e-05, 2.0686684365500696e-05, 2.2089070625952445e-05, 2.3491456886404194e-05, 2.4893844965845346e-05, 2.6296231226297095e-05, 2.7698617486748844e-05, 2.9101003747200593e-05, 3.0503390007652342e-05, 3.190577626810409e-05, 3.330816252855584e-05, 3.4710552426986396e-05, 3.6112938687438145e-05, 3.7515324947889894e-05, 3.891771120834164e-05, 4.032009746879339e-05, 4.172248372924514e-05, 4.312486998969689e-05, 4.4527259888127446e-05, 4.5929646148579195e-05, 4.7332032409030944e-05, 4.873441866948269e-05, 5.013680492993444e-05, 5.153919119038619e-05, 5.294157745083794e-05, 5.434396371128969e-05, 5.574634997174144e-05, 5.7148739870171994e-05, 5.855112613062374e-05, 5.995351239107549e-05, 6.135589501354843e-05, 6.275828491197899e-05, 6.416066753445193e-05, 6.556305743288249e-05, 6.696544005535543e-05, 6.836782995378599e-05, 6.977021257625893e-05, 7.117260247468948e-05, 7.257499237312004e-05]}, "gradients/bert.encoder.layer.20.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 7.0, 3.0, 1.0, 1.0, 6.0, 4.0, 8.0, 4.0, 9.0, 17.0, 10.0, 17.0, 24.0, 20.0, 25.0, 37.0, 33.0, 40.0, 39.0, 36.0, 38.0, 41.0, 46.0, 37.0, 42.0, 43.0, 40.0, 39.0, 46.0, 35.0, 41.0, 30.0, 31.0, 23.0, 25.0, 20.0, 22.0, 10.0, 18.0, 14.0, 7.0, 7.0, 5.0, 2.0, 3.0, 1.0, 2.0, 0.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-8.029458513192367e-06, -7.773362085572444e-06, -7.517265657952521e-06, -7.261169230332598e-06, -7.005072802712675e-06, -6.748976375092752e-06, -6.4928794927254785e-06, -6.236783065105556e-06, -5.980686637485633e-06, -5.72459020986571e-06, -5.468493782245787e-06, -5.212397354625864e-06, -4.95630047225859e-06, -4.700204044638667e-06, -4.444107617018744e-06, -4.1880111893988214e-06, -3.9319147617788985e-06, -3.6758183341589756e-06, -3.4197219065390527e-06, -3.1636252515454544e-06, -2.9075288239255315e-06, -2.6514323963056086e-06, -2.3953357413120102e-06, -2.1392393136920873e-06, -1.8831428860721644e-06, -1.6270464584522415e-06, -1.3709499171454809e-06, -1.1148533758387202e-06, -8.587569482187973e-07, -6.026605205988744e-07, -3.465639792921138e-07, -9.046743798535317e-08, 1.656298991292715e-07, 4.217263835926133e-07, 6.77822868055955e-07, 9.339193525192968e-07, 1.1900158369826386e-06, 1.4461122646025615e-06, 1.7022088059093221e-06, 1.9583053472160827e-06, 2.2144017748360056e-06, 2.4704982024559285e-06, 2.7265946300758515e-06, 2.98269128506945e-06, 3.2387877126893727e-06, 3.4948841403092956e-06, 3.750980795302894e-06, 4.007077222922817e-06, 4.26317365054274e-06, 4.519270078162663e-06, 4.775366505782586e-06, 5.0314629334025085e-06, 5.287559361022431e-06, 5.543655788642354e-06, 5.799752671009628e-06, 6.055849098629551e-06, 6.311945526249474e-06, 6.568041953869397e-06, 6.82413838148932e-06, 7.080234809109243e-06, 7.3363316914765164e-06, 7.592428119096439e-06, 7.848524546716362e-06, 8.104620974336285e-06, 8.360717401956208e-06]}, "gradients/bert.encoder.layer.20.attention.output.dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 4.0, 0.0, 1.0, 2.0, 3.0, 4.0, 4.0, 7.0, 0.0, 4.0, 9.0, 12.0, 14.0, 10.0, 24.0, 16.0, 35.0, 34.0, 31.0, 44.0, 35.0, 43.0, 50.0, 46.0, 37.0, 53.0, 50.0, 56.0, 56.0, 38.0, 37.0, 37.0, 30.0, 41.0, 24.0, 23.0, 19.0, 19.0, 19.0, 13.0, 10.0, 6.0, 3.0, 5.0, 0.0, 4.0, 2.0, 2.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.820458449714351e-06, -7.5372940955276135e-06, -7.254129741340876e-06, -6.970965387154138e-06, -6.6878010329674e-06, -6.404637133528013e-06, -6.121472779341275e-06, -5.838308425154537e-06, -5.555144070967799e-06, -5.271979716781061e-06, -4.988815362594323e-06, -4.705651008407585e-06, -4.422487108968198e-06, -4.1393223000341095e-06, -3.8561584005947225e-06, -3.5729940464079846e-06, -3.2898296922212467e-06, -3.0066653380345087e-06, -2.723500983847771e-06, -2.4403368570347084e-06, -2.1571725028479705e-06, -1.8740081486612326e-06, -1.5908439081613324e-06, -1.3076796676614322e-06, -1.0245153134746943e-06, -7.413510161313752e-07, -4.5818671878805617e-07, -1.7502242144473712e-07, 1.0814187589858193e-07, 3.9130623008531984e-07, 6.7447047058522e-07, 9.576347110851202e-07, 1.2407981557771564e-06, 1.5239625099638943e-06, 1.8071267504637945e-06, 2.0902909909636946e-06, 2.3734553451504325e-06, 2.6566196993371705e-06, 2.939783826150233e-06, 3.222948180336971e-06, 3.5061125345237087e-06, 3.7892768887104467e-06, 4.0724412428971846e-06, 4.3556055970839225e-06, 4.6387694965233095e-06, 4.921934305457398e-06, 5.205098204896785e-06, 5.488262559083523e-06, 5.771426913270261e-06, 6.054591267456999e-06, 6.337755621643737e-06, 6.620919975830475e-06, 6.904084330017213e-06, 7.1872482294566e-06, 7.470412583643338e-06, 7.753576937830076e-06, 8.036740837269463e-06, 8.31990473670885e-06, 8.603069545642938e-06, 8.886233445082325e-06, 9.169398254016414e-06, 9.452562153455801e-06, 9.73572696238989e-06, 1.0018890861829277e-05, 1.0302055670763366e-05]}, "gradients/bert.encoder.layer.20.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 5.0, 5.0, 1.0, 8.0, 13.0, 7.0, 19.0, 18.0, 45.0, 58.0, 83.0, 169.0, 268.0, 405.0, 761.0, 1425.0, 2774.0, 5822.0, 13658.0, 35913.0, 108834.0, 380570.0, 343817.0, 97856.0, 32322.0, 12532.0, 5442.0, 2611.0, 1316.0, 731.0, 429.0, 258.0, 144.0, 82.0, 54.0, 43.0, 19.0, 13.0, 12.0, 9.0, 4.0, 0.0, 3.0, 1.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.042689271154813e-06, -8.730364243092481e-06, -8.41804012452485e-06, -8.105715096462518e-06, -7.793390068400186e-06, -7.481065495085204e-06, -7.1687409217702225e-06, -6.85641589370789e-06, -6.544090865645558e-06, -6.231766292330576e-06, -5.919441264268244e-06, -5.607116690953262e-06, -5.29479166289093e-06, -4.982467089575948e-06, -4.670142516260967e-06, -4.357817488198634e-06, -4.045492914883653e-06, -3.7331681141949957e-06, -3.4208433135063387e-06, -3.108518740191357e-06, -2.796193712129025e-06, -2.4838691388140433e-06, -2.1715443381253863e-06, -1.8592195374367293e-06, -1.5468947367480723e-06, -1.2345699360594153e-06, -9.222451922141772e-07, -6.099204483689391e-07, -2.9759564768028213e-07, 1.4729153008374851e-08, 3.270538400101941e-07, 6.393786406988511e-07, 9.517034413875081e-07, 1.264028242076165e-06, 1.576353042764822e-06, 1.8886777297666413e-06, 2.201002644142136e-06, 2.5133272174571175e-06, 2.8256520181457745e-06, 3.1379768188344315e-06, 3.4503016195230884e-06, 3.7626264202117454e-06, 4.074950993526727e-06, 4.387276021589059e-06, 4.699600594904041e-06, 5.011925622966373e-06, 5.324250196281355e-06, 5.636575224343687e-06, 5.948899797658669e-06, 6.26122437097365e-06, 6.573549399035983e-06, 6.885873972350964e-06, 7.198199000413297e-06, 7.510523573728278e-06, 7.82284860179061e-06, 8.135173629852943e-06, 8.447497748420574e-06, 8.759822776482906e-06, 9.072146895050537e-06, 9.38447192311287e-06, 9.696796951175202e-06, 1.0009121979237534e-05, 1.0321446097805165e-05, 1.0633771125867497e-05, 1.094609615392983e-05]}, "gradients/bert.encoder.layer.20.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 5.0, 5.0, 3.0, 4.0, 13.0, 5.0, 9.0, 12.0, 15.0, 19.0, 22.0, 28.0, 22.0, 39.0, 26.0, 42.0, 46.0, 51.0, 45.0, 48.0, 38.0, 47.0, 53.0, 45.0, 49.0, 44.0, 34.0, 36.0, 33.0, 34.0, 28.0, 21.0, 17.0, 11.0, 18.0, 15.0, 9.0, 6.0, 2.0, 2.0, 7.0, 4.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-8.69470568432007e-06, -8.405029802815989e-06, -8.115353921311907e-06, -7.825677130313125e-06, -7.536001248809043e-06, -7.246325367304962e-06, -6.956649485800881e-06, -6.6669736042968e-06, -6.377297268045368e-06, -6.0876213865412865e-06, -5.797945050289854e-06, -5.508269168785773e-06, -5.218593287281692e-06, -4.92891695103026e-06, -4.639241069526179e-06, -4.349564733274747e-06, -4.0598888517706655e-06, -3.770212742892909e-06, -3.4805366340151522e-06, -3.190860752511071e-06, -2.9011846436333144e-06, -2.6115085347555578e-06, -2.3218326532514766e-06, -2.03215654437372e-06, -1.7424804354959633e-06, -1.4528043266182067e-06, -1.1631283314272878e-06, -8.7345227939295e-07, -5.837762273586122e-07, -2.941001184808556e-07, -4.424123289936688e-09, 2.852518719009822e-07, 5.749279807787389e-07, 8.646040328130766e-07, 1.1542800848474144e-06, 1.4439560800383333e-06, 1.73363218891609e-06, 2.0233082977938466e-06, 2.3129841792979278e-06, 2.6026602881756844e-06, 2.892336397053441e-06, 3.1820125059311977e-06, 3.4716886148089543e-06, 3.7613644963130355e-06, 4.051040377817117e-06, 4.340716714068549e-06, 4.63039259557263e-06, 4.920068931824062e-06, 5.209744813328143e-06, 5.499420694832224e-06, 5.7890970310836565e-06, 6.078772912587738e-06, 6.36844924883917e-06, 6.658125130343251e-06, 6.947801011847332e-06, 7.237476893351413e-06, 7.527153229602845e-06, 7.816829565854277e-06, 8.106505447358359e-06, 8.39618132886244e-06, 8.685857210366521e-06, 8.975534001365304e-06, 9.265209882869385e-06, 9.554885764373466e-06, 9.844561645877548e-06]}, "gradients/bert.encoder.layer.20.attention.self.value.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 3.0, 7.0, 8.0, 10.0, 10.0, 8.0, 15.0, 13.0, 16.0, 29.0, 33.0, 31.0, 46.0, 64.0, 102.0, 183.0, 298.0, 609.0, 6720.0, 1037442.0, 1638.0, 488.0, 273.0, 132.0, 97.0, 41.0, 57.0, 42.0, 31.0, 22.0, 18.0, 18.0, 15.0, 7.0, 16.0, 6.0, 3.0, 1.0, 4.0, 6.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.588243119651452e-05, -9.261768718715757e-05, -8.935295045375824e-05, -8.608821372035891e-05, -8.282346971100196e-05, -7.955872570164502e-05, -7.629398896824569e-05, -7.302925223484635e-05, -6.976450822548941e-05, -6.649976421613246e-05, -6.323502748273313e-05, -5.997028711135499e-05, -5.670554673997685e-05, -5.3440806368598714e-05, -5.0176065997220576e-05, -4.691132562584244e-05, -4.36465852544643e-05, -4.038184488308616e-05, -3.711710451170802e-05, -3.385236414032988e-05, -3.0587623768951744e-05, -2.7322883397573605e-05, -2.4058143026195467e-05, -2.0793402654817328e-05, -1.752866228343919e-05, -1.426392191206105e-05, -1.0999181540682912e-05, -7.734441169304773e-06, -4.4697007979266346e-06, -1.2049604265484959e-06, 2.0597799448296428e-06, 5.3245203162077814e-06, 8.589267963543534e-06, 1.1854008334921673e-05, 1.5118748706299812e-05, 1.838348907767795e-05, 2.164822944905609e-05, 2.4912969820434228e-05, 2.8177710191812366e-05, 3.1442450563190505e-05, 3.4707190934568644e-05, 3.797193130594678e-05, 4.123667167732492e-05, 4.450141204870306e-05, 4.77661524200812e-05, 5.103089279145934e-05, 5.4295633162837476e-05, 5.7560373534215614e-05, 6.082511390559375e-05, 6.408985063899308e-05, 6.735459464835003e-05, 7.061933865770698e-05, 7.388407539110631e-05, 7.714881212450564e-05, 8.041355613386258e-05, 8.367830014321953e-05, 8.694303687661886e-05, 9.02077736100182e-05, 9.347251761937514e-05, 9.673726162873209e-05, 0.00010000199836213142, 0.00010326673509553075, 0.0001065314791048877, 0.00010979622311424464, 0.00011306095984764397]}, "gradients/bert.encoder.layer.20.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 3.0, 0.0, 1.0, 0.0, 6.0, 4.0, 3.0, 12.0, 3.0, 7.0, 4.0, 17.0, 6.0, 19.0, 50.0, 15.0, 29.0, 35.0, 49.0, 70.0, 74.0, 83.0, 127.0, 109.0, 47.0, 71.0, 30.0, 32.0, 20.0, 28.0, 11.0, 8.0, 17.0, 1.0, 0.0, 1.0, 18.0, 1.0, 2.0, 0.0, 2.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7711166694643907e-13, -2.6922908347160046e-13, -2.6134649999676185e-13, -2.5346391652192324e-13, -2.4558133304708463e-13, -2.37698749572246e-13, -2.298161660974074e-13, -2.219335826225688e-13, -2.1405099914773018e-13, -2.0616841567289157e-13, -1.9828583219805296e-13, -1.9040324872321435e-13, -1.8252066524837574e-13, -1.7463808177353712e-13, -1.667554982986985e-13, -1.588729148238599e-13, -1.509903313490213e-13, -1.4310774787418268e-13, -1.3522516439934407e-13, -1.2734258092450546e-13, -1.1945999744966684e-13, -1.1157741397482823e-13, -1.0369483049998962e-13, -9.581224702515101e-14, -8.79296635503124e-14, -8.004708007547379e-14, -7.216449660063518e-14, -6.428191312579656e-14, -5.639932965095795e-14, -4.851674617611934e-14, -4.063416270128073e-14, -3.275157922644212e-14, -2.4868995751603507e-14, -1.6986412276764895e-14, -9.103828801926284e-15, -1.2212453270876722e-15, 6.661338147750939e-15, 1.454392162258955e-14, 2.2426505097428162e-14, 3.0309088572266774e-14, 3.8191672047105385e-14, 4.6074255521943996e-14, 5.395683899678261e-14, 6.183942247162122e-14, 6.972200594645983e-14, 7.760458942129844e-14, 8.548717289613705e-14, 9.336975637097567e-14, 1.0125233984581428e-13, 1.0913492332065289e-13, 1.170175067954915e-13, 1.249000902703301e-13, 1.3278267374516872e-13, 1.4066525722000733e-13, 1.4854784069484595e-13, 1.5643042416968456e-13, 1.6431300764452317e-13, 1.7219559111936178e-13, 1.800781745942004e-13, 1.87960758069039e-13, 1.9584334154387761e-13, 2.0372592501871623e-13, 2.1160850849355484e-13, 2.1949109196839345e-13, 2.2737367544323206e-13]}, "gradients/bert.encoder.layer.20.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 3.0, 0.0, 3.0, 0.0, 2.0, 5.0, 3.0, 3.0, 6.0, 11.0, 22.0, 29.0, 20.0, 41.0, 57.0, 102.0, 217.0, 935.0, 8502.0, 897359.0, 136546.0, 3667.0, 585.0, 172.0, 98.0, 57.0, 34.0, 28.0, 14.0, 11.0, 4.0, 8.0, 5.0, 4.0, 1.0, 3.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-2.603901521069929e-05, -2.5332214136142284e-05, -2.4625413061585277e-05, -2.391861198702827e-05, -2.3211810912471265e-05, -2.2505009837914258e-05, -2.1798208763357252e-05, -2.1091407688800246e-05, -2.038460661424324e-05, -1.9677805539686233e-05, -1.8971004465129226e-05, -1.826420339057222e-05, -1.7557402316015214e-05, -1.6850601241458207e-05, -1.61438001669012e-05, -1.5436999092344195e-05, -1.4730199836776592e-05, -1.4023398762219585e-05, -1.3316597687662579e-05, -1.2609796613105573e-05, -1.1902995538548566e-05, -1.119619446399156e-05, -1.0489394298929255e-05, -9.782593224372249e-06, -9.075792149815243e-06, -8.368991075258236e-06, -7.66219000070123e-06, -6.9553893808915745e-06, -6.248588306334568e-06, -5.541787231777562e-06, -4.834986611967906e-06, -4.1281855374109e-06, -3.421386281843297e-06, -2.714585207286291e-06, -2.00778436010296e-06, -1.300983512919629e-06, -5.941824383626226e-07, 1.1261863619438373e-07, 8.194192560040392e-07, 1.5262203305610456e-06, 2.233021405118052e-06, 2.9398224796750583e-06, 3.646623326858389e-06, 4.35342417404172e-06, 5.0602252485987265e-06, 5.767026323155733e-06, 6.473826942965388e-06, 7.180628017522395e-06, 7.887429092079401e-06, 8.594230166636407e-06, 9.301031241193414e-06, 1.000783231575042e-05, 1.0714633390307426e-05, 1.1421434464864433e-05, 1.2128234629926737e-05, 1.2835035704483744e-05, 1.354183677904075e-05, 1.4248637853597756e-05, 1.4955438928154763e-05, 1.5662239093217067e-05, 1.6369040167774074e-05, 1.707584124233108e-05, 1.7782642316888086e-05, 1.8489443391445093e-05, 1.91962444660021e-05]}, "gradients/bert.encoder.layer.20.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 5.0, 1.0, 5.0, 2.0, 2.0, 10.0, 14.0, 24.0, 31.0, 51.0, 73.0, 157.0, 245.0, 170.0, 65.0, 45.0, 23.0, 37.0, 15.0, 12.0, 5.0, 5.0, 2.0, 4.0, 3.0, 1.0, 0.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.385239779163385e-06, -3.2975474368868163e-06, -3.209855321983923e-06, -3.1221629797073547e-06, -3.0344708648044616e-06, -2.946778522527893e-06, -2.8590861802513245e-06, -2.7713940653484315e-06, -2.683701723071863e-06, -2.5960093807952944e-06, -2.5083172658924013e-06, -2.420624923615833e-06, -2.3329328087129397e-06, -2.245240466436371e-06, -2.157548351533478e-06, -2.0698560092569096e-06, -1.982163666980341e-06, -1.8944714383906103e-06, -1.8067792098008795e-06, -1.719086867524311e-06, -1.6313946389345801e-06, -1.5437024103448493e-06, -1.4560101817551185e-06, -1.3683179531653877e-06, -1.2806258382624947e-06, -1.1929336096727639e-06, -1.105241381083033e-06, -1.0175490388064645e-06, -9.298568102167337e-07, -8.421645816270029e-07, -7.544723530372721e-07, -6.667800676041225e-07, -5.790877821709728e-07, -4.91395553581242e-07, -4.037032681480923e-07, -3.160110395583615e-07, -2.2831878254692128e-07, -1.4062652553548105e-07, -5.293429694575025e-08, 3.4757988487399416e-08, 1.2245021707713022e-07, 2.1014247408857045e-07, 2.978347311000107e-07, 3.855269596897415e-07, 4.732192167011817e-07, 5.60911473712622e-07, 6.486037023023528e-07, 7.362959877355024e-07, 8.239882163252332e-07, 9.11680444914964e-07, 9.993726735046948e-07, 1.0870649020944256e-06, 1.1747572443709942e-06, 1.262449472960725e-06, 1.3501417015504558e-06, 1.4378340438270243e-06, 1.5255261587299174e-06, 1.6132183873196482e-06, 1.700910615909379e-06, 1.7886029581859475e-06, 1.8762951867756783e-06, 1.963987415365409e-06, 2.051679530268302e-06, 2.1393718725448707e-06, 2.2270642148214392e-06]}, "gradients/bert.encoder.layer.20.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 4.0, 3.0, 4.0, 8.0, 9.0, 9.0, 20.0, 29.0, 28.0, 76.0, 207.0, 708.0, 3437.0, 91168.0, 939654.0, 11267.0, 1318.0, 339.0, 140.0, 54.0, 31.0, 16.0, 14.0, 6.0, 2.0, 3.0, 2.0, 4.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.1893723896937445e-05, -2.102593134623021e-05, -2.0158140614512376e-05, -1.9290349882794544e-05, -1.8422557332087308e-05, -1.7554764781380072e-05, -1.668697404966224e-05, -1.5819183317944407e-05, -1.4951390767237172e-05, -1.4083599126024637e-05, -1.3215807484812103e-05, -1.2348015843599569e-05, -1.1480224202387035e-05, -1.06124325611745e-05, -9.744640919961967e-06, -8.876849278749432e-06, -8.009057637536898e-06, -7.141265996324364e-06, -6.27347435511183e-06, -5.405682713899296e-06, -4.537891072686762e-06, -3.6700994314742275e-06, -2.8023077902616933e-06, -1.934516149049159e-06, -1.066724507836625e-06, -1.9893286662409082e-07, 6.688587745884433e-07, 1.5366504158009775e-06, 2.4044420570135117e-06, 3.272233698226046e-06, 4.14002533943858e-06, 5.007816980651114e-06, 5.875608621863648e-06, 6.7434002630761825e-06, 7.611191904288717e-06, 8.47898354550125e-06, 9.346775186713785e-06, 1.0214566827926319e-05, 1.1082358469138853e-05, 1.1950150110351387e-05, 1.2817941751563922e-05, 1.3685733392776456e-05, 1.455352503398899e-05, 1.5421315765706822e-05, 1.6289108316414058e-05, 1.7156900867121294e-05, 1.8024691598839127e-05, 1.889248233055696e-05, 1.9760274881264195e-05, 2.062806743197143e-05, 2.1495858163689263e-05, 2.2363648895407096e-05, 2.323144144611433e-05, 2.4099233996821567e-05, 2.49670247285394e-05, 2.5834815460257232e-05, 2.6702608010964468e-05, 2.7570400561671704e-05, 2.8438191293389536e-05, 2.930598202510737e-05, 3.0173774575814605e-05, 3.104156712652184e-05, 3.190935967722908e-05, 3.2777148589957505e-05, 3.364494114066474e-05]}, "gradients/bert.encoder.layer.19.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 4.0, 4.0, 26.0, 152.0, 496.0, 281.0, 47.0, 8.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001161195250460878, -0.00011368370178388432, -0.00011124787852168083, -0.00010881206253543496, -0.00010637623927323148, -0.00010394041601102799, -0.00010150460002478212, -9.906877676257864e-05, -9.663295350037515e-05, -9.419713023817167e-05, -9.176130697596818e-05, -8.932549098972231e-05, -8.688966772751883e-05, -8.445384446531534e-05, -8.201802847906947e-05, -7.958220521686599e-05, -7.71463819546625e-05, -7.471055869245902e-05, -7.227473543025553e-05, -6.983891944400966e-05, -6.740309618180618e-05, -6.496727291960269e-05, -6.253145693335682e-05, -6.009563367115334e-05, -5.765981040894985e-05, -5.522398714674637e-05, -5.278816752252169e-05, -5.035234789829701e-05, -4.791652463609353e-05, -4.548070137389004e-05, -4.3044881749665365e-05, -4.060906212544069e-05, -3.817324250121601e-05, -3.573742287699133e-05, -3.330159961478785e-05, -3.086577635258436e-05, -2.8429956728359684e-05, -2.5994135285145603e-05, -2.3558313841931522e-05, -2.112249239871744e-05, -1.868667095550336e-05, -1.6250849512289278e-05, -1.3815028069075197e-05, -1.1379206625861116e-05, -8.943385182647035e-06, -6.507563739432953e-06, -4.071742296218872e-06, -1.6359208530047908e-06, 7.999005902092904e-07, 3.2357220334233716e-06, 5.671543476637453e-06, 8.107364919851534e-06, 1.0543186363065615e-05, 1.2979007806279697e-05, 1.5414829249493778e-05, 1.785065069270786e-05, 2.028647213592194e-05, 2.272229357913602e-05, 2.5158115022350103e-05, 2.7593936465564184e-05, 3.0029757908778265e-05, 3.246557753300294e-05, 3.490140079520643e-05, 3.733722405740991e-05, 3.977304368163459e-05]}, "gradients/bert.encoder.layer.19.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 4.0, 2.0, 2.0, 3.0, 3.0, 4.0, 2.0, 4.0, 3.0, 6.0, 9.0, 9.0, 7.0, 18.0, 13.0, 15.0, 13.0, 15.0, 24.0, 22.0, 32.0, 34.0, 38.0, 33.0, 36.0, 32.0, 35.0, 31.0, 38.0, 45.0, 37.0, 32.0, 34.0, 27.0, 33.0, 42.0, 39.0, 22.0, 28.0, 33.0, 30.0, 26.0, 18.0, 8.0, 14.0, 10.0, 7.0, 8.0, 6.0, 6.0, 4.0, 8.0, 3.0, 5.0, 5.0, 1.0, 1.0, 1.0, 2.0], "bins": [-1.1198681932000909e-05, -1.0872146958718076e-05, -1.0545611075940542e-05, -1.021907610265771e-05, -9.892541129374877e-06, -9.566005246597342e-06, -9.23947027331451e-06, -8.912935300031677e-06, -8.586399417254142e-06, -8.25986444397131e-06, -7.933328561193775e-06, -7.606793587910943e-06, -7.28025861462811e-06, -6.9537231865979265e-06, -6.627187758567743e-06, -6.30065278528491e-06, -5.974117812002078e-06, -5.647582383971894e-06, -5.3210474106890615e-06, -4.994511982658878e-06, -4.667977009376045e-06, -4.341441581345862e-06, -4.014906153315678e-06, -3.68837095265917e-06, -3.361835752002662e-06, -3.035300551346154e-06, -2.708765350689646e-06, -2.3822299226594623e-06, -2.0556947220029542e-06, -1.7291595213464461e-06, -1.4026240933162626e-06, -1.0760888926597545e-06, -7.495527825085446e-07, -4.2301752500861767e-07, -9.648226750869071e-08, 2.300530468346551e-07, 5.565882474911632e-07, 8.831234481476713e-07, 1.2096588761778548e-06, 1.536194076834363e-06, 1.862729277490871e-06, 2.189264478147379e-06, 2.5157996788038872e-06, 2.8423351068340708e-06, 3.168870307490579e-06, 3.495405508147087e-06, 3.8219409361772705e-06, 4.148476364207454e-06, 4.475011337490287e-06, 4.80154676552047e-06, 5.128081738803303e-06, 5.454617166833486e-06, 5.781152140116319e-06, 6.107687568146503e-06, 6.434222996176686e-06, 6.760757969459519e-06, 7.087293397489702e-06, 7.413828825519886e-06, 7.740363798802719e-06, 8.066899681580253e-06, 8.393434654863086e-06, 8.719969628145918e-06, 9.046505510923453e-06, 9.373040484206285e-06, 9.699575457489118e-06]}, "gradients/bert.encoder.layer.19.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 2.0, 3.0, 1.0, 2.0, 2.0, 0.0, 5.0, 6.0, 6.0, 0.0, 6.0, 10.0, 16.0, 11.0, 13.0, 19.0, 19.0, 23.0, 28.0, 33.0, 25.0, 29.0, 40.0, 42.0, 35.0, 43.0, 44.0, 35.0, 33.0, 46.0, 45.0, 55.0, 35.0, 39.0, 43.0, 29.0, 32.0, 22.0, 30.0, 18.0, 17.0, 9.0, 14.0, 8.0, 8.0, 9.0, 6.0, 6.0, 3.0, 4.0, 2.0, 2.0, 2.0, 0.0, 2.0, 0.0, 3.0], "bins": [-7.831531547708437e-06, -7.6077999437984545e-06, -7.384068339888472e-06, -7.16033673597849e-06, -6.936605132068507e-06, -6.712873528158525e-06, -6.489141924248543e-06, -6.265409865591209e-06, -6.041678716428578e-06, -5.8179471125185955e-06, -5.594215508608613e-06, -5.370483904698631e-06, -5.1467523007886484e-06, -4.923020696878666e-06, -4.699289092968684e-06, -4.4755570343113504e-06, -4.251825430401368e-06, -4.028093826491386e-06, -3.8043622225814033e-06, -3.580630618671421e-06, -3.3568990147614386e-06, -3.1331674108514562e-06, -2.9094355795677984e-06, -2.685703975657816e-06, -2.4619723717478337e-06, -2.2382407678378513e-06, -2.014509163927869e-06, -1.7907774463310488e-06, -1.5670458424210665e-06, -1.3433142385110841e-06, -1.119582520914264e-06, -8.958509170042817e-07, -6.721193130942993e-07, -4.483876807626075e-07, -2.246560484309157e-07, -9.243876775144599e-10, 2.228072162324679e-07, 4.465388201424503e-07, 6.702705377392704e-07, 8.940021416492527e-07, 1.117733745559235e-06, 1.3414653494692175e-06, 1.5651969533791998e-06, 1.78892867097602e-06, 2.01266038857284e-06, 2.2363919924828224e-06, 2.4601235963928048e-06, 2.683855200302787e-06, 2.9075868042127695e-06, 3.131318408122752e-06, 3.3550500120327342e-06, 3.5787816159427166e-06, 3.802513219852699e-06, 4.026244823762681e-06, 4.249976882420015e-06, 4.473708031582646e-06, 4.697440090239979e-06, 4.921171694149962e-06, 5.144903298059944e-06, 5.3686349019699264e-06, 5.592366505879909e-06, 5.816098109789891e-06, 6.0398297136998735e-06, 6.263561772357207e-06, 6.487292921519838e-06]}, "gradients/bert.encoder.layer.19.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 0.0, 0.0, 5.0, 4.0, 5.0, 4.0, 20.0, 18.0, 25.0, 34.0, 47.0, 49.0, 69.0, 99.0, 157.0, 207.0, 344.0, 517.0, 942.0, 1726.0, 3336.0, 6646.0, 14966.0, 40042.0, 212107.0, 2517822.0, 1240927.0, 104450.0, 27752.0, 11055.0, 5090.0, 2611.0, 1300.0, 725.0, 411.0, 234.0, 156.0, 106.0, 77.0, 54.0, 32.0, 34.0, 21.0, 18.0, 13.0, 17.0, 6.0, 3.0, 3.0, 5.0, 3.0, 0.0, 0.0, 2.0], "bins": [-1.8740918676485308e-05, -1.821777732402552e-05, -1.769463597156573e-05, -1.7171496438095346e-05, -1.6648355085635558e-05, -1.612521373317577e-05, -1.560207238071598e-05, -1.5078931028256193e-05, -1.4555790585291106e-05, -1.4032649232831318e-05, -1.3509508789866231e-05, -1.2986367437406443e-05, -1.2463226084946655e-05, -1.1940085641981568e-05, -1.141694428952178e-05, -1.0893803846556693e-05, -1.0370662494096905e-05, -9.847521141637117e-06, -9.32438069867203e-06, -8.801239346212242e-06, -8.278098903247155e-06, -7.754957550787367e-06, -7.231816198327579e-06, -6.708675300615141e-06, -6.185534402902704e-06, -5.662393505190266e-06, -5.139252607477829e-06, -4.6161112550180405e-06, -4.092970357305603e-06, -3.5698294595931657e-06, -3.0466883345070528e-06, -2.52354720942094e-06, -2.000408130697906e-06, -1.4772671192986309e-06, -9.541261078993557e-07, -4.3098509650008054e-07, 9.215591489919461e-08, 6.15296812611632e-07, 1.138437937697745e-06, 1.6615790627838578e-06, 2.1847199604962952e-06, 2.7078608582087327e-06, 3.2310019832948456e-06, 3.7541431083809584e-06, 4.277284006093396e-06, 4.800424903805833e-06, 5.323566256265622e-06, 5.846707153978059e-06, 6.3698480516904965e-06, 6.892988949402934e-06, 7.416129847115371e-06, 7.93927119957516e-06, 8.462411642540246e-06, 8.985552995000035e-06, 9.508694347459823e-06, 1.0031835699919611e-05, 1.0554976142884698e-05, 1.1078117495344486e-05, 1.1601257938309573e-05, 1.2124399290769361e-05, 1.264754064322915e-05, 1.3170681086194236e-05, 1.3693822438654024e-05, 1.421696288161911e-05, 1.4740104234078899e-05]}, "gradients/bert.encoder.layer.19.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 2.0, 2.0, 6.0, 7.0, 9.0, 23.0, 11.0, 36.0, 59.0, 111.0, 185.0, 450.0, 1275.0, 1101.0, 398.0, 166.0, 82.0, 55.0, 51.0, 15.0, 10.0, 10.0, 7.0, 1.0, 1.0, 3.0, 0.0, 3.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.810516530706082e-06, -9.537200639897492e-06, -9.263884749088902e-06, -8.990568858280312e-06, -8.717252967471723e-06, -8.443937076663133e-06, -8.170621185854543e-06, -7.897305295045953e-06, -7.6239894042373635e-06, -7.350673513428774e-06, -7.077357622620184e-06, -6.804041731811594e-06, -6.5307258410030045e-06, -6.257409950194415e-06, -5.984094059385825e-06, -5.710778168577235e-06, -5.4374622777686454e-06, -5.164146386960056e-06, -4.890830496151466e-06, -4.617514605342876e-06, -4.344198714534286e-06, -4.070882823725697e-06, -3.797566932917107e-06, -3.524251042108517e-06, -3.2509351512999274e-06, -2.9776192604913376e-06, -2.704303369682748e-06, -2.430987478874158e-06, -2.1576715880655684e-06, -1.8843556972569786e-06, -1.6110398064483888e-06, -1.337723915639799e-06, -1.064408934325911e-06, -7.910930435173213e-07, -5.177771527087316e-07, -2.4446126190014184e-07, 2.885462890844792e-08, 3.021705197170377e-07, 5.754864105256274e-07, 8.488023013342172e-07, 1.122118192142807e-06, 1.3954340829513967e-06, 1.6687499737599865e-06, 1.9420658645685762e-06, 2.215381755377166e-06, 2.4886976461857557e-06, 2.7620135369943455e-06, 3.0353294278029352e-06, 3.308645318611525e-06, 3.5819612094201148e-06, 3.8552771002287045e-06, 4.128592991037294e-06, 4.401908881845884e-06, 4.675224772654474e-06, 4.9485406634630635e-06, 5.221856554271653e-06, 5.495172445080243e-06, 5.768488335888833e-06, 6.0418042266974226e-06, 6.315120117506012e-06, 6.588436008314602e-06, 6.861751899123192e-06, 7.135067789931782e-06, 7.408383680740371e-06, 7.681699571548961e-06]}, "gradients/bert.encoder.layer.19.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 2.0, 1.0, 4.0, 2.0, 4.0, 5.0, 7.0, 9.0, 12.0, 22.0, 46.0, 85.0, 214.0, 613.0, 3454.0, 698217.0, 3485763.0, 4682.0, 691.0, 219.0, 120.0, 50.0, 33.0, 5.0, 12.0, 5.0, 1.0, 5.0, 2.0, 3.0, 0.0, 4.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00012051084922859445, -0.00011663055920507759, -0.00011275026918156072, -0.00010886997915804386, -0.00010498968185856938, -0.00010110939911101013, -9.722910181153566e-05, -9.334881178801879e-05, -8.946852176450193e-05, -8.558823174098507e-05, -8.17079417174682e-05, -7.782765169395134e-05, -7.394736167043447e-05, -7.006706437096e-05, -6.618677434744313e-05, -6.230648432392627e-05, -5.8426194300409406e-05, -5.454590427689254e-05, -5.066561425337568e-05, -4.678532059188001e-05, -4.2905030568363145e-05, -3.902474054484628e-05, -3.514444688335061e-05, -3.126415685983375e-05, -2.7383866836316884e-05, -2.350357681280002e-05, -1.9623284970293753e-05, -1.5742993127787486e-05, -1.1862703104270622e-05, -7.982413080753759e-06, -4.102121238247491e-06, -2.218293957412243e-07, 3.658453351818025e-06, 7.5387442848295905e-06, 1.1419035217841156e-05, 1.5299327060347423e-05, 1.9179617083864287e-05, 2.305990710738115e-05, 2.6940198949887417e-05, 3.0820490792393684e-05, 3.470078081591055e-05, 3.858107083942741e-05, 4.2461360862944275e-05, 4.6341654524439946e-05, 5.022194454795681e-05, 5.410223457147367e-05, 5.7982528232969344e-05, 6.186281825648621e-05, 6.574310828000307e-05, 6.962339830351993e-05, 7.35036883270368e-05, 7.738397835055366e-05, 8.126426837407053e-05, 8.5144565673545e-05, 8.902485569706187e-05, 9.290514572057873e-05, 9.67854357440956e-05, 0.00010066572576761246, 0.00010454601579112932, 0.00010842630581464618, 0.00011230660311412066, 0.00011618688586167991, 0.00012006718316115439, 0.00012394748046062887, 0.00012782776320818812]}, "gradients/bert.encoder.layer.19.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 4.0, 4.0, 8.0, 11.0, 41.0, 84.0, 152.0, 228.0, 221.0, 143.0, 59.0, 39.0, 16.0, 3.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.635834607644938e-05, -2.5291894417023286e-05, -2.4225442757597193e-05, -2.3158989279181696e-05, -2.2092537619755603e-05, -2.102608596032951e-05, -1.9959632481914014e-05, -1.889318082248792e-05, -1.7826729163061827e-05, -1.6760277503635734e-05, -1.569382584420964e-05, -1.4627372365794145e-05, -1.3560920706368051e-05, -1.2494469046941958e-05, -1.1428016478021163e-05, -1.0361563909100369e-05, -9.295112249674276e-06, -8.228660590248182e-06, -7.1622080213273875e-06, -6.0957559071539436e-06, -5.0293037929804996e-06, -3.962851678807056e-06, -2.8963995646336116e-06, -1.8299474504601676e-06, -7.634953362867236e-07, 3.029567778867204e-07, 1.3694088920601644e-06, 2.4358610062336084e-06, 3.5023131204070523e-06, 4.568765234580496e-06, 5.63521734875394e-06, 6.701669462927384e-06, 7.768125215079635e-06, 8.834576874505728e-06, 9.901029443426523e-06, 1.0967482012347318e-05, 1.2033933671773411e-05, 1.3100385331199504e-05, 1.41668379001203e-05, 1.5233290469041094e-05, 1.6299742128467187e-05, 1.736619378789328e-05, 1.8432645447319373e-05, 1.949909892573487e-05, 2.0565550585160963e-05, 2.1632002244587056e-05, 2.2698455723002553e-05, 2.3764907382428646e-05, 2.483135904185474e-05, 2.5897810701280832e-05, 2.6964262360706925e-05, 2.8030715839122422e-05, 2.9097167498548515e-05, 3.0163619157974608e-05, 3.1230072636390105e-05, 3.22965242958162e-05, 3.336297595524229e-05, 3.4429427614668384e-05, 3.549587927409448e-05, 3.656233093352057e-05, 3.762878623092547e-05, 3.8695237890351564e-05, 3.976168954977766e-05, 4.082814120920375e-05, 4.189459286862984e-05]}, "gradients/bert.encoder.layer.19.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 6.0, 4.0, 3.0, 5.0, 8.0, 13.0, 12.0, 14.0, 17.0, 16.0, 27.0, 22.0, 27.0, 35.0, 26.0, 38.0, 35.0, 46.0, 40.0, 32.0, 59.0, 45.0, 51.0, 53.0, 42.0, 31.0, 44.0, 37.0, 26.0, 29.0, 22.0, 18.0, 20.0, 22.0, 16.0, 19.0, 12.0, 8.0, 6.0, 5.0, 7.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-9.011425390781369e-06, -8.73863791639451e-06, -8.46585044200765e-06, -8.19306296762079e-06, -7.92027549323393e-06, -7.64748801884707e-06, -7.37470008971286e-06, -7.101912615326e-06, -6.829125140939141e-06, -6.556337666552281e-06, -6.283550192165421e-06, -6.010762717778562e-06, -5.737974788644351e-06, -5.465187314257491e-06, -5.192399839870632e-06, -4.919612365483772e-06, -4.646824891096912e-06, -4.374037416710053e-06, -4.101249942323193e-06, -3.828462467936333e-06, -3.555674766175798e-06, -3.2828872917889385e-06, -3.0100995900284033e-06, -2.7373121156415436e-06, -2.464524641254684e-06, -2.1917371668678243e-06, -1.9189496924809646e-06, -1.6461619907204295e-06, -1.3733745163335698e-06, -1.10058704194671e-06, -8.277994538730127e-07, -5.550118657993153e-07, -2.822243914124556e-07, -9.436860182177043e-09, 2.633506710481015e-07, 5.3613820227838e-07, 8.089257335086586e-07, 1.0817132078955183e-06, 1.3545007959692157e-06, 1.627288384042913e-06, 1.9000758584297728e-06, 2.1728633328166325e-06, 2.445650807203492e-06, 2.7184385089640273e-06, 2.991225983350887e-06, 3.2640134577377466e-06, 3.5368011594982818e-06, 3.8095886338851415e-06, 4.082376108272001e-06, 4.355163582658861e-06, 4.6279510570457205e-06, 4.90073853143258e-06, 5.17352600581944e-06, 5.4463134802062996e-06, 5.71910140934051e-06, 5.99188888372737e-06, 6.2646763581142295e-06, 6.537463832501089e-06, 6.810251306887949e-06, 7.0830387812748086e-06, 7.355826710409019e-06, 7.628614184795879e-06, 7.901401659182739e-06, 8.174189133569598e-06, 8.446976607956458e-06]}, "gradients/bert.encoder.layer.19.attention.output.dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 4.0, 1.0, 8.0, 3.0, 5.0, 8.0, 5.0, 10.0, 12.0, 21.0, 18.0, 31.0, 30.0, 36.0, 30.0, 41.0, 46.0, 58.0, 45.0, 71.0, 74.0, 62.0, 52.0, 50.0, 45.0, 44.0, 42.0, 23.0, 23.0, 24.0, 25.0, 14.0, 14.0, 10.0, 12.0, 5.0, 6.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0321113222744316e-05, -9.989457794290502e-06, -9.65780327533139e-06, -9.326147846877575e-06, -8.994493327918462e-06, -8.662837899464648e-06, -8.331183380505536e-06, -7.999527952051722e-06, -7.667873433092609e-06, -7.336218459386146e-06, -7.004563485679682e-06, -6.672908511973219e-06, -6.341253538266756e-06, -6.009598564560292e-06, -5.677943590853829e-06, -5.346288162400015e-06, -5.014633188693551e-06, -4.682978214987088e-06, -4.351323241280625e-06, -4.019668267574161e-06, -3.688013293867698e-06, -3.3563583201612346e-06, -3.024703119081096e-06, -2.6930481453746324e-06, -2.361393171668169e-06, -2.0297381979617057e-06, -1.6980832242552424e-06, -1.3664281368619413e-06, -1.034773163155478e-06, -7.031181894490146e-07, -3.7146310205571353e-07, -3.980812834925018e-08, 2.9184684535721317e-07, 6.235018190636765e-07, 9.551567927701399e-07, 1.286811880163441e-06, 1.6184668538699043e-06, 1.95012171388953e-06, 2.2817769149696687e-06, 2.613431888676132e-06, 2.9450868623825954e-06, 3.2767418360890588e-06, 3.608396809795522e-06, 3.940052010875661e-06, 4.271706984582124e-06, 4.603361958288588e-06, 4.935016931995051e-06, 5.266671905701514e-06, 5.598326879407978e-06, 5.929981853114441e-06, 6.261636826820904e-06, 6.593291800527368e-06, 6.924946774233831e-06, 7.2566017479402944e-06, 7.588257176394109e-06, 7.919911695353221e-06, 8.251567123807035e-06, 8.58322255226085e-06, 8.914877071219962e-06, 9.246532499673776e-06, 9.578187018632889e-06, 9.909842447086703e-06, 1.0241496966045815e-05, 1.057315239449963e-05, 1.0904806913458742e-05]}, "gradients/bert.encoder.layer.19.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 0.0, 9.0, 6.0, 5.0, 8.0, 7.0, 18.0, 13.0, 36.0, 55.0, 73.0, 139.0, 259.0, 626.0, 1561.0, 4745.0, 16809.0, 85881.0, 591532.0, 290363.0, 41588.0, 9885.0, 2930.0, 1079.0, 440.0, 188.0, 107.0, 61.0, 33.0, 39.0, 17.0, 20.0, 9.0, 9.0, 4.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.8509590518078767e-05, -1.7908507288666442e-05, -1.730742587824352e-05, -1.6706342648831196e-05, -1.610525941941887e-05, -1.550417800899595e-05, -1.4903094779583625e-05, -1.4302012459666003e-05, -1.370093013974838e-05, -1.3099847819830757e-05, -1.2498765499913134e-05, -1.1897682270500809e-05, -1.1296599950583186e-05, -1.0695517630665563e-05, -1.0094434401253238e-05, -9.493352081335615e-06, -8.892269761417992e-06, -8.29118744150037e-06, -7.690105121582747e-06, -7.089021892170422e-06, -6.487939572252799e-06, -5.886857252335176e-06, -5.285774477670202e-06, -4.684691703005228e-06, -4.083609383087605e-06, -3.482526835796307e-06, -2.8814442885050084e-06, -2.28036174121371e-06, -1.6792791939224117e-06, -1.0781966466311133e-06, -4.771140993398149e-07, 1.2396867532515898e-07, 7.250491762533784e-07, 1.3261317235446768e-06, 1.927214270835975e-06, 2.5282968181272736e-06, 3.129379365418572e-06, 3.7304619127098704e-06, 4.331544460001169e-06, 4.932627234666143e-06, 5.5337095545837656e-06, 6.1347918745013885e-06, 6.735874649166362e-06, 7.336957423831336e-06, 7.93803974374896e-06, 8.539122063666582e-06, 9.140205293078907e-06, 9.74128761299653e-06, 1.0342369932914153e-05, 1.0943452252831776e-05, 1.1544534572749399e-05, 1.2145617802161723e-05, 1.2746700122079346e-05, 1.334778244199697e-05, 1.3948865671409294e-05, 1.4549947991326917e-05, 1.515103031124454e-05, 1.5752113540656865e-05, 1.6353194951079786e-05, 1.695427818049211e-05, 1.7555361409904435e-05, 1.8156442820327356e-05, 1.875752604973968e-05, 1.9358609279152006e-05, 1.9959690689574927e-05]}, "gradients/bert.encoder.layer.19.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 4.0, 1.0, 4.0, 2.0, 8.0, 3.0, 12.0, 15.0, 11.0, 17.0, 25.0, 24.0, 23.0, 43.0, 37.0, 40.0, 58.0, 60.0, 67.0, 45.0, 61.0, 49.0, 43.0, 46.0, 50.0, 49.0, 50.0, 32.0, 33.0, 25.0, 16.0, 12.0, 10.0, 13.0, 8.0, 6.0, 5.0, 3.0, 3.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.110425091610523e-05, -1.0769359505502507e-05, -1.0434467185405083e-05, -1.009957577480236e-05, -9.764683454704937e-06, -9.429792044102214e-06, -9.09489972400479e-06, -8.760008313402068e-06, -8.425116902799346e-06, -8.090225492196623e-06, -7.755333172099199e-06, -7.420441761496477e-06, -7.085549441399053e-06, -6.75065803079633e-06, -6.415766165446257e-06, -6.080874300096184e-06, -5.74598197999876e-06, -5.411090114648687e-06, -5.0761982492986135e-06, -4.741306838695891e-06, -4.406414518598467e-06, -4.071523107995745e-06, -3.7366312426456716e-06, -3.4017393772955984e-06, -3.066847511945525e-06, -2.731955646595452e-06, -2.3970637812453788e-06, -2.062172143268981e-06, -1.7272802779189078e-06, -1.3923884125688346e-06, -1.0574967745924369e-06, -7.226049092423636e-07, -3.8771304389229044e-07, -5.28212353856361e-08, 2.8207057312101824e-07, 6.169623247842537e-07, 9.518541901343269e-07, 1.2867460554844001e-06, 1.6216376934607979e-06, 1.956529558810871e-06, 2.2914214241609443e-06, 2.6263132895110175e-06, 2.9612051548610907e-06, 3.2960967928374885e-06, 3.6309886581875617e-06, 3.96588075091131e-06, 4.300772161514033e-06, 4.635664026864106e-06, 4.970555892214179e-06, 5.305447757564252e-06, 5.6403396229143254e-06, 5.975231033517048e-06, 6.310123353614472e-06, 6.645014764217194e-06, 6.979906629567267e-06, 7.314798494917341e-06, 7.649690815014765e-06, 7.984582225617487e-06, 8.319474545714911e-06, 8.654365956317633e-06, 8.989258276415057e-06, 9.32414968701778e-06, 9.659041097620502e-06, 9.993933417717926e-06, 1.0328824828320649e-05]}, "gradients/bert.encoder.layer.19.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 4.0, 2.0, 3.0, 7.0, 12.0, 6.0, 16.0, 19.0, 30.0, 23.0, 42.0, 48.0, 67.0, 63.0, 77.0, 134.0, 179.0, 218.0, 506.0, 349230.0, 696215.0, 731.0, 198.0, 128.0, 122.0, 109.0, 77.0, 68.0, 52.0, 46.0, 26.0, 28.0, 19.0, 8.0, 15.0, 9.0, 8.0, 7.0, 3.0, 4.0, 1.0, 1.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011365581303834915, -0.00011021536192856729, -0.00010677491081878543, -0.00010333445970900357, -9.989400132326409e-05, -9.645355021348223e-05, -9.301309910370037e-05, -8.957264799391851e-05, -8.613219688413665e-05, -8.269174577435479e-05, -7.925129466457292e-05, -7.581083627883345e-05, -7.237038516905159e-05, -6.892993405926973e-05, -6.548948294948786e-05, -6.2049031839706e-05, -5.8608577091945335e-05, -5.5168125982163474e-05, -5.1727671234402806e-05, -4.8287220124620944e-05, -4.484676901483908e-05, -4.140631790505722e-05, -3.796586315729655e-05, -3.452541204751469e-05, -3.1084957299754024e-05, -2.764450437098276e-05, -2.4204053261200897e-05, -2.0763600332429633e-05, -1.732314922264777e-05, -1.3882696293876506e-05, -1.0442243365105242e-05, -7.00179225532338e-06, -3.561341145541519e-06, -1.208888988912804e-07, 3.319563347758958e-06, 6.760015821782872e-06, 1.0200467841059435e-05, 1.3640919860335998e-05, 1.7081372789107263e-05, 2.0521823898889124e-05, 2.396227682766039e-05, 2.7402729756431654e-05, 3.0843180866213515e-05, 3.4283635613974184e-05, 3.7724086723756045e-05, 4.1164537833537906e-05, 4.460498894331977e-05, 4.804544005310163e-05, 5.14858948008623e-05, 5.492634591064416e-05, 5.836680065840483e-05, 6.180725176818669e-05, 6.524770287796855e-05, 6.868815398775041e-05, 7.212860509753227e-05, 7.556905620731413e-05, 7.900951459305361e-05, 8.244996570283547e-05, 8.589041681261733e-05, 8.933087519835681e-05, 9.277132630813867e-05, 9.621177741792053e-05, 9.965222852770239e-05, 0.00010309267963748425, 0.00010653313074726611]}, "gradients/bert.encoder.layer.19.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 9.0, 2.0, 13.0, 4.0, 34.0, 7.0, 31.0, 96.0, 80.0, 134.0, 169.0, 149.0, 85.0, 60.0, 46.0, 18.0, 35.0, 15.0, 10.0, 3.0, 5.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-9.094947017729282e-13, -8.890665981198254e-13, -8.686384944667225e-13, -8.482103908136196e-13, -8.277822871605167e-13, -8.073541835074138e-13, -7.86926079854311e-13, -7.664979762012081e-13, -7.460698725481052e-13, -7.256417688950023e-13, -7.052136652418994e-13, -6.847855615887966e-13, -6.643574579356937e-13, -6.439293542825908e-13, -6.235012506294879e-13, -6.03073146976385e-13, -5.826450433232822e-13, -5.622169396701793e-13, -5.417888360170764e-13, -5.213607323639735e-13, -5.009326287108706e-13, -4.805045250577678e-13, -4.600764214046649e-13, -4.39648317751562e-13, -4.192202140984591e-13, -3.9879211044535623e-13, -3.7836400679225335e-13, -3.5793590313915047e-13, -3.375077994860476e-13, -3.170796958329447e-13, -2.9665159217984183e-13, -2.7622348852673895e-13, -2.5579538487363607e-13, -2.353672812205332e-13, -2.149391775674303e-13, -1.9451107391432743e-13, -1.7408297026122455e-13, -1.5365486660812167e-13, -1.3322676295501878e-13, -1.127986593019159e-13, -9.237055564881302e-14, -7.194245199571014e-14, -5.1514348342607263e-14, -3.108624468950438e-14, -1.0658141036401503e-14, 9.769962616701378e-15, 3.019806626980426e-14, 5.062616992290714e-14, 7.105427357601002e-14, 9.14823772291129e-14, 1.1191048088221578e-13, 1.3233858453531866e-13, 1.5276668818842154e-13, 1.7319479184152442e-13, 1.936228954946273e-13, 2.1405099914773018e-13, 2.3447910280083306e-13, 2.5490720645393594e-13, 2.753353101070388e-13, 2.957634137601417e-13, 3.161915174132446e-13, 3.3661962106634746e-13, 3.5704772471945034e-13, 3.774758283725532e-13, 3.979039320256561e-13]}, "gradients/bert.encoder.layer.19.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 4.0, 4.0, 5.0, 4.0, 1.0, 6.0, 11.0, 15.0, 25.0, 31.0, 61.0, 113.0, 322.0, 1709.0, 112181.0, 929055.0, 4228.0, 452.0, 163.0, 71.0, 39.0, 25.0, 9.0, 9.0, 1.0, 5.0, 2.0, 6.0, 4.0, 5.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.774632543558255e-05, -4.6261186071205884e-05, -4.477604670682922e-05, -4.3290907342452556e-05, -4.180576797807589e-05, -4.032062861369923e-05, -3.8835489249322563e-05, -3.7350353522924706e-05, -3.586521415854804e-05, -3.438007479417138e-05, -3.2894935429794714e-05, -3.140979606541805e-05, -2.992465852003079e-05, -2.8439519155654125e-05, -2.695437979127746e-05, -2.54692422458902e-05, -2.3984101062524132e-05, -2.2498961698147468e-05, -2.1013822333770804e-05, -1.9528684788383543e-05, -1.804354542400688e-05, -1.6558406059630215e-05, -1.5073266695253551e-05, -1.3588128240371589e-05, -1.2102988875994924e-05, -1.061784951161826e-05, -9.132711056736298e-06, -7.647571692359634e-06, -6.1624327827303205e-06, -4.677293873101007e-06, -3.192154508724343e-06, -1.7070160538423806e-06, -2.2187668946571648e-07, 1.2632623338504345e-06, 2.7484013571665855e-06, 4.233540494169574e-06, 5.7186794037988875e-06, 7.203818313428201e-06, 8.688957677804865e-06, 1.0174096132686827e-05, 1.1659235497063491e-05, 1.3144374861440156e-05, 1.4629513316322118e-05, 1.6114652680698782e-05, 1.7599792045075446e-05, 1.908493140945211e-05, 2.0570070773828775e-05, 2.2055208319216035e-05, 2.35403476835927e-05, 2.5025487047969364e-05, 2.6510626412346028e-05, 2.799576395773329e-05, 2.9480903322109953e-05, 3.096604268648662e-05, 3.245118205086328e-05, 3.3936321415239945e-05, 3.542146077961661e-05, 3.690660014399327e-05, 3.839173950836994e-05, 3.98768788727466e-05, 4.1362018237123266e-05, 4.284715396352112e-05, 4.433229332789779e-05, 4.581743269227445e-05, 4.7302572056651115e-05]}, "gradients/bert.encoder.layer.19.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 8.0, 5.0, 14.0, 16.0, 29.0, 63.0, 80.0, 168.0, 235.0, 150.0, 94.0, 57.0, 32.0, 18.0, 19.0, 10.0, 3.0, 2.0, 0.0, 3.0, 1.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.819042260351125e-06, -4.6711002141819336e-06, -4.523158168012742e-06, -4.3752156670961995e-06, -4.227273620927008e-06, -4.079331574757816e-06, -3.931389528588625e-06, -3.7834472550457576e-06, -3.6355049815028906e-06, -3.487562935333699e-06, -3.339620661790832e-06, -3.1916786156216403e-06, -3.0437363420787733e-06, -2.8957942959095817e-06, -2.74785224974039e-06, -2.599909976197523e-06, -2.4519679300283315e-06, -2.30402588385914e-06, -2.156083610316273e-06, -2.0081415641470812e-06, -1.8601992906042142e-06, -1.7122572444350226e-06, -1.5643150845789933e-06, -1.416372924722964e-06, -1.2684307648669346e-06, -1.1204886050109053e-06, -9.72546445154876e-07, -8.246043421422655e-07, -6.766621822862362e-07, -5.287200224302069e-07, -3.807779194175964e-07, -2.328357595615671e-07, -8.489359970553778e-08, 6.304854593963682e-08, 2.1099069158481143e-07, 3.589328230191313e-07, 5.068749828751606e-07, 6.5481714273119e-07, 8.027592457438004e-07, 9.507014055998297e-07, 1.098643565455859e-06, 1.2465857253118884e-06, 1.3945278851679177e-06, 1.542470045023947e-06, 1.6904120911931386e-06, 1.8383543647360057e-06, 1.9862964109051973e-06, 2.134238457074389e-06, 2.282180730617256e-06, 2.4301227767864475e-06, 2.5780650503293145e-06, 2.726007096498506e-06, 2.873949370041373e-06, 3.0218914162105648e-06, 3.169833689753432e-06, 3.3177757359226234e-06, 3.465717782091815e-06, 3.6136598282610066e-06, 3.7616021018038737e-06, 3.909544375346741e-06, 4.057486421515932e-06, 4.205428467685124e-06, 4.3533705138543155e-06, 4.501313014770858e-06, 4.64925506094005e-06]}, "gradients/bert.encoder.layer.19.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 1.0, 9.0, 11.0, 15.0, 33.0, 73.0, 182.0, 487.0, 3294.0, 941736.0, 100619.0, 1503.0, 353.0, 128.0, 58.0, 27.0, 15.0, 9.0, 3.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-7.868855755077675e-05, -7.689375343034044e-05, -7.509894203394651e-05, -7.33041379135102e-05, -7.150933379307389e-05, -6.971452239667997e-05, -6.791971827624366e-05, -6.612490687984973e-05, -6.433010275941342e-05, -6.253529863897711e-05, -6.0740487242583185e-05, -5.8945683122146875e-05, -5.715087536373176e-05, -5.535606760531664e-05, -5.356126348488033e-05, -5.176645572646521e-05, -4.997164796805009e-05, -4.8176840209634975e-05, -4.638203245121986e-05, -4.4587228330783546e-05, -4.279242057236843e-05, -4.099761281395331e-05, -3.9202808693517e-05, -3.740800093510188e-05, -3.5613193176686764e-05, -3.3818385418271646e-05, -3.202357765985653e-05, -3.0228773539420217e-05, -2.84339657810051e-05, -2.663915802258998e-05, -2.4844352083164267e-05, -2.3049546143738553e-05, -2.1254738385323435e-05, -1.9459930626908317e-05, -1.7665124687482603e-05, -1.587031874805689e-05, -1.407551098964177e-05, -1.2280704140721355e-05, -1.0485897291800939e-05, -8.691090442880522e-06, -6.896283593960106e-06, -5.10147674503969e-06, -3.306669896119274e-06, -1.5118630471988581e-06, 2.82943801721558e-07, 2.077750650641974e-06, 3.87255749956239e-06, 5.667364348482806e-06, 7.462171197403222e-06, 9.256978046323638e-06, 1.1051784895244054e-05, 1.284659174416447e-05, 1.4641398593084887e-05, 1.6436206351500005e-05, 1.823101229092572e-05, 2.0025818230351433e-05, 2.182062598876655e-05, 2.361543374718167e-05, 2.5410239686607383e-05, 2.7205045626033098e-05, 2.8999853384448215e-05, 3.079466114286333e-05, 3.2589465263299644e-05, 3.438427302171476e-05, 3.617908078012988e-05]}, "gradients/bert.encoder.layer.18.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 4.0, 10.0, 11.0, 47.0, 123.0, 248.0, 293.0, 166.0, 66.0, 37.0, 9.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.0976417696801946e-05, -4.964027903042734e-05, -4.830413672607392e-05, -4.696799805969931e-05, -4.56318593933247e-05, -4.4295720726950094e-05, -4.2959582060575485e-05, -4.162343975622207e-05, -4.028730108984746e-05, -3.895116242347285e-05, -3.7615020119119436e-05, -3.627888145274483e-05, -3.494274278637022e-05, -3.360660411999561e-05, -3.2270465453621e-05, -3.0934323149267584e-05, -2.9598184482892975e-05, -2.8262045816518366e-05, -2.6925905331154354e-05, -2.558976484579034e-05, -2.4253626179415733e-05, -2.2917487513041124e-05, -2.158134702767711e-05, -2.02452065423131e-05, -1.890906787593849e-05, -1.757292920956388e-05, -1.623678872419987e-05, -1.4900649148330558e-05, -1.3564509572461247e-05, -1.2228369996591937e-05, -1.0892230420722626e-05, -9.556090844853316e-06, -8.219951268984005e-06, -6.883811693114694e-06, -5.5476721172453836e-06, -4.211532541376073e-06, -2.8753929655067623e-06, -1.5392533896374516e-06, -2.0311381376814097e-07, 1.1330257621011697e-06, 2.4691653379704803e-06, 3.805304913839791e-06, 5.141444489709102e-06, 6.477584065578412e-06, 7.813723641447723e-06, 9.149863217317034e-06, 1.0486002793186344e-05, 1.1822142369055655e-05, 1.3158281944924966e-05, 1.4494421520794276e-05, 1.5830561096663587e-05, 1.71667015820276e-05, 1.8502840248402208e-05, 1.9838978914776817e-05, 2.117511940014083e-05, 2.2511259885504842e-05, 2.384739855187945e-05, 2.518353721825406e-05, 2.6519677703618072e-05, 2.7855818188982084e-05, 2.9191956855356693e-05, 3.05280955217313e-05, 3.186423418810591e-05, 3.320037649245933e-05, 3.4536515158833936e-05]}, "gradients/bert.encoder.layer.18.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 3.0, 1.0, 0.0, 2.0, 3.0, 6.0, 1.0, 4.0, 5.0, 10.0, 14.0, 10.0, 18.0, 19.0, 9.0, 20.0, 29.0, 17.0, 30.0, 28.0, 24.0, 27.0, 42.0, 41.0, 45.0, 38.0, 33.0, 43.0, 53.0, 41.0, 52.0, 41.0, 30.0, 40.0, 36.0, 40.0, 20.0, 23.0, 19.0, 21.0, 19.0, 11.0, 6.0, 14.0, 6.0, 5.0, 0.0, 1.0, 2.0, 4.0, 2.0, 1.0, 1.0, 6.0, 1.0, 1.0, 1.0], "bins": [-1.220349167851964e-05, -1.1845493645523675e-05, -1.1487494703033008e-05, -1.1129496670037042e-05, -1.0771498637041077e-05, -1.0413500604045112e-05, -1.0055502571049146e-05, -9.69750362855848e-06, -9.339505595562514e-06, -8.981507562566549e-06, -8.623508620075881e-06, -8.265510587079916e-06, -7.90751255408395e-06, -7.5495145210879855e-06, -7.191516033344669e-06, -6.833517545601353e-06, -6.475519512605388e-06, -6.117521479609422e-06, -5.759522991866106e-06, -5.40152450412279e-06, -5.043526471126825e-06, -4.685528438130859e-06, -4.327529950387543e-06, -3.969531462644227e-06, -3.6115334296482615e-06, -3.2535351692786207e-06, -2.89553690890898e-06, -2.537538648539339e-06, -2.1795403881696984e-06, -1.8215421278000576e-06, -1.4635438674304169e-06, -1.105545607060776e-06, -7.475482561858371e-07, -3.895499958161963e-07, -3.155173544655554e-08, 3.2644652492308524e-07, 6.84444785292726e-07, 1.0424430456623668e-06, 1.4004413060320076e-06, 1.7584395664016483e-06, 2.116437826771289e-06, 2.47443608714093e-06, 2.8324343475105707e-06, 3.1904326078802114e-06, 3.548430868249852e-06, 3.9064289012458175e-06, 4.264427388989134e-06, 4.62242587673245e-06, 4.980423909728415e-06, 5.338421942724381e-06, 5.696420430467697e-06, 6.054418918211013e-06, 6.412416951206978e-06, 6.770414984202944e-06, 7.12841347194626e-06, 7.486411959689576e-06, 7.844409992685542e-06, 8.202408025681507e-06, 8.560406058677472e-06, 8.91840500116814e-06, 9.276403034164105e-06, 9.63440106716007e-06, 9.992400009650737e-06, 1.0350398042646702e-05, 1.0708396075642668e-05]}, "gradients/bert.encoder.layer.18.output.dense.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 1.0, 3.0, 4.0, 1.0, 6.0, 8.0, 15.0, 12.0, 15.0, 16.0, 17.0, 22.0, 23.0, 8.0, 31.0, 21.0, 37.0, 39.0, 40.0, 44.0, 44.0, 45.0, 35.0, 51.0, 50.0, 39.0, 50.0, 35.0, 38.0, 34.0, 39.0, 25.0, 32.0, 21.0, 22.0, 23.0, 17.0, 12.0, 10.0, 5.0, 5.0, 1.0, 3.0, 1.0, 4.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-8.89264265424572e-06, -8.6372147052316e-06, -8.381787665712181e-06, -8.126359716698062e-06, -7.870932677178644e-06, -7.615504728164524e-06, -7.360076779150404e-06, -7.104649284883635e-06, -6.849221790616866e-06, -6.593794296350097e-06, -6.338366802083328e-06, -6.0829388530692086e-06, -5.82751135880244e-06, -5.572083864535671e-06, -5.316655915521551e-06, -5.061228421254782e-06, -4.805800926988013e-06, -4.550373432721244e-06, -4.294945938454475e-06, -4.0395179894403554e-06, -3.7840904951735865e-06, -3.5286630009068176e-06, -3.2732352792663733e-06, -3.017807557625929e-06, -2.76238006335916e-06, -2.506952569092391e-06, -2.2515248474519467e-06, -1.9960971258115023e-06, -1.7406696315447334e-06, -1.4852420235911268e-06, -1.2298144156375201e-06, -9.743868076839135e-07, -7.189591997303069e-07, -4.635315917767002e-07, -2.0810398382309359e-07, 4.7323624130513053e-08, 3.027512320841197e-07, 5.581788400377263e-07, 8.13606447991333e-07, 1.0690340559449396e-06, 1.3244616638985462e-06, 1.5798892718521529e-06, 1.8353168798057595e-06, 2.090744601446204e-06, 2.346172095712973e-06, 2.6015995899797417e-06, 2.857027311620186e-06, 3.1124550332606304e-06, 3.3678825275273994e-06, 3.6233100217941683e-06, 3.878737516060937e-06, 4.134165465075057e-06, 4.389592959341826e-06, 4.645020453608595e-06, 4.900448402622715e-06, 5.1558758968894836e-06, 5.4113033911562525e-06, 5.666730885423021e-06, 5.92215837968979e-06, 6.17758632870391e-06, 6.433013822970679e-06, 6.688441317237448e-06, 6.943869266251568e-06, 7.199296760518337e-06, 7.454724254785106e-06]}, "gradients/bert.encoder.layer.18.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 4.0, 2.0, 1.0, 0.0, 4.0, 3.0, 3.0, 6.0, 5.0, 5.0, 22.0, 14.0, 27.0, 30.0, 53.0, 79.0, 122.0, 139.0, 264.0, 368.0, 576.0, 937.0, 1546.0, 2684.0, 4637.0, 9199.0, 18573.0, 42817.0, 136046.0, 956644.0, 2359126.0, 498550.0, 96070.0, 33442.0, 15176.0, 7505.0, 3896.0, 2244.0, 1326.0, 747.0, 473.0, 307.0, 205.0, 116.0, 105.0, 51.0, 32.0, 30.0, 22.0, 21.0, 13.0, 10.0, 6.0, 4.0, 3.0, 1.0, 4.0, 1.0, 3.0, 0.0, 1.0, 2.0], "bins": [-1.3834516721544787e-05, -1.3406785910774488e-05, -1.297905600949889e-05, -1.2551325198728591e-05, -1.2123595297452994e-05, -1.1695864486682694e-05, -1.1268133675912395e-05, -1.0840403774636798e-05, -1.0412672963866498e-05, -9.984942153096199e-06, -9.557212251820602e-06, -9.129481441050302e-06, -8.701750630280003e-06, -8.274020729004405e-06, -7.846289918234106e-06, -7.418559562211158e-06, -6.990829206188209e-06, -6.563098850165261e-06, -6.1353684941423126e-06, -5.707637683372013e-06, -5.279907327349065e-06, -4.8521769713261165e-06, -4.424446160555817e-06, -3.996715804532869e-06, -3.5689854485099204e-06, -3.141255092486972e-06, -2.713524509090348e-06, -2.2857939256937243e-06, -1.858063569670776e-06, -1.4303332136478275e-06, -1.0026026302512037e-06, -5.748720468545798e-07, -1.471426003263332e-07, 2.805878693834529e-07, 7.08318339093239e-07, 1.1360488088030252e-06, 1.5637792785128113e-06, 1.9915096345357597e-06, 2.4192402179323835e-06, 2.8469708013290074e-06, 3.2747011573519558e-06, 3.702431513374904e-06, 4.1301618693978526e-06, 4.557892680168152e-06, 4.9856230361911e-06, 5.413353392214049e-06, 5.841084202984348e-06, 6.268814559007296e-06, 6.696544915030245e-06, 7.124275271053193e-06, 7.5520056270761415e-06, 7.97973643784644e-06, 8.40746724861674e-06, 8.835197149892338e-06, 9.262927960662637e-06, 9.690658771432936e-06, 1.0118388672708534e-05, 1.0546119483478833e-05, 1.097384938475443e-05, 1.140158019552473e-05, 1.1829310096800327e-05, 1.2257040907570627e-05, 1.2684771718340926e-05, 1.3112501619616523e-05, 1.3540232430386823e-05]}, "gradients/bert.encoder.layer.18.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 2.0, 6.0, 2.0, 3.0, 7.0, 9.0, 17.0, 24.0, 40.0, 46.0, 67.0, 101.0, 183.0, 361.0, 776.0, 1144.0, 603.0, 267.0, 157.0, 87.0, 52.0, 52.0, 26.0, 18.0, 14.0, 7.0, 5.0, 3.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.534479664172977e-06, -7.286131221917458e-06, -7.0377827796619385e-06, -6.789434337406419e-06, -6.5410858951509e-06, -6.2927374528953806e-06, -6.044389010639861e-06, -5.796040568384342e-06, -5.5476921261288226e-06, -5.299343683873303e-06, -5.050995241617784e-06, -4.8026467993622646e-06, -4.554298357106745e-06, -4.305949914851226e-06, -4.057601472595707e-06, -3.8092530303401873e-06, -3.560904588084668e-06, -3.3125561458291486e-06, -3.0642077035736293e-06, -2.81585926131811e-06, -2.5675108190625906e-06, -2.3191623768070713e-06, -2.070813934551552e-06, -1.8224654922960326e-06, -1.5741170500405133e-06, -1.325768607784994e-06, -1.0774201655294746e-06, -8.290717232739553e-07, -5.80723281018436e-07, -3.323748387629166e-07, -8.40263965073973e-08, 1.6432204574812204e-07, 4.126695785089396e-07, 6.610180207644589e-07, 9.093664630199783e-07, 1.1577149052754976e-06, 1.406063347531017e-06, 1.6544117897865362e-06, 1.9027602320420556e-06, 2.151108674297575e-06, 2.3994571165530942e-06, 2.6478055588086136e-06, 2.896154001064133e-06, 3.1445024433196522e-06, 3.3928508855751716e-06, 3.641199327830691e-06, 3.88954777008621e-06, 4.1378962123417296e-06, 4.386244654597249e-06, 4.634593096852768e-06, 4.8829415391082875e-06, 5.131289981363807e-06, 5.379638423619326e-06, 5.6279868658748455e-06, 5.876335308130365e-06, 6.124683750385884e-06, 6.3730321926414035e-06, 6.621380634896923e-06, 6.869729077152442e-06, 7.1180775194079615e-06, 7.366425961663481e-06, 7.614774403919e-06, 7.86312284617452e-06, 8.111471288430039e-06, 8.359819730685558e-06]}, "gradients/bert.encoder.layer.18.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 0.0, 5.0, 3.0, 2.0, 4.0, 6.0, 8.0, 12.0, 13.0, 18.0, 16.0, 27.0, 53.0, 46.0, 86.0, 115.0, 182.0, 386.0, 2634.0, 1468438.0, 2718248.0, 3052.0, 384.0, 196.0, 104.0, 60.0, 46.0, 43.0, 29.0, 21.0, 11.0, 12.0, 6.0, 2.0, 7.0, 6.0, 2.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00014178974379319698, -0.0001374953571939841, -0.0001332009705947712, -0.0001289065694436431, -0.0001246121828444302, -0.00012031779624521732, -0.00011602340964600444, -0.00011172902304679155, -0.00010743462917162105, -0.00010314024257240817, -9.884584869723767e-05, -9.455146209802479e-05, -9.02570754988119e-05, -8.59626816236414e-05, -8.166829502442852e-05, -7.737390114925802e-05, -7.307951455004513e-05, -6.878512795083225e-05, -6.449073407566175e-05, -6.0196347476448864e-05, -5.590195723925717e-05, -5.160756700206548e-05, -4.7313180402852595e-05, -4.30187901656609e-05, -3.872439992846921e-05, -3.443000969127752e-05, -3.013562127307523e-05, -2.5841232854872942e-05, -2.154684261768125e-05, -1.7252452380489558e-05, -1.295806396228727e-05, -8.663675544084981e-06, -4.369285306893289e-06, -7.489597919629887e-08, 4.219493348500691e-06, 8.513882676197682e-06, 1.2808272003894672e-05, 1.7102662241086364e-05, 2.1397050659288652e-05, 2.569143907749094e-05, 2.9985829314682633e-05, 3.4280219551874325e-05, 3.857460978906602e-05, 4.28689963882789e-05, 4.7163386625470594e-05, 5.1457776862662286e-05, 5.575216346187517e-05, 6.004655369906686e-05, 6.434094393625855e-05, 6.863533053547144e-05, 7.292972441064194e-05, 7.722411100985482e-05, 8.151850488502532e-05, 8.581289148423821e-05, 9.010727808345109e-05, 9.440166468266398e-05, 9.869605855783448e-05, 0.00010299044515704736, 0.00010728483903221786, 0.00011157922563143075, 0.00011587361223064363, 0.00012016800610581413, 0.00012446239998098463, 0.0001287567865801975, 0.0001330511731794104]}, "gradients/bert.encoder.layer.18.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 3.0, 3.0, 6.0, 6.0, 14.0, 26.0, 38.0, 93.0, 131.0, 188.0, 189.0, 142.0, 82.0, 47.0, 26.0, 10.0, 7.0, 3.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.953072907985188e-05, -2.865575152100064e-05, -2.7780772143159993e-05, -2.690579458430875e-05, -2.6030815206468105e-05, -2.5155837647616863e-05, -2.428086008876562e-05, -2.340588252991438e-05, -2.2530903152073734e-05, -2.165592559322249e-05, -2.0780946215381846e-05, -1.9905968656530604e-05, -1.9030991097679362e-05, -1.8156011719838716e-05, -1.7281034160987474e-05, -1.640605478314683e-05, -1.5531077224295586e-05, -1.4656098755949643e-05, -1.3781120287603699e-05, -1.2906142728752457e-05, -1.2031164260406513e-05, -1.1156185792060569e-05, -1.0281208233209327e-05, -9.406229764863383e-06, -8.53125129651744e-06, -7.656272828171495e-06, -6.781294814572902e-06, -5.9063168009743094e-06, -5.031338332628366e-06, -4.156359864282422e-06, -3.281381850683829e-06, -2.406403837085236e-06, -1.5314235497498885e-06, -6.564453087776201e-07, 2.185329321946483e-07, 1.0935111731669167e-06, 1.968489414139185e-06, 2.843467882485129e-06, 3.718445896083722e-06, 4.593423909682315e-06, 5.468402378028259e-06, 6.3433808463742025e-06, 7.2183588599727955e-06, 8.093336873571388e-06, 8.968315341917332e-06, 9.843293810263276e-06, 1.0718271369114518e-05, 1.1593249837460462e-05, 1.2468228305806406e-05, 1.334320677415235e-05, 1.4218185242498294e-05, 1.5093162801349536e-05, 1.5968140360200778e-05, 1.6843119738041423e-05, 1.7718097296892665e-05, 1.859307667473331e-05, 1.9468054233584553e-05, 2.0343031792435795e-05, 2.121801117027644e-05, 2.2092988729127683e-05, 2.296796810696833e-05, 2.384294566581957e-05, 2.4717923224670812e-05, 2.5592900783522055e-05, 2.64678801613627e-05]}, "gradients/bert.encoder.layer.18.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 5.0, 2.0, 7.0, 6.0, 5.0, 2.0, 8.0, 5.0, 8.0, 7.0, 8.0, 21.0, 16.0, 16.0, 20.0, 20.0, 25.0, 29.0, 25.0, 27.0, 34.0, 37.0, 30.0, 36.0, 29.0, 37.0, 39.0, 35.0, 41.0, 31.0, 37.0, 27.0, 39.0, 38.0, 27.0, 29.0, 24.0, 26.0, 17.0, 17.0, 13.0, 14.0, 22.0, 18.0, 16.0, 14.0, 9.0, 6.0, 3.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0], "bins": [-9.429436431673821e-06, -9.15833061299054e-06, -8.887224794307258e-06, -8.616118975623976e-06, -8.345013156940695e-06, -8.073907338257413e-06, -7.802801519574132e-06, -7.53169570089085e-06, -7.260589882207569e-06, -6.989484063524287e-06, -6.718378244841006e-06, -6.447272426157724e-06, -6.1761666074744426e-06, -5.905060788791161e-06, -5.6339549701078795e-06, -5.362849151424598e-06, -5.091743332741316e-06, -4.820637514058035e-06, -4.549531695374753e-06, -4.278425876691472e-06, -4.00732005800819e-06, -3.7362142393249087e-06, -3.465108420641627e-06, -3.1940026019583456e-06, -2.922896783275064e-06, -2.6517909645917825e-06, -2.380685145908501e-06, -2.1095793272252195e-06, -1.838473508541938e-06, -1.5673676898586564e-06, -1.2962618711753748e-06, -1.0251560524920933e-06, -7.5404932431411e-07, -4.829435056308284e-07, -2.118376869475469e-07, 5.926813173573464e-08, 3.303739504190162e-07, 6.014797691022977e-07, 8.725855877855793e-07, 1.1436914064688608e-06, 1.4147972251521423e-06, 1.6859030438354239e-06, 1.9570088625187054e-06, 2.228114681201987e-06, 2.4992204998852685e-06, 2.77032631856855e-06, 3.0414321372518316e-06, 3.312537955935113e-06, 3.5836437746183947e-06, 3.854749593301676e-06, 4.125855411984958e-06, 4.396961230668239e-06, 4.668067049351521e-06, 4.939172868034802e-06, 5.210278686718084e-06, 5.4813845054013655e-06, 5.752490324084647e-06, 6.0235961427679285e-06, 6.29470196145121e-06, 6.565807780134492e-06, 6.836913598817773e-06, 7.108019417501055e-06, 7.379125236184336e-06, 7.650231054867618e-06, 7.9213368735509e-06]}, "gradients/bert.encoder.layer.18.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0, 4.0, 5.0, 6.0, 7.0, 6.0, 4.0, 7.0, 8.0, 16.0, 19.0, 27.0, 28.0, 32.0, 38.0, 45.0, 46.0, 52.0, 51.0, 49.0, 68.0, 54.0, 52.0, 64.0, 50.0, 48.0, 45.0, 26.0, 26.0, 29.0, 24.0, 23.0, 15.0, 12.0, 14.0, 6.0, 2.0, 0.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1723513125616591e-05, -1.1353262379998341e-05, -1.0983012543874793e-05, -1.0612762707751244e-05, -1.0242511962132994e-05, -9.872261216514744e-06, -9.502011380391195e-06, -9.131761544267647e-06, -8.761510798649397e-06, -8.391260053031147e-06, -8.021010216907598e-06, -7.65076038078405e-06, -7.280509635165799e-06, -6.9102593442949e-06, -6.540009053424001e-06, -6.169758762553101e-06, -5.799508471682202e-06, -5.429258180811303e-06, -5.059007889940403e-06, -4.688757599069504e-06, -4.318507308198605e-06, -3.948257017327705e-06, -3.578006726456806e-06, -3.2077564355859067e-06, -2.8375061447150074e-06, -2.467255853844108e-06, -2.0970055629732087e-06, -1.7267552721023094e-06, -1.35650498123141e-06, -9.862546903605107e-07, -6.160043994896114e-07, -2.4575410861871205e-07, 1.244952727574855e-07, 4.947455636283848e-07, 8.649958544992842e-07, 1.2352461453701835e-06, 1.6054964362410828e-06, 1.975746727111982e-06, 2.3459970179828815e-06, 2.716247308853781e-06, 3.08649759972468e-06, 3.4567478905955795e-06, 3.826998181466479e-06, 4.197248472337378e-06, 4.5674987632082775e-06, 4.937749054079177e-06, 5.307999344950076e-06, 5.6782496358209755e-06, 6.048499926691875e-06, 6.418750217562774e-06, 6.7890005084336735e-06, 7.159250799304573e-06, 7.529501090175472e-06, 7.89975092629902e-06, 8.270001671917271e-06, 8.640252417535521e-06, 9.01050225365907e-06, 9.380752089782618e-06, 9.751002835400868e-06, 1.0121253581019118e-05, 1.0491503417142667e-05, 1.0861753253266215e-05, 1.1232003998884466e-05, 1.1602254744502716e-05, 1.1972504580626264e-05]}, "gradients/bert.encoder.layer.18.attention.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 1.0, 2.0, 6.0, 7.0, 17.0, 9.0, 23.0, 23.0, 38.0, 68.0, 123.0, 153.0, 218.0, 355.0, 687.0, 1225.0, 2447.0, 5176.0, 12409.0, 32165.0, 93505.0, 289398.0, 389676.0, 142796.0, 46746.0, 17205.0, 7202.0, 3229.0, 1589.0, 834.0, 472.0, 268.0, 185.0, 94.0, 70.0, 37.0, 30.0, 26.0, 16.0, 13.0, 4.0, 6.0, 1.0, 4.0, 3.0, 3.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.0617615518858656e-05, -1.999628329940606e-05, -1.937494926096406e-05, -1.875361704151146e-05, -1.813228300306946e-05, -1.7510950783616863e-05, -1.6889616745174862e-05, -1.6268284525722265e-05, -1.5646950487280264e-05, -1.5025617358332966e-05, -1.4404284229385667e-05, -1.3782951100438368e-05, -1.3161617971491069e-05, -1.2540285752038471e-05, -1.1918952623091172e-05, -1.1297619494143873e-05, -1.0676287274691276e-05, -1.0054954145743977e-05, -9.433621016796678e-06, -8.81228788784938e-06, -8.19095475890208e-06, -7.569622084702132e-06, -6.948289410502184e-06, -6.326956281554885e-06, -5.705623152607586e-06, -5.084290023660287e-06, -4.462956894712988e-06, -3.84162422051304e-06, -3.2202910915657412e-06, -2.5989579626184423e-06, -1.9776250610448187e-06, -1.3562921594711952e-06, -7.349572115344927e-07, -1.1362419627403142e-07, 5.077088189864298e-07, 1.129041834246891e-06, 1.7503748495073523e-06, 2.3717079784546513e-06, 2.993040880028275e-06, 3.6143737816018984e-06, 4.235706910549197e-06, 4.857040039496496e-06, 5.478373168443795e-06, 6.099705842643743e-06, 6.721038971591042e-06, 7.342372100538341e-06, 7.96370477473829e-06, 8.585037903685588e-06, 9.206371032632887e-06, 9.827704161580186e-06, 1.0449037290527485e-05, 1.1070370419474784e-05, 1.1691703548422083e-05, 1.231303576787468e-05, 1.293436889682198e-05, 1.3555702025769278e-05, 1.4177035154716577e-05, 1.4798368283663876e-05, 1.5419700503116474e-05, 1.6041034541558474e-05, 1.666236676101107e-05, 1.7283700799453072e-05, 1.790503301890567e-05, 1.852636705734767e-05, 1.9147699276800267e-05]}, "gradients/bert.encoder.layer.18.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 2.0, 4.0, 3.0, 4.0, 10.0, 8.0, 5.0, 11.0, 13.0, 15.0, 16.0, 21.0, 32.0, 49.0, 47.0, 34.0, 51.0, 48.0, 49.0, 48.0, 62.0, 53.0, 46.0, 43.0, 44.0, 48.0, 41.0, 40.0, 36.0, 20.0, 27.0, 28.0, 14.0, 10.0, 6.0, 8.0, 10.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.1804821951955091e-05, -1.1496196748339571e-05, -1.1187571544724051e-05, -1.0878947250603233e-05, -1.0570322046987712e-05, -1.0261696843372192e-05, -9.953071639756672e-06, -9.644446436141152e-06, -9.335821232525632e-06, -9.027196028910112e-06, -8.718570825294591e-06, -8.409946531173773e-06, -8.101321327558253e-06, -7.792696123942733e-06, -7.484070920327213e-06, -7.1754457167116925e-06, -6.866821422590874e-06, -6.558196218975354e-06, -6.249571470107185e-06, -5.9409462664916646e-06, -5.632321517623495e-06, -5.323696314007975e-06, -5.015071110392455e-06, -4.706445906776935e-06, -4.397821157908766e-06, -4.0891959542932454e-06, -3.780571205425076e-06, -3.471946001809556e-06, -3.1633210255677113e-06, -2.8546960493258666e-06, -2.5460708457103465e-06, -2.2374458694685018e-06, -1.928821802721359e-06, -1.6201968264795141e-06, -1.3115717365508317e-06, -1.0029466466221493e-06, -6.943216703803046e-07, -3.8569669413845986e-07, -7.707160420977743e-08, 2.31553485718905e-07, 5.401784619607497e-07, 8.488034950460133e-07, 1.1574285281312768e-06, 1.4660536180599593e-06, 1.774678594301804e-06, 2.0833035705436487e-06, 2.391928774159169e-06, 2.7005537504010135e-06, 3.0091787266428582e-06, 3.317803702884703e-06, 3.6264286791265476e-06, 3.935053882742068e-06, 4.243678631610237e-06, 4.552303835225757e-06, 4.860929038841277e-06, 5.1695542424567975e-06, 5.478178991324967e-06, 5.786804194940487e-06, 6.095428943808656e-06, 6.404054147424176e-06, 6.7126793510396965e-06, 7.021304099907866e-06, 7.329929303523386e-06, 7.638554052391555e-06, 7.947179256007075e-06]}, "gradients/bert.encoder.layer.18.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 1.0, 3.0, 5.0, 8.0, 6.0, 8.0, 12.0, 19.0, 35.0, 33.0, 50.0, 62.0, 64.0, 90.0, 113.0, 149.0, 221.0, 1261.0, 765922.0, 278900.0, 717.0, 232.0, 152.0, 125.0, 79.0, 80.0, 56.0, 35.0, 28.0, 28.0, 24.0, 17.0, 10.0, 3.0, 5.0, 9.0, 3.0, 0.0, 2.0, 0.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.00015860257553867996, -0.0001545276609249413, -0.00015045276086311787, -0.00014637784624937922, -0.0001423029461875558, -0.00013822803157381713, -0.00013415311696007848, -0.00013007821689825505, -0.0001260033022845164, -0.00012192839494673535, -0.00011785348760895431, -0.00011377857299521565, -0.00010970366565743461, -0.00010562875831965357, -0.00010155385098187253, -9.747894364409149e-05, -9.340403630631045e-05, -8.93291289685294e-05, -8.525422163074836e-05, -8.117931429296732e-05, -7.710439967922866e-05, -7.302949234144762e-05, -6.895458500366658e-05, -6.487967766588554e-05, -6.080476669012569e-05, -5.672985935234465e-05, -5.26549483765848e-05, -4.8580041038803756e-05, -4.4505133701022714e-05, -4.0430222725262865e-05, -3.6355315387481824e-05, -3.2280404411721975e-05, -2.8205504349898547e-05, -2.41305951931281e-05, -2.0055686036357656e-05, -1.5980778698576614e-05, -1.1905869541806169e-05, -7.830960385035723e-06, -3.7560530472546816e-06, 3.188561095157638e-07, 4.393765266286209e-06, 8.468674423056655e-06, 1.2543582670332398e-05, 1.6618490917608142e-05, 2.0693400074378587e-05, 2.4768309231149033e-05, 2.8843216568930075e-05, 3.2918127544689924e-05, 3.6993034882470965e-05, 4.106794222025201e-05, 4.5142853196011856e-05, 4.92177605337929e-05, 5.329267150955275e-05, 5.736757884733379e-05, 6.144248618511483e-05, 6.551739352289587e-05, 6.959230813663453e-05, 7.366721547441557e-05, 7.774212281219661e-05, 8.181703742593527e-05, 8.589194476371631e-05, 8.996685210149735e-05, 9.40417594392784e-05, 9.811666677705944e-05, 0.00010219157411484048]}, "gradients/bert.encoder.layer.18.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 0.0, 2.0, 7.0, 2.0, 14.0, 9.0, 5.0, 18.0, 9.0, 26.0, 28.0, 36.0, 38.0, 72.0, 55.0, 94.0, 125.0, 64.0, 81.0, 44.0, 72.0, 63.0, 23.0, 38.0, 16.0, 12.0, 14.0, 10.0, 3.0, 12.0, 8.0, 2.0, 4.0, 3.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0], "bins": [-6.536993168992922e-13, -6.354916592954396e-13, -6.17284001691587e-13, -5.990763440877345e-13, -5.808686864838819e-13, -5.626610288800293e-13, -5.444533712761768e-13, -5.262457136723242e-13, -5.080380560684716e-13, -4.898303984646191e-13, -4.716227408607665e-13, -4.5341508325691393e-13, -4.3520742565306136e-13, -4.169997680492088e-13, -3.9879211044535623e-13, -3.8058445284150366e-13, -3.623767952376511e-13, -3.4416913763379853e-13, -3.2596148002994596e-13, -3.077538224260934e-13, -2.8954616482224083e-13, -2.7133850721838826e-13, -2.531308496145357e-13, -2.349231920106831e-13, -2.1671553440683056e-13, -1.98507876802978e-13, -1.8030021919912542e-13, -1.6209256159527285e-13, -1.438849039914203e-13, -1.2567724638756772e-13, -1.0746958878371515e-13, -8.926193117986259e-14, -7.105427357601002e-14, -5.284661597215745e-14, -3.4638958368304884e-14, -1.6431300764452317e-14, 1.7763568394002505e-15, 1.9984014443252818e-14, 3.8191672047105385e-14, 5.639932965095795e-14, 7.460698725481052e-14, 9.281464485866309e-14, 1.1102230246251565e-13, 1.2922996006636822e-13, 1.474376176702208e-13, 1.6564527527407336e-13, 1.8385293287792592e-13, 2.020605904817785e-13, 2.2026824808563106e-13, 2.384759056894836e-13, 2.566835632933362e-13, 2.7489122089718876e-13, 2.9309887850104133e-13, 3.113065361048939e-13, 3.2951419370874646e-13, 3.4772185131259903e-13, 3.659295089164516e-13, 3.8413716652030416e-13, 4.0234482412415673e-13, 4.205524817280093e-13, 4.3876013933186186e-13, 4.569677969357144e-13, 4.75175454539567e-13, 4.933831121434196e-13, 5.115907697472721e-13]}, "gradients/bert.encoder.layer.18.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 4.0, 3.0, 2.0, 5.0, 9.0, 5.0, 4.0, 13.0, 21.0, 34.0, 51.0, 84.0, 271.0, 3198.0, 393259.0, 646678.0, 4374.0, 325.0, 92.0, 41.0, 30.0, 15.0, 16.0, 9.0, 8.0, 2.0, 4.0, 4.0, 2.0, 4.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0], "bins": [-5.876905925106257e-05, -5.7182598538929597e-05, -5.559613782679662e-05, -5.400967347668484e-05, -5.242321276455186e-05, -5.083675205241889e-05, -4.925029134028591e-05, -4.766383062815294e-05, -4.6077366278041154e-05, -4.449090556590818e-05, -4.29044448537752e-05, -4.131798050366342e-05, -3.9731519791530445e-05, -3.814505907939747e-05, -3.6558598367264494e-05, -3.497213765513152e-05, -3.338567694299854e-05, -3.179921623086557e-05, -3.021275369974319e-05, -2.8626292987610213e-05, -2.7039830456487834e-05, -2.545336974435486e-05, -2.3866909032221884e-05, -2.2280448320088908e-05, -2.069398578896653e-05, -1.9107525076833554e-05, -1.7521062545711175e-05, -1.59346018335782e-05, -1.4348140211950522e-05, -1.2761678590322845e-05, -1.117521787818987e-05, -9.588756256562192e-06, -8.002294634934515e-06, -6.4158330133068375e-06, -4.829371846426511e-06, -3.242910679546185e-06, -1.6564490579185076e-06, -6.998743629083037e-08, 1.516473275842145e-06, 3.1029348974698223e-06, 4.6893965190974995e-06, 6.275858140725177e-06, 7.862319762352854e-06, 9.44878047448583e-06, 1.1035242096113507e-05, 1.2621703717741184e-05, 1.420816442987416e-05, 1.579462696099654e-05, 1.7381087673129514e-05, 1.896754838526249e-05, 2.055401091638487e-05, 2.2140471628517844e-05, 2.3726934159640223e-05, 2.5313394871773198e-05, 2.6899855583906174e-05, 2.848631629603915e-05, 3.0072778827161528e-05, 3.165924135828391e-05, 3.324570207041688e-05, 3.483216278254986e-05, 3.6418623494682834e-05, 3.800508420681581e-05, 3.959154855692759e-05, 4.117800926906057e-05, 4.276446998119354e-05]}, "gradients/bert.encoder.layer.18.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 3.0, 0.0, 0.0, 0.0, 6.0, 4.0, 9.0, 3.0, 15.0, 12.0, 22.0, 26.0, 45.0, 54.0, 89.0, 147.0, 153.0, 131.0, 97.0, 61.0, 45.0, 32.0, 23.0, 12.0, 7.0, 3.0, 9.0, 3.0, 2.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.113568815635517e-06, -5.959577720204834e-06, -5.8055861700268e-06, -5.651595074596116e-06, -5.497603979165433e-06, -5.34361288373475e-06, -5.189621333556715e-06, -5.035630238126032e-06, -4.881639142695349e-06, -4.727648047264665e-06, -4.573656497086631e-06, -4.419665401655948e-06, -4.2656743062252644e-06, -4.111683210794581e-06, -3.957691660616547e-06, -3.8037005651858635e-06, -3.6497092423815047e-06, -3.495717919577146e-06, -3.3417268241464626e-06, -3.187735501342104e-06, -3.0337444059114205e-06, -2.8797530831070617e-06, -2.7257619876763783e-06, -2.5717706648720196e-06, -2.4177793420676608e-06, -2.263788019263302e-06, -2.1097969238326186e-06, -1.95580560102826e-06, -1.8018145055975765e-06, -1.6478231827932177e-06, -1.4938319736756966e-06, -1.3398407645581756e-06, -1.1858498965011677e-06, -1.0318586873836466e-06, -8.778674782661255e-07, -7.238762123051856e-07, -5.698850031876646e-07, -4.158937940701435e-07, -2.6190252810920356e-07, -1.0791131899168249e-07, 4.6079890125838574e-08, 2.0007111345421436e-07, 3.5406233678259014e-07, 5.080535743218206e-07, 6.620447834393417e-07, 8.160359925568628e-07, 9.700272585178027e-07, 1.1240184676353238e-06, 1.2780096767528448e-06, 1.4320008858703659e-06, 1.585992094987887e-06, 1.7399834177922457e-06, 1.893974513222929e-06, 2.047965836027288e-06, 2.2019571588316467e-06, 2.35594825426233e-06, 2.5099393496930134e-06, 2.663930672497372e-06, 2.8179217679280555e-06, 2.9719130907324143e-06, 3.1259041861630976e-06, 3.2798955089674564e-06, 3.433886831771815e-06, 3.5878779272024985e-06, 3.7418692500068573e-06]}, "gradients/bert.encoder.layer.18.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 3.0, 4.0, 7.0, 6.0, 10.0, 7.0, 23.0, 25.0, 68.0, 152.0, 553.0, 6570.0, 838446.0, 199195.0, 2864.0, 373.0, 110.0, 52.0, 33.0, 15.0, 17.0, 6.0, 7.0, 4.0, 8.0, 4.0, 0.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.309817450121045e-05, -4.136461575399153e-05, -3.963105700677261e-05, -3.789749462157488e-05, -3.616393587435596e-05, -3.4430377127137035e-05, -3.269681837991811e-05, -3.096325963269919e-05, -2.922970088548027e-05, -2.7496142138261348e-05, -2.5762581572053023e-05, -2.40290228248341e-05, -2.229546407761518e-05, -2.0561903511406854e-05, -1.8828344764187932e-05, -1.709478601696901e-05, -1.5361225450760685e-05, -1.3627665794047061e-05, -1.189410704682814e-05, -1.0160547390114516e-05, -8.426988642895594e-06, -6.693428986181971e-06, -4.959869329468347e-06, -3.2263105822494254e-06, -1.4927509255358018e-06, 2.408083901173086e-07, 1.974367705770419e-06, 3.707927135110367e-06, 5.44148633707664e-06, 7.1750455390429124e-06, 8.908605195756536e-06, 1.0642163942975458e-05, 1.2375723599689081e-05, 1.4109283256402705e-05, 1.584284291311633e-05, 1.757640166033525e-05, 1.9309960407554172e-05, 2.1043520973762497e-05, 2.277707972098142e-05, 2.451063846820034e-05, 2.6244197215419263e-05, 2.7977755962638184e-05, 2.971131652884651e-05, 3.1444877095054835e-05, 3.317843584227376e-05, 3.491199458949268e-05, 3.66455533367116e-05, 3.837911208393052e-05, 4.011267446912825e-05, 4.184623321634717e-05, 4.3579791963566095e-05, 4.5313354348763824e-05, 4.7046913095982745e-05, 4.878047184320167e-05, 5.051403059042059e-05, 5.224758933763951e-05, 5.398114808485843e-05, 5.5714706832077354e-05, 5.7448265579296276e-05, 5.91818243265152e-05, 6.091538671171293e-05, 6.264894182095304e-05, 6.438250420615077e-05, 6.611605931539088e-05, 6.784962170058861e-05]}, "gradients/bert.encoder.layer.17.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 8.0, 61.0, 447.0, 443.0, 53.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.436260885791853e-05, -3.0913855880498886e-05, -2.7465101084089838e-05, -2.401634628768079e-05, -2.0567593310261145e-05, -1.71188403328415e-05, -1.3670085536432452e-05, -1.0221330740023404e-05, -6.77257776260376e-06, -3.3238238756894134e-06, 1.2493001122493297e-07, 3.5736838981392793e-06, 7.022437785053626e-06, 1.047119076247327e-05, 1.3919945558882318e-05, 1.7368700355291367e-05, 2.081745333271101e-05, 2.4266206310130656e-05, 2.7714961106539704e-05, 3.116371590294875e-05, 3.46124688803684e-05, 3.806122185778804e-05, 4.150997847318649e-05, 4.495873145060614e-05, 4.840748442802578e-05, 5.185623740544543e-05, 5.530499038286507e-05, 5.875374699826352e-05, 6.220249633770436e-05, 6.565125659108162e-05, 6.910000956850126e-05, 7.254876254592091e-05, 7.599752279929817e-05, 7.944627577671781e-05, 8.289502875413746e-05, 8.63437817315571e-05, 8.979253470897675e-05, 9.3241294962354e-05, 9.669004793977365e-05, 0.0001001388009171933, 0.00010358755389461294, 0.00010703630687203258, 0.00011048505984945223, 0.00011393381282687187, 0.00011738257308024913, 0.00012083131878171116, 0.00012428007903508842, 0.00012772882473655045, 0.0001311775849899277, 0.00013462634524330497, 0.000138075090944767, 0.00014152385119814426, 0.0001449725968996063, 0.00014842135715298355, 0.00015187010285444558, 0.00015531886310782284, 0.0001587676233612001, 0.00016221638361457735, 0.00016566512931603938, 0.00016911388956941664, 0.00017256263527087867, 0.00017601139552425593, 0.00017946014122571796, 0.00018290890147909522, 0.00018635764718055725]}, "gradients/bert.encoder.layer.17.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 4.0, 0.0, 0.0, 3.0, 0.0, 1.0, 3.0, 4.0, 10.0, 6.0, 7.0, 12.0, 8.0, 11.0, 14.0, 17.0, 20.0, 29.0, 27.0, 29.0, 31.0, 36.0, 40.0, 38.0, 42.0, 31.0, 37.0, 46.0, 40.0, 38.0, 33.0, 45.0, 41.0, 38.0, 35.0, 37.0, 25.0, 32.0, 24.0, 25.0, 26.0, 20.0, 8.0, 6.0, 12.0, 6.0, 13.0, 3.0, 0.0, 3.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3601124010165222e-05, -1.315100962528959e-05, -1.2700894330919255e-05, -1.2250779946043622e-05, -1.1800664651673287e-05, -1.1350550266797654e-05, -1.0900435881922022e-05, -1.0450320587551687e-05, -1.0000205293181352e-05, -9.55009090830572e-06, -9.099975613935385e-06, -8.649861229059752e-06, -8.199745934689417e-06, -7.749631549813785e-06, -7.299516710190801e-06, -6.849401870567817e-06, -6.399287485692184e-06, -5.949172646069201e-06, -5.499057806446217e-06, -5.048943421570584e-06, -4.59882812720025e-06, -4.148713742324617e-06, -3.698598902701633e-06, -3.2484840630786493e-06, -2.7983692234556656e-06, -2.348254383832682e-06, -1.898139657896536e-06, -1.44802493196039e-06, -9.979100923374062e-07, -5.477952527144225e-07, -9.768064046511427e-08, 3.5243419915786944e-07, 8.025490387808532e-07, 1.2526638784038369e-06, 1.7027786043399828e-06, 2.152893330276129e-06, 2.6030081698991125e-06, 3.0531230095220963e-06, 3.5032376217714045e-06, 3.953352461394388e-06, 4.403467301017372e-06, 4.853582140640356e-06, 5.303696980263339e-06, 5.753811819886323e-06, 6.203926204761956e-06, 6.6540414991322905e-06, 7.104155884007923e-06, 7.554270723630907e-06, 8.00438556325389e-06, 8.454499948129524e-06, 8.904615242499858e-06, 9.354729627375491e-06, 9.804844921745826e-06, 1.0254959306621458e-05, 1.0705074600991793e-05, 1.1155188985867426e-05, 1.1605303370743059e-05, 1.2055417755618691e-05, 1.2505533049989026e-05, 1.2955647434864659e-05, 1.3405762729234993e-05, 1.3855877114110626e-05, 1.4305991498986259e-05, 1.4756106793356594e-05, 1.5206222087726928e-05]}, "gradients/bert.encoder.layer.17.output.dense.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 1.0, 0.0, 4.0, 0.0, 3.0, 6.0, 3.0, 7.0, 6.0, 7.0, 5.0, 4.0, 17.0, 19.0, 16.0, 20.0, 36.0, 15.0, 33.0, 28.0, 32.0, 32.0, 41.0, 26.0, 42.0, 49.0, 43.0, 45.0, 38.0, 47.0, 39.0, 31.0, 27.0, 42.0, 46.0, 45.0, 25.0, 22.0, 17.0, 25.0, 20.0, 9.0, 9.0, 9.0, 4.0, 4.0, 4.0, 2.0, 2.0, 5.0, 0.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.95026948658051e-06, -9.629195119487122e-06, -9.308120752393734e-06, -8.987046385300346e-06, -8.66597292770166e-06, -8.344898560608272e-06, -8.023824193514884e-06, -7.702749826421496e-06, -7.3816754593281075e-06, -7.0606010922347195e-06, -6.7395267251413316e-06, -6.4184528127952944e-06, -6.0973784457019065e-06, -5.7763040786085185e-06, -5.455230166262481e-06, -5.134155799169093e-06, -4.813081432075705e-06, -4.492007064982317e-06, -4.170932697888929e-06, -3.849858785542892e-06, -3.5287844184495043e-06, -3.2077100513561163e-06, -2.8866359116364038e-06, -2.5655617719166912e-06, -2.2444874048233032e-06, -1.9234130377299152e-06, -1.6023388980102027e-06, -1.2812646446036524e-06, -9.601903911971021e-07, -6.391161377905519e-07, -3.180418843840016e-07, 3.0322553357109427e-09, 3.2410571293439716e-07, 6.451799663409474e-07, 9.662542197474977e-07, 1.287328473154048e-06, 1.6084027265605982e-06, 1.9294770936539862e-06, 2.2505512333736988e-06, 2.5716253730934113e-06, 2.8926997401867993e-06, 3.2137741072801873e-06, 3.5348482469999e-06, 3.855922386719612e-06, 4.176996753813e-06, 4.498071120906388e-06, 4.8191450332524255e-06, 5.1402194003458135e-06, 5.4612937674392015e-06, 5.7823681345325895e-06, 6.1034425016259775e-06, 6.4245164139720146e-06, 6.7455907810654026e-06, 7.0666651481587905e-06, 7.387739060504828e-06, 7.708813427598216e-06, 8.029887794691604e-06, 8.350962161784992e-06, 8.67203652887838e-06, 8.993110895971768e-06, 9.314184353570454e-06, 9.635258720663842e-06, 9.95633308775723e-06, 1.0277407454850618e-05, 1.0598481821944006e-05]}, "gradients/bert.encoder.layer.17.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 4.0, 3.0, 1.0, 3.0, 7.0, 9.0, 7.0, 11.0, 10.0, 8.0, 20.0, 14.0, 45.0, 57.0, 85.0, 134.0, 193.0, 308.0, 541.0, 1196.0, 2563.0, 6059.0, 17140.0, 64546.0, 809706.0, 2993702.0, 242252.0, 37011.0, 11251.0, 4042.0, 1672.0, 759.0, 346.0, 206.0, 115.0, 71.0, 56.0, 35.0, 28.0, 20.0, 17.0, 16.0, 7.0, 4.0, 3.0, 3.0, 2.0, 3.0, 4.0, 1.0, 0.0, 1.0, 2.0], "bins": [-2.7834817956318147e-05, -2.706806299102027e-05, -2.6301308025722392e-05, -2.5534553060424514e-05, -2.4767796276137233e-05, -2.4001041310839355e-05, -2.3234286345541477e-05, -2.24675313802436e-05, -2.170077641494572e-05, -2.0934021449647844e-05, -2.0167266484349966e-05, -1.9400511519052088e-05, -1.863375655375421e-05, -1.7867001588456333e-05, -1.710024480416905e-05, -1.6333489838871174e-05, -1.5566734873573296e-05, -1.4799979908275418e-05, -1.403322494297754e-05, -1.326646906818496e-05, -1.2499714102887083e-05, -1.1732959137589205e-05, -1.0966203262796625e-05, -1.0199448297498748e-05, -9.43269333220087e-06, -8.665938366902992e-06, -7.899183401605114e-06, -7.132427526812535e-06, -6.365672561514657e-06, -5.598917596216779e-06, -4.8321621761715505e-06, -4.065406756126322e-06, -3.2986536098178476e-06, -2.5318984171462944e-06, -1.7651432244747411e-06, -9.98388031803188e-07, -2.3163283913163468e-07, 5.351221261662431e-07, 1.3018775462114718e-06, 2.0686329662567005e-06, 2.8353879315545782e-06, 3.6021431242261315e-06, 4.368898316897685e-06, 5.135653736942913e-06, 5.902408702240791e-06, 6.669163667538669e-06, 7.435919087583898e-06, 8.202674507629126e-06, 8.969429472927004e-06, 9.736184438224882e-06, 1.050293940352276e-05, 1.126969527831534e-05, 1.2036450243613217e-05, 1.2803205208911095e-05, 1.3569961083703674e-05, 1.4336716049001552e-05, 1.510347101429943e-05, 1.5870225979597308e-05, 1.6636980944895186e-05, 1.7403735910193063e-05, 1.8170492694480345e-05, 1.8937247659778222e-05, 1.97040026250761e-05, 2.0470757590373978e-05, 2.1237512555671856e-05]}, "gradients/bert.encoder.layer.17.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 7.0, 8.0, 4.0, 12.0, 14.0, 18.0, 36.0, 52.0, 116.0, 203.0, 369.0, 938.0, 1152.0, 556.0, 246.0, 136.0, 77.0, 44.0, 24.0, 20.0, 17.0, 8.0, 3.0, 7.0, 6.0, 1.0, 2.0, 2.0, 2.0, 0.0, 3.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.025756869756151e-06, -7.707411896262784e-06, -7.389067377516767e-06, -7.0707228587707505e-06, -6.752377885277383e-06, -6.4340333665313665e-06, -6.11568884778535e-06, -5.7973438742919825e-06, -5.478999355545966e-06, -5.160654836799949e-06, -4.842309863306582e-06, -4.5239653445605654e-06, -4.205620825814549e-06, -3.8872758523211814e-06, -3.568931333575165e-06, -3.250586587455473e-06, -2.932241841335781e-06, -2.613897095216089e-06, -2.295552349096397e-06, -1.9772078303503804e-06, -1.6588630842306884e-06, -1.3405183381109964e-06, -1.0221738193649799e-06, -7.038290732452879e-07, -3.854843271255959e-07, -6.713963784932275e-08, 2.512050514269504e-07, 5.695496838598046e-07, 8.878944299794966e-07, 1.2062391760991886e-06, 1.5245836948452052e-06, 1.8429284409648972e-06, 2.161274096579291e-06, 2.479618842698983e-06, 2.797963588818675e-06, 3.1163081075646915e-06, 3.4346528536843834e-06, 3.7529975998040754e-06, 4.071342118550092e-06, 4.389687092043459e-06, 4.708031610789476e-06, 5.0263761295354925e-06, 5.34472110302886e-06, 5.6630656217748765e-06, 5.981410140520893e-06, 6.2997551140142605e-06, 6.618099632760277e-06, 6.9364441515062936e-06, 7.254789124999661e-06, 7.5731336437456775e-06, 7.891478162491694e-06, 8.209823135985062e-06, 8.528168109478429e-06, 8.846513082971796e-06, 9.164857146970462e-06, 9.48320212046383e-06, 9.801546184462495e-06, 1.0119891157955863e-05, 1.0438235221954528e-05, 1.0756580195447896e-05, 1.1074925168941263e-05, 1.1393269232939929e-05, 1.1711614206433296e-05, 1.2029959179926664e-05, 1.2348304153420031e-05]}, "gradients/bert.encoder.layer.17.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 1.0, 3.0, 3.0, 4.0, 4.0, 13.0, 10.0, 12.0, 17.0, 26.0, 26.0, 35.0, 71.0, 126.0, 199.0, 444.0, 3546.0, 3647516.0, 539106.0, 2241.0, 376.0, 195.0, 112.0, 61.0, 40.0, 22.0, 28.0, 11.0, 9.0, 5.0, 11.0, 8.0, 4.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-0.00018889509374275804, -0.00018404205911792815, -0.00017918900994118303, -0.00017433597531635314, -0.00016948292613960803, -0.00016462989151477814, -0.00015977684233803302, -0.00015492380771320313, -0.00015007075853645802, -0.00014521772391162813, -0.000140364674734883, -0.00013551164011005312, -0.000130658590933308, -0.00012580555630847812, -0.00012095251440769061, -0.00011609947250690311, -0.00011124643788207322, -0.00010639339598128572, -0.00010154035408049822, -9.668731217971072e-05, -9.183427027892321e-05, -8.698123565409333e-05, -8.212819375330582e-05, -7.727515185251832e-05, -7.242210995173082e-05, -6.756906805094332e-05, -6.271602615015581e-05, -5.786298788734712e-05, -5.3009945986559615e-05, -4.815690408577211e-05, -4.3303865822963417e-05, -3.8450823922175914e-05, -3.359776746947318e-05, -2.874472556868568e-05, -2.389168548688758e-05, -1.9038645405089483e-05, -1.418560350430198e-05, -9.332561603514478e-06, -4.479521521716379e-06, 3.7351856008172035e-07, 5.226560460869223e-06, 1.0079601452162024e-05, 1.4932642443454824e-05, 1.9785682525252923e-05, 2.4638724426040426e-05, 2.949176632682793e-05, 3.4344804589636624e-05, 3.9197846490424126e-05, 4.405088839121163e-05, 4.890393029199913e-05, 5.3756972192786634e-05, 5.861001045559533e-05, 6.346305599436164e-05, 6.831609061919153e-05, 7.316913251997903e-05, 7.802217442076653e-05, 8.287521632155403e-05, 8.772825822234154e-05, 9.258130012312904e-05, 9.743434202391654e-05, 0.00010228737664874643, 0.00010714042582549155, 0.00011199346045032144, 0.00011684650235110894, 0.00012169954425189644]}, "gradients/bert.encoder.layer.17.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 4.0, 8.0, 8.0, 12.0, 21.0, 25.0, 30.0, 35.0, 59.0, 78.0, 127.0, 102.0, 106.0, 98.0, 79.0, 60.0, 37.0, 42.0, 17.0, 18.0, 12.0, 8.0, 8.0, 4.0, 6.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3558012142311782e-05, -1.308360333496239e-05, -1.2609194527612999e-05, -1.2134785720263608e-05, -1.1660377822408918e-05, -1.1185969015059527e-05, -1.0711560207710136e-05, -1.0237151400360744e-05, -9.762743502506055e-06, -9.288334695156664e-06, -8.813925887807272e-06, -8.339517080457881e-06, -7.865109182603192e-06, -7.3907003752538e-06, -6.916291567904409e-06, -6.441882760555018e-06, -5.9674739532056265e-06, -5.493065145856235e-06, -5.018656793254195e-06, -4.5442479859048035e-06, -4.069839633302763e-06, -3.595430825953372e-06, -3.1210220186039805e-06, -2.6466134386282647e-06, -2.172204858652549e-06, -1.697796278676833e-06, -1.2233875850142795e-06, -7.489788913517259e-07, -2.7457031137601007e-07, 1.9983826859970577e-07, 6.74247075949097e-07, 1.1486556559248129e-06, 1.6230642359005287e-06, 2.0974728158762446e-06, 2.5718813958519604e-06, 3.0462902032013517e-06, 3.5206987831770675e-06, 3.995107363152783e-06, 4.469516170502175e-06, 4.943924977851566e-06, 5.418333330453606e-06, 5.892742137802998e-06, 6.367150490405038e-06, 6.841559297754429e-06, 7.3159681051038206e-06, 7.790376912453212e-06, 8.264785719802603e-06, 8.739193617657293e-06, 9.213602425006684e-06, 9.688011232356075e-06, 1.0162420039705466e-05, 1.0636827937560156e-05, 1.1111236744909547e-05, 1.1585645552258939e-05, 1.206005435960833e-05, 1.2534463166957721e-05, 1.3008871974307112e-05, 1.3483280781656504e-05, 1.3957689589005895e-05, 1.4432098396355286e-05, 1.4906506294209976e-05, 1.538091601105407e-05, 1.5855322999414057e-05, 1.6329731806763448e-05, 1.680414061411284e-05]}, "gradients/bert.encoder.layer.17.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 3.0, 4.0, 3.0, 2.0, 3.0, 2.0, 4.0, 4.0, 9.0, 6.0, 14.0, 13.0, 14.0, 26.0, 19.0, 20.0, 20.0, 31.0, 22.0, 33.0, 26.0, 38.0, 35.0, 33.0, 37.0, 31.0, 45.0, 56.0, 28.0, 41.0, 44.0, 48.0, 35.0, 30.0, 36.0, 28.0, 21.0, 27.0, 18.0, 21.0, 16.0, 15.0, 11.0, 13.0, 2.0, 4.0, 6.0, 3.0, 5.0, 3.0, 2.0, 3.0, 2.0, 0.0, 0.0, 2.0], "bins": [-1.1538357284734957e-05, -1.1205857845197897e-05, -1.087335931515554e-05, -1.054085987561848e-05, -1.0208361345576122e-05, -9.875861906039063e-06, -9.543363375996705e-06, -9.210863936459646e-06, -8.878365406417288e-06, -8.545865966880228e-06, -8.21336743683787e-06, -7.880867997300811e-06, -7.548369467258453e-06, -7.215870482468745e-06, -6.883371497679036e-06, -6.550872058141977e-06, -6.218373073352268e-06, -5.885874088562559e-06, -5.553375103772851e-06, -5.220876118983142e-06, -4.8883771341934334e-06, -4.555878149403725e-06, -4.223378709866665e-06, -3.8908801798243076e-06, -3.5583809676609235e-06, -3.225881982871215e-06, -2.8933829980815062e-06, -2.560883785918122e-06, -2.2283848011284135e-06, -1.8958859300255426e-06, -1.5633868315489963e-06, -1.2308878467592876e-06, -8.98388861969579e-07, -5.658898771798704e-07, -2.333908355467429e-07, 9.91082060863846e-08, 4.3160719087609323e-07, 7.641061756658019e-07, 1.0966052741423482e-06, 1.4291042589320568e-06, 1.7616032437217655e-06, 2.094102228511474e-06, 2.4266012133011827e-06, 2.759100425464567e-06, 3.0915994102542754e-06, 3.424098395043984e-06, 3.7565973798336927e-06, 4.089096364623401e-06, 4.42159534941311e-06, 4.7540943342028186e-06, 5.086593318992527e-06, 5.419092303782236e-06, 5.7515912885719445e-06, 6.084090273361653e-06, 6.416589712898713e-06, 6.74908824294107e-06, 7.08158768247813e-06, 7.4140866672678385e-06, 7.746585652057547e-06, 8.079085091594607e-06, 8.411583621636964e-06, 8.744083061174024e-06, 9.076581591216382e-06, 9.409081030753441e-06, 9.741579560795799e-06]}, "gradients/bert.encoder.layer.17.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 3.0, 2.0, 6.0, 7.0, 8.0, 18.0, 18.0, 24.0, 32.0, 39.0, 47.0, 48.0, 49.0, 59.0, 57.0, 88.0, 61.0, 76.0, 69.0, 53.0, 53.0, 50.0, 36.0, 25.0, 28.0, 13.0, 14.0, 8.0, 5.0, 5.0, 6.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.201437225972768e-05, -1.1490417819004506e-05, -1.096646246878663e-05, -1.0442508028063457e-05, -9.918552677845582e-06, -9.394598237122409e-06, -8.870643796399236e-06, -8.346689355676062e-06, -7.822734005458187e-06, -7.298779109987663e-06, -6.774824214517139e-06, -6.250869773793966e-06, -5.726914878323441e-06, -5.202959982852917e-06, -4.679005542129744e-06, -4.15505064665922e-06, -3.6310957511886954e-06, -3.1071408557181712e-06, -2.5831861876213225e-06, -2.0592315195244737e-06, -1.5352766240539495e-06, -1.0113217285834253e-06, -4.873670604865765e-07, 3.6587607610272244e-08, 5.605425030807965e-07, 1.084497284864483e-06, 1.6084520666481694e-06, 2.132406734745018e-06, 2.6563616302155424e-06, 3.1803165256860666e-06, 3.7042711937829154e-06, 4.228225861879764e-06, 4.752178938360885e-06, 5.276133833831409e-06, 5.800088729301933e-06, 6.3240431700251065e-06, 6.847998065495631e-06, 7.371952960966155e-06, 7.895907401689328e-06, 8.419861842412502e-06, 8.943817192630377e-06, 9.46777163335355e-06, 9.991726983571425e-06, 1.0515681424294598e-05, 1.1039635865017772e-05, 1.1563591215235647e-05, 1.208754565595882e-05, 1.2611501006176695e-05, 1.3135455446899869e-05, 1.3659409887623042e-05, 1.4183365237840917e-05, 1.470731967856409e-05, 1.5231275028781965e-05, 1.575522946950514e-05, 1.6279183910228312e-05, 1.6803138350951485e-05, 1.732709279167466e-05, 1.7851047232397832e-05, 1.8375001673121005e-05, 1.8898957932833582e-05, 1.9422912373556755e-05, 1.994686681427993e-05, 2.0470821255003102e-05, 2.0994775695726275e-05, 2.1518731955438852e-05]}, "gradients/bert.encoder.layer.17.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 6.0, 1.0, 5.0, 6.0, 10.0, 4.0, 10.0, 12.0, 17.0, 17.0, 20.0, 29.0, 41.0, 54.0, 107.0, 133.0, 211.0, 362.0, 674.0, 1047.0, 1899.0, 3505.0, 6977.0, 14505.0, 33209.0, 82492.0, 212715.0, 357891.0, 197415.0, 76033.0, 31297.0, 13671.0, 6584.0, 3230.0, 1763.0, 1003.0, 582.0, 368.0, 218.0, 138.0, 85.0, 64.0, 49.0, 25.0, 22.0, 11.0, 13.0, 7.0, 6.0, 9.0, 3.0, 5.0, 3.0, 3.0, 0.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-1.379827062919503e-05, -1.3313409908732865e-05, -1.28285491882707e-05, -1.2343689377303235e-05, -1.185882865684107e-05, -1.1373967936378904e-05, -1.0889107215916738e-05, -1.0404246495454572e-05, -9.919385774992406e-06, -9.43452505453024e-06, -8.949664334068075e-06, -8.464803613605909e-06, -7.979943802638445e-06, -7.495083082176279e-06, -7.0102223617141135e-06, -6.525361641251948e-06, -6.040501830284484e-06, -5.555641109822318e-06, -5.070780844107503e-06, -4.585920123645337e-06, -4.101059857930522e-06, -3.6161991374683566e-06, -3.131338417006191e-06, -2.6464779239177005e-06, -2.16161743082921e-06, -1.6767569377407199e-06, -1.1918963309653918e-06, -7.070357241900638e-07, -2.2217523110157344e-07, 2.626852619869169e-07, 7.475459824490827e-07, 1.232406475537573e-06, 1.717267878120765e-06, 2.2021283712092554e-06, 2.6869888642977457e-06, 3.1718495847599115e-06, 3.656710077848402e-06, 4.141570570936892e-06, 4.626431291399058e-06, 5.111292011861224e-06, 5.596152277576039e-06, 6.081012998038204e-06, 6.565873263753019e-06, 7.050733984215185e-06, 7.535594704677351e-06, 8.020455425139517e-06, 8.505316145601682e-06, 8.990175956569146e-06, 9.475036677031312e-06, 9.959897397493478e-06, 1.0444758117955644e-05, 1.0929617928923108e-05, 1.1414478649385273e-05, 1.189933936984744e-05, 1.2384200090309605e-05, 1.286906081077177e-05, 1.3353921531233937e-05, 1.3838782251696102e-05, 1.4323642972158268e-05, 1.4808503692620434e-05, 1.52933644130826e-05, 1.5778223314555362e-05, 1.626308585400693e-05, 1.6747944755479693e-05, 1.723280547594186e-05]}, "gradients/bert.encoder.layer.17.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 3.0, 3.0, 10.0, 7.0, 11.0, 10.0, 15.0, 14.0, 14.0, 13.0, 27.0, 32.0, 34.0, 34.0, 46.0, 41.0, 40.0, 45.0, 40.0, 43.0, 40.0, 49.0, 43.0, 48.0, 50.0, 32.0, 39.0, 37.0, 31.0, 25.0, 21.0, 19.0, 18.0, 14.0, 19.0, 10.0, 8.0, 5.0, 6.0, 4.0, 5.0, 3.0, 2.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.171829333354253e-06, -8.862500180839561e-06, -8.553170118830167e-06, -8.243840966315474e-06, -7.934511813800782e-06, -7.625181751791388e-06, -7.315852599276695e-06, -7.006522992014652e-06, -6.697193384752609e-06, -6.3878637774905656e-06, -6.078534170228522e-06, -5.76920501771383e-06, -5.459875410451787e-06, -5.150545803189743e-06, -4.841216650675051e-06, -4.531887043413008e-06, -4.222557436150964e-06, -3.913227828888921e-06, -3.6038984490005532e-06, -3.2945690691121854e-06, -2.985239461850142e-06, -2.675909854588099e-06, -2.366580474699731e-06, -2.057251094811363e-06, -1.7479214875493199e-06, -1.4385919939741143e-06, -1.1292625003989087e-06, -8.199330068237032e-07, -5.106035132484976e-07, -2.0127401967329206e-07, 1.080554739019135e-07, 4.1738485379028134e-07, 7.267144610523246e-07, 1.0360439546275302e-06, 1.3453734482027357e-06, 1.6547029417779413e-06, 1.964032435353147e-06, 2.27336204261519e-06, 2.582691422503558e-06, 2.892020802391926e-06, 3.201350409653969e-06, 3.5106800169160124e-06, 3.820009624178056e-06, 4.129338776692748e-06, 4.438668383954791e-06, 4.747997991216835e-06, 5.057327143731527e-06, 5.36665675099357e-06, 5.675986358255614e-06, 5.985315965517657e-06, 6.2946455727797e-06, 6.6039747252943926e-06, 6.913304332556436e-06, 7.222633939818479e-06, 7.5319630923331715e-06, 7.841292244847864e-06, 8.150622306857258e-06, 8.45995145937195e-06, 8.769281521381345e-06, 9.078610673896037e-06, 9.387940735905431e-06, 9.697269888420124e-06, 1.0006599040934816e-05, 1.031592910294421e-05, 1.0625258255458903e-05]}, "gradients/bert.encoder.layer.17.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 0.0, 2.0, 8.0, 2.0, 7.0, 3.0, 10.0, 10.0, 16.0, 20.0, 27.0, 27.0, 35.0, 39.0, 41.0, 82.0, 83.0, 98.0, 113.0, 118.0, 228.0, 2432.0, 355977.0, 684330.0, 3809.0, 300.0, 145.0, 92.0, 101.0, 67.0, 71.0, 46.0, 49.0, 39.0, 25.0, 25.0, 24.0, 12.0, 10.0, 11.0, 12.0, 3.0, 1.0, 4.0, 2.0, 3.0, 4.0, 0.0, 1.0, 2.0, 0.0, 1.0], "bins": [-0.00011209621152374893, -0.00010889917757594958, -0.00010570214362815022, -0.00010250510968035087, -9.930807573255152e-05, -9.611104178475216e-05, -9.29140078369528e-05, -8.971696661319584e-05, -8.65199399413541e-05, -8.332290599355474e-05, -8.012587204575539e-05, -7.692883809795603e-05, -7.373180415015668e-05, -7.053477020235732e-05, -6.733773625455797e-05, -6.4140695030801e-05, -6.0943661083001643e-05, -5.774662713520229e-05, -5.4549593187402934e-05, -5.135255923960358e-05, -4.8155525291804224e-05, -4.495849134400487e-05, -4.176145375822671e-05, -3.856441981042735e-05, -3.5367385862628e-05, -3.217035191482864e-05, -2.897331796702929e-05, -2.577628220024053e-05, -2.2579248252441175e-05, -1.938221430464182e-05, -1.6185178537853062e-05, -1.2988144590053707e-05, -9.791117918211967e-06, -6.594083515665261e-06, -3.3970491131185554e-06, -2.0001425582449883e-07, 2.997019691974856e-06, 6.194053639774211e-06, 9.391089406562969e-06, 1.2588123354362324e-05, 1.578515730216168e-05, 1.8982191249961033e-05, 2.2179225197760388e-05, 2.5376260964549147e-05, 2.85732949123485e-05, 3.177033067913726e-05, 3.4967364626936615e-05, 3.816439857473597e-05, 4.1361432522535324e-05, 4.455846647033468e-05, 4.7755500418134034e-05, 5.095253436593339e-05, 5.414956831373274e-05, 5.73466022615321e-05, 6.054363984731026e-05, 6.374067743308842e-05, 6.693770410493016e-05, 7.013473805272952e-05, 7.333177200052887e-05, 7.652880594832823e-05, 7.972583989612758e-05, 8.292287384392694e-05, 8.611990779172629e-05, 8.931694901548326e-05, 9.251398296328261e-05]}, "gradients/bert.encoder.layer.17.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 4.0, 1.0, 4.0, 4.0, 2.0, 5.0, 4.0, 6.0, 10.0, 16.0, 12.0, 14.0, 27.0, 58.0, 51.0, 100.0, 113.0, 86.0, 140.0, 91.0, 90.0, 37.0, 33.0, 39.0, 9.0, 13.0, 9.0, 7.0, 3.0, 14.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.400124791776761e-13, -5.200284647344233e-13, -5.000444502911705e-13, -4.800604358479177e-13, -4.600764214046649e-13, -4.4009240696141205e-13, -4.2010839251815923e-13, -4.001243780749064e-13, -3.801403636316536e-13, -3.601563491884008e-13, -3.4017233474514796e-13, -3.2018832030189515e-13, -3.0020430585864233e-13, -2.802202914153895e-13, -2.602362769721367e-13, -2.402522625288839e-13, -2.2026824808563106e-13, -2.0028423364237824e-13, -1.8030021919912542e-13, -1.603162047558726e-13, -1.4033219031261979e-13, -1.2034817586936697e-13, -1.0036416142611415e-13, -8.038014698286133e-14, -6.039613253960852e-14, -4.04121180963557e-14, -2.042810365310288e-14, -4.440892098500626e-16, 1.9539925233402755e-14, 3.952393967665557e-14, 5.950795411990839e-14, 7.949196856316121e-14, 9.947598300641403e-14, 1.1945999744966684e-13, 1.3944401189291966e-13, 1.5942802633617248e-13, 1.794120407794253e-13, 1.9939605522267811e-13, 2.1938006966593093e-13, 2.3936408410918375e-13, 2.5934809855243657e-13, 2.793321129956894e-13, 2.993161274389422e-13, 3.19300141882195e-13, 3.3928415632544784e-13, 3.5926817076870066e-13, 3.7925218521195347e-13, 3.992361996552063e-13, 4.192202140984591e-13, 4.3920422854171193e-13, 4.591882429849647e-13, 4.791722574282176e-13, 4.991562718714704e-13, 5.191402863147232e-13, 5.39124300757976e-13, 5.591083152012288e-13, 5.790923296444817e-13, 5.990763440877345e-13, 6.190603585309873e-13, 6.390443729742401e-13, 6.590283874174929e-13, 6.790124018607457e-13, 6.989964163039986e-13, 7.189804307472514e-13, 7.389644451905042e-13]}, "gradients/bert.encoder.layer.17.attention.self.key.weight": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 3.0, 1.0, 1.0, 3.0, 1.0, 6.0, 9.0, 9.0, 15.0, 19.0, 15.0, 26.0, 30.0, 63.0, 95.0, 176.0, 551.0, 2530.0, 20888.0, 401181.0, 589383.0, 29296.0, 3122.0, 642.0, 206.0, 89.0, 50.0, 37.0, 28.0, 17.0, 24.0, 12.0, 7.0, 10.0, 11.0, 4.0, 1.0, 5.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5536454156972468e-05, -1.4862922398606315e-05, -1.4189390640240163e-05, -1.351585888187401e-05, -1.2842327123507857e-05, -1.2168795365141705e-05, -1.1495263606775552e-05, -1.08217318484094e-05, -1.0148200090043247e-05, -9.474668331677094e-06, -8.801136573310941e-06, -8.127604814944789e-06, -7.454073056578636e-06, -6.7805412982124835e-06, -6.107009539846331e-06, -5.433477781480178e-06, -4.759946023114026e-06, -4.086414264747873e-06, -3.4128825063817203e-06, -2.7393507480155677e-06, -2.065818989649415e-06, -1.3922872312832624e-06, -7.187554729171097e-07, -4.5223714550957084e-08, 6.283080438151956e-07, 1.3018398021813482e-06, 1.975371560547501e-06, 2.6489033189136535e-06, 3.322435077279806e-06, 3.995966835645959e-06, 4.6694985940121114e-06, 5.343030352378264e-06, 6.016560291755013e-06, 6.690092050121166e-06, 7.3636238084873185e-06, 8.037155566853471e-06, 8.710687325219624e-06, 9.384219083585776e-06, 1.0057750841951929e-05, 1.0731282600318082e-05, 1.1404814358684234e-05, 1.2078346117050387e-05, 1.275187787541654e-05, 1.3425409633782692e-05, 1.4098941392148845e-05, 1.4772473150514998e-05, 1.544600490888115e-05, 1.6119536667247303e-05, 1.6793068425613455e-05, 1.7466600183979608e-05, 1.814013194234576e-05, 1.8813663700711913e-05, 1.9487195459078066e-05, 2.016072721744422e-05, 2.083425897581037e-05, 2.1507790734176524e-05, 2.2181322492542677e-05, 2.285485425090883e-05, 2.3528386009274982e-05, 2.4201917767641135e-05, 2.4875449526007287e-05, 2.554898128437344e-05, 2.6222513042739592e-05, 2.6896044801105745e-05, 2.7569576559471898e-05]}, "gradients/bert.encoder.layer.17.attention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 3.0, 0.0, 3.0, 1.0, 2.0, 4.0, 8.0, 6.0, 5.0, 6.0, 9.0, 12.0, 9.0, 30.0, 28.0, 28.0, 36.0, 42.0, 62.0, 80.0, 89.0, 85.0, 78.0, 62.0, 67.0, 54.0, 44.0, 26.0, 42.0, 22.0, 14.0, 9.0, 15.0, 7.0, 8.0, 5.0, 1.0, 4.0, 0.0, 3.0, 2.0, 5.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5461799850745592e-06, -2.4633695829834323e-06, -2.3805591808923054e-06, -2.2977487788011786e-06, -2.2149381493363762e-06, -2.1321277472452493e-06, -2.0493173451541224e-06, -1.9665069430629956e-06, -1.883696427285031e-06, -1.800886025193904e-06, -1.7180755094159395e-06, -1.6352651073248126e-06, -1.5524547052336857e-06, -1.469644189455721e-06, -1.3868337873645942e-06, -1.3040232715866296e-06, -1.2212128694955027e-06, -1.1384024674043758e-06, -1.0555919516264112e-06, -9.727815495352843e-07, -8.899710906007385e-07, -8.071606316661928e-07, -7.243502295750659e-07, -6.415397706405201e-07, -5.587293117059744e-07, -4.7591885277142865e-07, -3.9310842225859233e-07, -3.10297991745756e-07, -2.2748753281121026e-07, -1.446770738766645e-07, -6.186667178553762e-08, 2.094378714900813e-08, 1.0375424608355388e-07, 1.8656469080724492e-07, 2.6937513553093595e-07, 3.5218556604377227e-07, 4.34996024978318e-07, 5.178064839128638e-07, 6.006168860039907e-07, 6.834273449385364e-07, 7.662378038730822e-07, 8.490482628076279e-07, 9.318587217421737e-07, 1.0146691238333005e-06, 1.0974795259244274e-06, 1.180290041702392e-06, 1.263100443793519e-06, 1.3459109595714835e-06, 1.4287213616626104e-06, 1.5115317637537373e-06, 1.594342279531702e-06, 1.6771526816228288e-06, 1.7599631974007934e-06, 1.8427735994919203e-06, 1.925584001583047e-06, 2.008394403674174e-06, 2.091204805765301e-06, 2.174015207856428e-06, 2.2568256099475548e-06, 2.3396360120386817e-06, 2.422446641503484e-06, 2.505257043594611e-06, 2.5880674456857378e-06, 2.6708778477768647e-06, 2.753688477241667e-06]}, "gradients/bert.encoder.layer.17.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 5.0, 2.0, 0.0, 4.0, 4.0, 10.0, 6.0, 7.0, 14.0, 20.0, 23.0, 31.0, 34.0, 69.0, 133.0, 474.0, 5361.0, 292254.0, 736943.0, 11979.0, 765.0, 170.0, 77.0, 45.0, 24.0, 16.0, 24.0, 20.0, 7.0, 10.0, 6.0, 4.0, 8.0, 6.0, 1.0, 3.0, 3.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.236862539779395e-05, -3.136091254418716e-05, -3.0353197871590964e-05, -2.934548319899477e-05, -2.833777034538798e-05, -2.733005749178119e-05, -2.6322342819184996e-05, -2.5314628146588802e-05, -2.4306915292982012e-05, -2.3299202439375222e-05, -2.2291487766779028e-05, -2.1283773094182834e-05, -2.0276060240576044e-05, -1.9268347386969253e-05, -1.826063271437306e-05, -1.7252918041776866e-05, -1.6245205188170075e-05, -1.5237491425068583e-05, -1.4229777661967091e-05, -1.32220638988656e-05, -1.2214350135764107e-05, -1.1206636372662615e-05, -1.0198922609561123e-05, -9.191208846459631e-06, -8.183495083358139e-06, -7.175781320256647e-06, -6.168067557155155e-06, -5.1603537940536626e-06, -4.1526400309521705e-06, -3.1449262678506784e-06, -2.1372125047491863e-06, -1.1294987416476943e-06, -1.2178861652500927e-07, 8.859251465764828e-07, 1.8936389096779749e-06, 2.901352672779467e-06, 3.909066435880959e-06, 4.916780198982451e-06, 5.924493962083943e-06, 6.932207725185435e-06, 7.939921488286927e-06, 8.94763525138842e-06, 9.955349014489911e-06, 1.0963062777591404e-05, 1.1970776540692896e-05, 1.2978490303794388e-05, 1.398620406689588e-05, 1.4993917829997372e-05, 1.6001631593098864e-05, 1.7009344446705654e-05, 1.8017059119301848e-05, 1.9024773791898042e-05, 2.0032486645504832e-05, 2.1040199499111623e-05, 2.2047914171707816e-05, 2.305562884430401e-05, 2.40633416979108e-05, 2.507105455151759e-05, 2.6078769224113785e-05, 2.708648389670998e-05, 2.809419675031677e-05, 2.910190960392356e-05, 3.0109624276519753e-05, 3.111733894911595e-05, 3.212505180272274e-05]}, "gradients/bert.encoder.layer.16.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 3.0, 9.0, 22.0, 79.0, 221.0, 364.0, 213.0, 71.0, 23.0, 10.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4329680197988637e-05, -1.2640870409086347e-05, -1.0952060620184056e-05, -9.263251740776468e-06, -7.574441951874178e-06, -5.885632162971888e-06, -4.196823283564299e-06, -2.508013494662009e-06, -8.19203705759719e-07, 8.696058557688957e-07, 2.5584154172975104e-06, 4.24722475145245e-06, 5.93603454035474e-06, 7.62484432925703e-06, 9.313653208664618e-06, 1.1002462997566909e-05, 1.2691272786469199e-05, 1.4380082575371489e-05, 1.606889236427378e-05, 1.775770215317607e-05, 1.9446510123088956e-05, 2.113532173098065e-05, 2.2824129700893536e-05, 2.4512939489795826e-05, 2.6201749278698117e-05, 2.7890559067600407e-05, 2.9579368856502697e-05, 3.1268176826415583e-05, 3.295698843430728e-05, 3.4645796404220164e-05, 3.633460437413305e-05, 3.8023415982024744e-05, 3.971222758991644e-05, 4.1401035559829324e-05, 4.308984716772102e-05, 4.4778655137633905e-05, 4.64674667455256e-05, 4.8156274715438485e-05, 4.984508268535137e-05, 5.1533894293243065e-05, 5.322270590113476e-05, 5.4911513871047646e-05, 5.660032547893934e-05, 5.8289133448852226e-05, 5.997794505674392e-05, 6.16667530266568e-05, 6.335556099656969e-05, 6.504436896648258e-05, 6.673317693639547e-05, 6.842198490630835e-05, 7.011079287622124e-05, 7.179960812209174e-05, 7.348841609200463e-05, 7.517722406191751e-05, 7.68660320318304e-05, 7.85548472777009e-05, 8.024365524761379e-05, 8.193246321752667e-05, 8.362127118743956e-05, 8.531008643331006e-05, 8.699889440322295e-05, 8.868770237313583e-05, 9.037651034304872e-05, 9.206532558891922e-05, 9.375413355883211e-05]}, "gradients/bert.encoder.layer.16.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 2.0, 1.0, 4.0, 5.0, 4.0, 3.0, 7.0, 6.0, 6.0, 20.0, 6.0, 18.0, 15.0, 23.0, 30.0, 23.0, 41.0, 34.0, 34.0, 40.0, 48.0, 42.0, 43.0, 47.0, 52.0, 37.0, 56.0, 43.0, 32.0, 38.0, 28.0, 34.0, 30.0, 21.0, 21.0, 25.0, 16.0, 13.0, 15.0, 10.0, 5.0, 17.0, 4.0, 5.0, 6.0, 5.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5449168131453916e-05, -1.4900007954565808e-05, -1.4350848687172402e-05, -1.3801689419778995e-05, -1.3252529242890887e-05, -1.2703369066002779e-05, -1.2154209798609372e-05, -1.1605050531215966e-05, -1.1055890354327857e-05, -1.050673017743975e-05, -9.957570910046343e-06, -9.408411642652936e-06, -8.859251465764828e-06, -8.31009128887672e-06, -7.760932021483313e-06, -7.211772299342556e-06, -6.6626125772017986e-06, -6.113452855061041e-06, -5.564293132920284e-06, -5.0151334107795265e-06, -4.465973688638769e-06, -3.916813966498012e-06, -3.3676542443572544e-06, -2.818494522216497e-06, -2.2693348000757396e-06, -1.7201750779349823e-06, -1.1710153557942249e-06, -6.218556336534675e-07, -7.269591151271015e-08, 4.764638106280472e-07, 1.0256235327688046e-06, 1.574783254909562e-06, 2.123944796039723e-06, 2.6731045181804802e-06, 3.2222642403212376e-06, 3.771423962461995e-06, 4.320583684602752e-06, 4.86974340674351e-06, 5.418903128884267e-06, 5.9680628510250244e-06, 6.517222573165782e-06, 7.066382295306539e-06, 7.6155420174472965e-06, 8.164701284840703e-06, 8.713861461728811e-06, 9.26302163861692e-06, 9.812180906010326e-06, 1.0361340173403732e-05, 1.091050035029184e-05, 1.1459660527179949e-05, 1.2008819794573355e-05, 1.2557979061966762e-05, 1.310713923885487e-05, 1.3656299415742978e-05, 1.4205458683136385e-05, 1.4754617950529791e-05, 1.53037781274179e-05, 1.5852938304306008e-05, 1.6402096662204713e-05, 1.695125683909282e-05, 1.750041701598093e-05, 1.8049577192869037e-05, 1.8598737369757146e-05, 1.914789572765585e-05, 1.969705590454396e-05]}, "gradients/bert.encoder.layer.16.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 4.0, 2.0, 2.0, 4.0, 1.0, 3.0, 7.0, 10.0, 11.0, 7.0, 12.0, 17.0, 18.0, 13.0, 22.0, 18.0, 43.0, 35.0, 38.0, 37.0, 43.0, 33.0, 48.0, 51.0, 48.0, 49.0, 42.0, 56.0, 51.0, 42.0, 27.0, 35.0, 24.0, 18.0, 16.0, 19.0, 21.0, 14.0, 18.0, 12.0, 8.0, 11.0, 8.0, 4.0, 7.0, 1.0, 3.0, 3.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2430317838152405e-05, -1.206004435516661e-05, -1.1689769962686114e-05, -1.131949647970032e-05, -1.0949222087219823e-05, -1.0578948604234029e-05, -1.0208674211753532e-05, -9.838400728767738e-06, -9.468126336287241e-06, -9.097852853301447e-06, -8.72757846082095e-06, -8.357304977835156e-06, -7.98703058535466e-06, -7.616756647621514e-06, -7.246482709888369e-06, -6.876209226902574e-06, -6.505935289169429e-06, -6.1356613514362834e-06, -5.765387413703138e-06, -5.395113475969993e-06, -5.024839538236847e-06, -4.654565600503702e-06, -4.284292117517907e-06, -3.914017725037411e-06, -3.543744014677941e-06, -3.1734700769447954e-06, -2.80319613921165e-06, -2.43292242885218e-06, -2.0626484911190346e-06, -1.6923744396990514e-06, -1.3221006156527437e-06, -9.518266779195983e-07, -5.815527401864529e-07, -2.1127883087501687e-07, 1.5899507843641913e-07, 5.292689593261457e-07, 8.995428970592911e-07, 1.2698168347924366e-06, 1.6400906588387443e-06, 2.0103645965718897e-06, 2.380638534305035e-06, 2.7509124720381806e-06, 3.121186409771326e-06, 3.491460120130796e-06, 3.861734057863941e-06, 4.232007995597087e-06, 4.602281933330232e-06, 4.972555871063378e-06, 5.342829808796523e-06, 5.7131037465296686e-06, 6.083377684262814e-06, 6.4536516219959594e-06, 6.823925559729105e-06, 7.19419949746225e-06, 7.564472980448045e-06, 7.934747372928541e-06, 8.305020855914336e-06, 8.67529433890013e-06, 9.045568731380627e-06, 9.415842214366421e-06, 9.786116606846917e-06, 1.0156390089832712e-05, 1.0526664482313208e-05, 1.0896937965299003e-05, 1.1267212357779499e-05]}, "gradients/bert.encoder.layer.16.output.dense.weight": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 5.0, 3.0, 4.0, 6.0, 6.0, 12.0, 13.0, 14.0, 32.0, 26.0, 49.0, 55.0, 65.0, 96.0, 114.0, 169.0, 267.0, 395.0, 680.0, 1336.0, 2588.0, 5809.0, 13643.0, 40201.0, 215640.0, 1758788.0, 1853637.0, 232144.0, 43402.0, 13872.0, 5709.0, 2487.0, 1218.0, 642.0, 368.0, 219.0, 134.0, 113.0, 89.0, 56.0, 46.0, 35.0, 20.0, 20.0, 18.0, 9.0, 17.0, 7.0, 5.0, 5.0, 4.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4680212188977748e-05, -1.4174254829413258e-05, -1.3668297469848767e-05, -1.3162340110284276e-05, -1.2656382750719786e-05, -1.2150425391155295e-05, -1.1644468031590804e-05, -1.1138510672026314e-05, -1.0632553312461823e-05, -1.0126595952897333e-05, -9.620638593332842e-06, -9.114681233768351e-06, -8.60872387420386e-06, -8.10276651463937e-06, -7.596808700327529e-06, -7.090851340763038e-06, -6.5848935264511965e-06, -6.078936166886706e-06, -5.572978807322215e-06, -5.067021447757725e-06, -4.561064088193234e-06, -4.0551067286287434e-06, -3.549148914316902e-06, -3.0431915547524113e-06, -2.5372341951879207e-06, -2.03127683562343e-06, -1.5253193623721018e-06, -1.0193618891207734e-06, -5.134045295562828e-07, -7.44716999179218e-09, 4.985104169463739e-07, 1.0044677765108645e-06, 1.5104251360753551e-06, 2.0163824956398457e-06, 2.5223398552043363e-06, 3.0282974421425024e-06, 3.534254801706993e-06, 4.040211933897808e-06, 4.54616974820965e-06, 5.05212710777414e-06, 5.558084467338631e-06, 6.0640418269031215e-06, 6.569999186467612e-06, 7.075957000779454e-06, 7.581914360343944e-06, 8.087871719908435e-06, 8.593829079472926e-06, 9.099786439037416e-06, 9.605743798601907e-06, 1.0111701158166397e-05, 1.0617658517730888e-05, 1.1123615877295379e-05, 1.162957323685987e-05, 1.213553059642436e-05, 1.2641488865483552e-05, 1.3147446225048043e-05, 1.3653403584612533e-05, 1.4159360944177024e-05, 1.4665318303741515e-05, 1.5171275663306005e-05, 1.5677233022870496e-05, 1.6183190382434987e-05, 1.6689147741999477e-05, 1.7195105101563968e-05, 1.770106246112846e-05]}, "gradients/bert.encoder.layer.16.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 5.0, 4.0, 6.0, 11.0, 17.0, 20.0, 27.0, 52.0, 71.0, 113.0, 205.0, 490.0, 1034.0, 1062.0, 479.0, 194.0, 114.0, 82.0, 39.0, 16.0, 7.0, 9.0, 5.0, 4.0, 6.0, 4.0, 3.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0], "bins": [-8.049340067373123e-06, -7.750625627522822e-06, -7.451911187672522e-06, -7.153196747822221e-06, -6.854482307971921e-06, -6.55576786812162e-06, -6.25705342827132e-06, -5.958338988421019e-06, -5.659624548570719e-06, -5.360910108720418e-06, -5.0621956688701175e-06, -4.763481229019817e-06, -4.464766789169516e-06, -4.166052349319216e-06, -3.867337909468915e-06, -3.5686234696186148e-06, -3.2699090297683142e-06, -2.9711945899180137e-06, -2.672480150067713e-06, -2.3737657102174126e-06, -2.075051270367112e-06, -1.7763368305168115e-06, -1.477622390666511e-06, -1.1789079508162104e-06, -8.801935109659098e-07, -5.814790711156093e-07, -2.827646312653087e-07, 1.5949808584991843e-08, 3.146642484352924e-07, 6.133786882855929e-07, 9.120931281358935e-07, 1.210807567986194e-06, 1.5095229173311964e-06, 1.808237357181497e-06, 2.1069517970317975e-06, 2.405666236882098e-06, 2.7043806767323986e-06, 3.003095116582699e-06, 3.3018095564329997e-06, 3.6005239962833002e-06, 3.899238436133601e-06, 4.197952875983901e-06, 4.496667315834202e-06, 4.795381755684502e-06, 5.094096195534803e-06, 5.3928106353851035e-06, 5.691525075235404e-06, 5.990239515085705e-06, 6.288953954936005e-06, 6.587668394786306e-06, 6.886382834636606e-06, 7.185097274486907e-06, 7.483811714337207e-06, 7.782526154187508e-06, 8.081240594037808e-06, 8.379955033888109e-06, 8.67866947373841e-06, 8.97738391358871e-06, 9.27609835343901e-06, 9.574812793289311e-06, 9.873527233139612e-06, 1.0172241672989912e-05, 1.0470956112840213e-05, 1.0769670552690513e-05, 1.1068384992540814e-05]}, "gradients/bert.encoder.layer.16.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 2.0, 2.0, 2.0, 7.0, 6.0, 9.0, 15.0, 23.0, 36.0, 101.0, 164.0, 356.0, 1759.0, 3704227.0, 485657.0, 1225.0, 320.0, 144.0, 79.0, 45.0, 34.0, 26.0, 20.0, 8.0, 12.0, 5.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.0002367521374253556, -0.0002308235998498276, -0.0002248950768262148, -0.00021896653925068676, -0.00021303801622707397, -0.00020710947865154594, -0.00020118095562793314, -0.00019525241805240512, -0.0001893238804768771, -0.00018339534290134907, -0.00017746681987773627, -0.00017153828230220824, -0.00016560975927859545, -0.00015968122170306742, -0.0001537526841275394, -0.0001478241611039266, -0.0001418956380803138, -0.00013596710050478578, -0.00013003857748117298, -0.00012411003990564495, -0.00011818150960607454, -0.00011225297930650413, -0.00010632444900693372, -0.00010039591870736331, -9.446738113183528e-05, -8.853885083226487e-05, -8.261032053269446e-05, -7.668178295716643e-05, -7.075325265759602e-05, -6.482472235802561e-05, -5.88961920584552e-05, -5.296765812090598e-05, -4.703912418335676e-05, -4.111059388378635e-05, -3.518205994623713e-05, -2.925352964666672e-05, -2.3324997528106906e-05, -1.739646540954709e-05, -1.1467935109976679e-05, -5.5394011724274606e-06, 3.891291271429509e-07, 6.317660790955415e-06, 1.2246192454767879e-05, 1.8174723663832992e-05, 2.4103255782392807e-05, 3.0031787900952622e-05, 3.5960318200523034e-05, 4.188885213807225e-05, 4.7817382437642664e-05, 5.3745912737213075e-05, 5.9674446674762294e-05, 6.56029733363539e-05, 7.153151091188192e-05, 7.746004121145234e-05, 8.338857151102275e-05, 8.931710908655077e-05, 9.524563211016357e-05, 0.00010117416240973398, 0.00010710269270930439, 0.00011303123028483242, 0.00011895976058440283, 0.00012488829088397324, 0.00013081682845950127, 0.00013674535148311406, 0.0001426738890586421]}, "gradients/bert.encoder.layer.16.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 7.0, 3.0, 4.0, 12.0, 6.0, 11.0, 25.0, 25.0, 48.0, 70.0, 83.0, 123.0, 118.0, 118.0, 94.0, 77.0, 52.0, 49.0, 27.0, 17.0, 16.0, 7.0, 7.0, 5.0, 1.0, 1.0, 3.0, 4.0, 1.0, 2.0, 1.0, 0.0, 1.0], "bins": [-2.1915016986895353e-05, -2.1411911802715622e-05, -2.090880661853589e-05, -2.040570143435616e-05, -1.990259625017643e-05, -1.93994910659967e-05, -1.889638588181697e-05, -1.8393280697637238e-05, -1.7890175513457507e-05, -1.7387070329277776e-05, -1.6883965145098045e-05, -1.6380859960918315e-05, -1.5877754776738584e-05, -1.5374649592558853e-05, -1.4871544408379123e-05, -1.4368439224199392e-05, -1.3865334040019661e-05, -1.336222885583993e-05, -1.28591236716602e-05, -1.2356018487480469e-05, -1.1852913303300738e-05, -1.1349808119121008e-05, -1.0846702934941277e-05, -1.0343597750761546e-05, -9.840492566581815e-06, -9.337387382402085e-06, -8.834282198222354e-06, -8.331177014042623e-06, -7.828071829862893e-06, -7.324966645683162e-06, -6.821861461503431e-06, -6.3187562773237005e-06, -5.815649274154566e-06, -5.3125440899748355e-06, -4.809438905795105e-06, -4.306333721615374e-06, -3.8032285374356434e-06, -3.3001233532559127e-06, -2.797018169076182e-06, -2.2939129848964512e-06, -1.7908078007167205e-06, -1.2877026165369898e-06, -7.845974323572591e-07, -2.814922481775284e-07, 2.2161293600220233e-07, 7.24718120181933e-07, 1.2278233043616638e-06, 1.7309284885413945e-06, 2.234033672721125e-06, 2.737138856900856e-06, 3.2402440410805866e-06, 3.7433492252603173e-06, 4.246454409440048e-06, 4.749559593619779e-06, 5.2526647777995095e-06, 5.75576996197924e-06, 6.258875146158971e-06, 6.761980330338702e-06, 7.265085514518432e-06, 7.768190698698163e-06, 8.271295882877894e-06, 8.774401067057624e-06, 9.277506251237355e-06, 9.780611435417086e-06, 1.0283716619596817e-05]}, "gradients/bert.encoder.layer.16.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 4.0, 2.0, 5.0, 2.0, 8.0, 5.0, 3.0, 7.0, 11.0, 11.0, 16.0, 22.0, 23.0, 17.0, 19.0, 29.0, 41.0, 28.0, 41.0, 36.0, 49.0, 40.0, 41.0, 36.0, 42.0, 37.0, 37.0, 38.0, 40.0, 29.0, 47.0, 27.0, 22.0, 35.0, 27.0, 23.0, 19.0, 18.0, 10.0, 13.0, 9.0, 11.0, 6.0, 5.0, 3.0, 6.0, 2.0, 3.0, 2.0, 2.0, 1.0, 0.0, 2.0, 3.0, 1.0], "bins": [-1.1798181731137447e-05, -1.1445750715211034e-05, -1.109331969928462e-05, -1.0740889592852909e-05, -1.0388458576926496e-05, -1.0036027561000083e-05, -9.683597454568371e-06, -9.331166438641958e-06, -8.978735422715545e-06, -8.626304406789131e-06, -8.273873390862718e-06, -7.921443284431007e-06, -7.5690122685045935e-06, -7.21658125257818e-06, -6.864150691399118e-06, -6.511720130220056e-06, -6.159289114293642e-06, -5.806858098367229e-06, -5.454427537188167e-06, -5.101996976009104e-06, -4.749565960082691e-06, -4.397134944156278e-06, -4.0447043829772156e-06, -3.6922735944244778e-06, -3.33984280587174e-06, -2.987412017319002e-06, -2.6349812287662644e-06, -2.2825504402135266e-06, -1.930119651660789e-06, -1.577688863108051e-06, -1.2252580745553132e-06, -8.728272860025754e-07, -5.203955879551359e-07, -1.6796479940239806e-07, 1.8446598915033974e-07, 5.368967777030775e-07, 8.893275662558153e-07, 1.2417583548085531e-06, 1.594189143361291e-06, 1.9466199319140287e-06, 2.2990507204667665e-06, 2.6514815090195043e-06, 3.003912297572242e-06, 3.35634308612498e-06, 3.7087738746777177e-06, 4.061204890604131e-06, 4.413635451783193e-06, 4.766066012962256e-06, 5.118497028888669e-06, 5.470928044815082e-06, 5.8233586059941445e-06, 6.175789167173207e-06, 6.52822018309962e-06, 6.880651199026033e-06, 7.233081760205096e-06, 7.585512321384158e-06, 7.937943337310571e-06, 8.290374353236984e-06, 8.642804459668696e-06, 8.99523547559511e-06, 9.347666491521522e-06, 9.700097507447936e-06, 1.0052528523374349e-05, 1.040495862980606e-05, 1.0757389645732474e-05]}, "gradients/bert.encoder.layer.16.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 3.0, 1.0, 0.0, 5.0, 9.0, 7.0, 10.0, 9.0, 15.0, 20.0, 24.0, 33.0, 23.0, 38.0, 53.0, 47.0, 52.0, 59.0, 65.0, 60.0, 52.0, 58.0, 61.0, 41.0, 49.0, 38.0, 37.0, 41.0, 24.0, 16.0, 12.0, 16.0, 9.0, 5.0, 6.0, 5.0, 5.0, 3.0, 0.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3064945051155519e-05, -1.2592960956681054e-05, -1.2120975952711888e-05, -1.1648991858237423e-05, -1.1177007763762958e-05, -1.0705023669288494e-05, -1.0233039574814029e-05, -9.761054570844863e-06, -9.289070476370398e-06, -8.817086381895933e-06, -8.345101377926767e-06, -7.873117283452302e-06, -7.4011331889778376e-06, -6.929149094503373e-06, -6.457164545281557e-06, -5.985179996059742e-06, -5.513195901585277e-06, -5.0412118071108125e-06, -4.569227257888997e-06, -4.0972427086671814e-06, -3.6252586141927168e-06, -3.1532742923445767e-06, -2.6812899704964366e-06, -2.2093056486482965e-06, -1.7373213268001564e-06, -1.2653370049520163e-06, -7.933526831038762e-07, -3.213683612557361e-07, 1.50615960592404e-07, 6.226002824405441e-07, 1.0945846042886842e-06, 1.5665689261368243e-06, 2.038554157479666e-06, 2.5105384793278063e-06, 2.9825228011759464e-06, 3.4545071230240865e-06, 3.9264914448722266e-06, 4.398475539346691e-06, 4.870460088568507e-06, 5.342444637790322e-06, 5.814428732264787e-06, 6.286412826739252e-06, 6.758397375961067e-06, 7.230381925182883e-06, 7.702366019657347e-06, 8.174350114131812e-06, 8.646335118100978e-06, 9.118319212575443e-06, 9.590303307049908e-06, 1.0062287401524372e-05, 1.0534271495998837e-05, 1.1006256499968003e-05, 1.1478240594442468e-05, 1.1950224688916933e-05, 1.24222096928861e-05, 1.2894193787360564e-05, 1.3366177881835029e-05, 1.3838161976309493e-05, 1.4310146070783958e-05, 1.4782131074753124e-05, 1.5254115169227589e-05, 1.5726100173196755e-05, 1.619808426767122e-05, 1.6670068362145685e-05, 1.714205245662015e-05]}, "gradients/bert.encoder.layer.16.attention.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 3.0, 5.0, 2.0, 7.0, 14.0, 14.0, 14.0, 25.0, 35.0, 48.0, 71.0, 127.0, 184.0, 309.0, 485.0, 867.0, 1227.0, 2258.0, 3889.0, 7039.0, 13210.0, 25694.0, 53990.0, 115776.0, 235451.0, 283296.0, 158025.0, 73773.0, 34699.0, 16998.0, 9115.0, 4940.0, 2822.0, 1594.0, 945.0, 599.0, 338.0, 209.0, 167.0, 111.0, 63.0, 39.0, 24.0, 25.0, 11.0, 9.0, 7.0, 3.0, 6.0, 3.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1443066796346102e-05, -1.1076363080064766e-05, -1.0709658454288729e-05, -1.0342953828512691e-05, -9.976250112231355e-06, -9.60954639595002e-06, -9.242841770173982e-06, -8.876137144397944e-06, -8.509433428116608e-06, -8.142729711835273e-06, -7.776025086059235e-06, -7.409320915030548e-06, -7.042616744001862e-06, -6.675912572973175e-06, -6.309208401944488e-06, -5.942504230915802e-06, -5.575800059887115e-06, -5.209095888858428e-06, -4.8423917178297415e-06, -4.475687546801055e-06, -4.108983375772368e-06, -3.7422792047436815e-06, -3.3755750337149948e-06, -3.008870862686308e-06, -2.6421666916576214e-06, -2.2754625206289347e-06, -1.908758349600248e-06, -1.5420541785715614e-06, -1.1753500075428747e-06, -8.08645836514188e-07, -4.419416654855013e-07, -7.52374944568146e-08, 2.914666765718721e-07, 6.581708476005588e-07, 1.0248750186292455e-06, 1.3915791896579321e-06, 1.7582833606866188e-06, 2.1249875317153055e-06, 2.491691702743992e-06, 2.858395873772679e-06, 3.2251000448013656e-06, 3.5918042158300523e-06, 3.958508386858739e-06, 4.325212557887426e-06, 4.691916728916112e-06, 5.058620899944799e-06, 5.425325070973486e-06, 5.792029242002172e-06, 6.158733413030859e-06, 6.525437584059546e-06, 6.8921417550882325e-06, 7.258845926116919e-06, 7.625550097145606e-06, 7.992253813426942e-06, 8.35895843920298e-06, 8.725663064979017e-06, 9.092366781260353e-06, 9.459070497541688e-06, 9.825775123317726e-06, 1.0192479749093764e-05, 1.05591834653751e-05, 1.0925887181656435e-05, 1.1292591807432473e-05, 1.165929643320851e-05, 1.2026000149489846e-05]}, "gradients/bert.encoder.layer.16.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 4.0, 3.0, 4.0, 5.0, 6.0, 2.0, 6.0, 5.0, 13.0, 11.0, 19.0, 14.0, 20.0, 10.0, 15.0, 27.0, 18.0, 23.0, 32.0, 26.0, 30.0, 29.0, 39.0, 35.0, 41.0, 42.0, 31.0, 48.0, 44.0, 41.0, 40.0, 42.0, 32.0, 31.0, 33.0, 25.0, 37.0, 25.0, 14.0, 11.0, 12.0, 12.0, 7.0, 16.0, 4.0, 8.0, 4.0, 4.0, 5.0, 3.0, 1.0, 2.0, 1.0, 2.0, 0.0, 3.0, 0.0, 2.0, 0.0, 1.0], "bins": [-8.5445690274355e-06, -8.258864909294061e-06, -7.973160791152623e-06, -7.687456673011184e-06, -7.401752100122394e-06, -7.116047527233604e-06, -6.8303434090921655e-06, -6.544639290950727e-06, -6.258935172809288e-06, -5.973231054667849e-06, -5.687526481779059e-06, -5.401822363637621e-06, -5.116118245496182e-06, -4.830413672607392e-06, -4.544709554465953e-06, -4.2590054363245144e-06, -3.973300863435725e-06, -3.6875965179206105e-06, -3.4018923997791717e-06, -3.1161880542640574e-06, -2.8304839361226186e-06, -2.5447795906075044e-06, -2.25907524509239e-06, -1.9733711269509513e-06, -1.687666781435837e-06, -1.4019625496075605e-06, -1.116258317779284e-06, -8.305539722641697e-07, -5.448497404358932e-07, -2.5914550860761665e-07, 2.6558836907497607e-08, 3.122629550489364e-07, 5.979673005640507e-07, 8.836715323923272e-07, 1.1693757642206037e-06, 1.455080109735718e-06, 1.7407843415639945e-06, 2.026488573392271e-06, 2.3121929189073853e-06, 2.597897037048824e-06, 2.8836013825639384e-06, 3.1693057280790526e-06, 3.4550098462204915e-06, 3.7407141917356057e-06, 4.02641853725072e-06, 4.312122655392159e-06, 4.597826773533598e-06, 4.883530891675036e-06, 5.169235464563826e-06, 5.454939582705265e-06, 5.740644155594055e-06, 6.026348273735493e-06, 6.312052391876932e-06, 6.597756510018371e-06, 6.883461082907161e-06, 7.1691652010485996e-06, 7.454869773937389e-06, 7.740573892078828e-06, 8.026278010220267e-06, 8.311983037856407e-06, 8.597687155997846e-06, 8.883391274139285e-06, 9.169095392280724e-06, 9.454799510422163e-06, 9.740503628563602e-06]}, "gradients/bert.encoder.layer.16.attention.self.value.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 5.0, 1.0, 2.0, 4.0, 7.0, 5.0, 9.0, 12.0, 11.0, 13.0, 22.0, 19.0, 29.0, 27.0, 33.0, 45.0, 51.0, 59.0, 59.0, 75.0, 72.0, 79.0, 120.0, 410.0, 10720.0, 958300.0, 76331.0, 1247.0, 140.0, 104.0, 66.0, 70.0, 63.0, 49.0, 51.0, 41.0, 33.0, 28.0, 24.0, 24.0, 17.0, 21.0, 13.0, 10.0, 9.0, 9.0, 6.0, 7.0, 4.0, 0.0, 2.0, 4.0, 2.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-9.282912651542574e-05, -8.959378465078771e-05, -8.635843551019207e-05, -8.312309364555404e-05, -7.9887751780916e-05, -7.665240264032036e-05, -7.341706077568233e-05, -7.01817189110443e-05, -6.694637704640627e-05, -6.371103518176824e-05, -6.04756896791514e-05, -5.724034417653456e-05, -5.400500231189653e-05, -5.0769656809279695e-05, -4.753431130666286e-05, -4.429896944202483e-05, -4.106362030142918e-05, -3.7828274798812345e-05, -3.4592932934174314e-05, -3.1357587431557477e-05, -2.8122243747930042e-05, -2.488690006430261e-05, -2.165155456168577e-05, -1.8416210878058337e-05, -1.5180867194430903e-05, -1.1945523510803469e-05, -8.710178917681333e-06, -5.474834324559197e-06, -2.2394906409317628e-06, 9.958530426956713e-07, 4.231198545312509e-06, 7.466542228939943e-06, 1.0701885912567377e-05, 1.3937229596194811e-05, 1.7172573279822245e-05, 2.0407918782439083e-05, 2.3643262466066517e-05, 2.687860614969395e-05, 3.011395165231079e-05, 3.334929351694882e-05, 3.658463901956566e-05, 3.9819984522182494e-05, 4.3055326386820525e-05, 4.629067188943736e-05, 4.95260173920542e-05, 5.276135925669223e-05, 5.599670475930907e-05, 5.9232050261925906e-05, 6.246739212656394e-05, 6.570273399120197e-05, 6.893808313179761e-05, 7.217342499643564e-05, 7.540876686107367e-05, 7.86441087257117e-05, 8.187945786630735e-05, 8.511479973094538e-05, 8.835014887154102e-05, 9.158549073617905e-05, 9.48208398767747e-05, 9.805618174141273e-05, 0.00010129152360605076, 0.0001045268727466464, 0.00010776221461128443, 0.00011099755647592247, 0.0001142328983405605]}, "gradients/bert.encoder.layer.16.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 5.0, 2.0, 2.0, 4.0, 5.0, 10.0, 17.0, 32.0, 37.0, 54.0, 63.0, 114.0, 141.0, 122.0, 120.0, 92.0, 61.0, 53.0, 21.0, 11.0, 19.0, 7.0, 5.0, 4.0, 3.0, 3.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.597567102697212e-13, -8.33000335376255e-13, -8.062439604827887e-13, -7.794875855893224e-13, -7.527312106958561e-13, -7.259748358023899e-13, -6.992184609089236e-13, -6.724620860154573e-13, -6.45705711121991e-13, -6.189493362285248e-13, -5.921929613350585e-13, -5.654365864415922e-13, -5.38680211548126e-13, -5.119238366546597e-13, -4.851674617611934e-13, -4.584110868677271e-13, -4.3165471197426086e-13, -4.048983370807946e-13, -3.781419621873283e-13, -3.5138558729386205e-13, -3.2462921240039577e-13, -2.978728375069295e-13, -2.7111646261346323e-13, -2.4436008771999695e-13, -2.1760371282653068e-13, -1.908473379330644e-13, -1.6409096303959814e-13, -1.3733458814613186e-13, -1.1057821325266559e-13, -8.382183835919932e-14, -5.706546346573305e-14, -3.0309088572266774e-14, -3.552713678800501e-15, 2.3203661214665772e-14, 4.9960036108132044e-14, 7.671641100159832e-14, 1.0347278589506459e-13, 1.3022916078853086e-13, 1.5698553568199713e-13, 1.837419105754634e-13, 2.1049828546892968e-13, 2.3725466036239595e-13, 2.6401103525586223e-13, 2.907674101493285e-13, 3.1752378504279477e-13, 3.4428015993626104e-13, 3.710365348297273e-13, 3.977929097231936e-13, 4.2454928461665986e-13, 4.5130565951012613e-13, 4.780620344035924e-13, 5.048184092970587e-13, 5.31574784190525e-13, 5.583311590839912e-13, 5.850875339774575e-13, 6.118439088709238e-13, 6.3860028376439e-13, 6.653566586578563e-13, 6.921130335513226e-13, 7.188694084447889e-13, 7.456257833382551e-13, 7.723821582317214e-13, 7.991385331251877e-13, 8.25894908018654e-13, 8.526512829121202e-13]}, "gradients/bert.encoder.layer.16.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 2.0, 3.0, 4.0, 10.0, 5.0, 12.0, 23.0, 56.0, 100.0, 238.0, 746.0, 3909.0, 155847.0, 876699.0, 9279.0, 1081.0, 283.0, 118.0, 44.0, 43.0, 21.0, 12.0, 7.0, 1.0, 4.0, 1.0, 1.0, 3.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.3785225241445005e-05, -3.226115586585365e-05, -3.07370864902623e-05, -2.9213017114670947e-05, -2.7688949558068998e-05, -2.6164880182477646e-05, -2.4640810806886293e-05, -2.3116743250284344e-05, -2.159267387469299e-05, -2.006860449910164e-05, -1.8544535123510286e-05, -1.7020465747918934e-05, -1.5496398191316985e-05, -1.3972328815725632e-05, -1.244825944013428e-05, -1.0924190974037629e-05, -9.400120688951574e-06, -7.876051313360222e-06, -6.351982847263571e-06, -4.827913471672218e-06, -3.3038445508282166e-06, -1.779775629984215e-06, -2.557062543928623e-07, 1.2683622117037885e-06, 2.792431587295141e-06, 4.316500508139143e-06, 5.8405694289831445e-06, 7.364638804574497e-06, 8.88870818016585e-06, 1.04127766462625e-05, 1.1936846021853853e-05, 1.3460914487950504e-05, 1.4984983863541856e-05, 1.650905323913321e-05, 1.803312261472456e-05, 1.9557191990315914e-05, 2.1081259546917863e-05, 2.2605328922509216e-05, 2.412939829810057e-05, 2.5653465854702517e-05, 2.717753523029387e-05, 2.8701604605885223e-05, 3.0225673981476575e-05, 3.174974335706793e-05, 3.327381273265928e-05, 3.4797878470271826e-05, 3.6321951483841985e-05, 3.784601722145453e-05, 3.937009023502469e-05, 4.089415961061604e-05, 4.2418228986207396e-05, 4.394229836179875e-05, 4.54663677373901e-05, 4.6990433475002646e-05, 4.8514506488572806e-05, 5.003857222618535e-05, 5.1562641601776704e-05, 5.308671097736806e-05, 5.461078035295941e-05, 5.613484972855076e-05, 5.7658919104142115e-05, 5.918298847973347e-05, 6.070705421734601e-05, 6.223112723091617e-05, 6.375519296852872e-05]}, "gradients/bert.encoder.layer.16.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 5.0, 4.0, 1.0, 3.0, 1.0, 4.0, 5.0, 10.0, 10.0, 7.0, 10.0, 19.0, 28.0, 43.0, 52.0, 83.0, 114.0, 122.0, 143.0, 86.0, 77.0, 52.0, 39.0, 24.0, 15.0, 14.0, 7.0, 8.0, 7.0, 8.0, 5.0, 1.0, 2.0, 1.0, 5.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.6948235901945736e-06, -3.5857547118212096e-06, -3.476686060821521e-06, -3.3676174098218326e-06, -3.2585485314484686e-06, -3.1494796530751046e-06, -3.040411002075416e-06, -2.9313423510757275e-06, -2.8222734727023635e-06, -2.7132045943289995e-06, -2.604135943329311e-06, -2.4950672923296224e-06, -2.3859984139562584e-06, -2.2769295355828945e-06, -2.167860884583206e-06, -2.0587922335835174e-06, -1.9497233552101534e-06, -1.8406545905236271e-06, -1.7315858258371009e-06, -1.6225170611505746e-06, -1.5134482964640483e-06, -1.404379531777522e-06, -1.2953107670909958e-06, -1.1862420024044695e-06, -1.0771732377179433e-06, -9.68104473031417e-07, -8.590357083448907e-07, -7.499669436583645e-07, -6.408981789718382e-07, -5.318294142853119e-07, -4.227606495987857e-07, -3.136918849122594e-07, -2.046228928520577e-07, -9.555412816553144e-08, 1.3514636520994827e-08, 1.225834012075211e-07, 2.3165216589404736e-07, 3.407209305805736e-07, 4.497896952670999e-07, 5.588584599536262e-07, 6.679272246401524e-07, 7.769959893266787e-07, 8.86064754013205e-07, 9.951335186997312e-07, 1.1042022833862575e-06, 1.2132710480727837e-06, 1.32233981275931e-06, 1.4314085774458363e-06, 1.5404773421323625e-06, 1.6495461068188888e-06, 1.758614871505415e-06, 1.8676836361919413e-06, 1.9767524008784676e-06, 2.085821051878156e-06, 2.19488993025152e-06, 2.303958808624884e-06, 2.4130274596245727e-06, 2.522096110624261e-06, 2.631164988997625e-06, 2.740233867370989e-06, 2.8493025183706777e-06, 2.9583711693703663e-06, 3.0674400477437302e-06, 3.1765089261170942e-06, 3.2855775771167828e-06]}, "gradients/bert.encoder.layer.16.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 2.0, 4.0, 1.0, 4.0, 6.0, 0.0, 3.0, 8.0, 12.0, 9.0, 9.0, 23.0, 27.0, 74.0, 134.0, 642.0, 5468.0, 470096.0, 565198.0, 5800.0, 714.0, 160.0, 64.0, 33.0, 12.0, 8.0, 10.0, 6.0, 6.0, 9.0, 5.0, 6.0, 3.0, 1.0, 0.0, 4.0, 1.0, 2.0, 0.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.218230216996744e-05, -5.064817378297448e-05, -4.911404175800271e-05, -4.7579909733030945e-05, -4.6045781346037984e-05, -4.451165295904502e-05, -4.2977520934073254e-05, -4.1443388909101486e-05, -3.9909260522108525e-05, -3.8375132135115564e-05, -3.6841000110143796e-05, -3.530686808517203e-05, -3.3772739698179066e-05, -3.2238611311186105e-05, -3.070447928621434e-05, -2.9170349080231972e-05, -2.7636218874249607e-05, -2.6102088668267243e-05, -2.4567958462284878e-05, -2.3033828256302513e-05, -2.149969805032015e-05, -1.9965567844337784e-05, -1.843143763835542e-05, -1.6897307432373054e-05, -1.536317722639069e-05, -1.3829047020408325e-05, -1.229491681442596e-05, -1.0760786608443595e-05, -9.22665640246123e-06, -7.692526196478866e-06, -6.158395990496501e-06, -4.624265784514137e-06, -3.090135578531772e-06, -1.5560053725494072e-06, -2.187516656704247e-08, 1.5122550394153222e-06, 3.046385245397687e-06, 4.580515451380052e-06, 6.114645657362416e-06, 7.648775863344781e-06, 9.182906069327146e-06, 1.071703627530951e-05, 1.2251166481291875e-05, 1.378529668727424e-05, 1.5319426893256605e-05, 1.685355709923897e-05, 1.8387687305221334e-05, 1.99218175112037e-05, 2.1455947717186064e-05, 2.2990077923168428e-05, 2.4524208129150793e-05, 2.6058338335133158e-05, 2.7592468541115522e-05, 2.9126598747097887e-05, 3.066072895308025e-05, 3.219486097805202e-05, 3.372898936504498e-05, 3.526311775203794e-05, 3.679724977700971e-05, 3.833138180198148e-05, 3.986551018897444e-05, 4.13996385759674e-05, 4.293377060093917e-05, 4.446790262591094e-05, 4.60020310129039e-05]}, "gradients/bert.encoder.layer.15.output.LayerNorm.weight": {"_type": "histogram", "values": [3.0, 10.0, 39.0, 209.0, 538.0, 182.0, 32.0, 8.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1559712220332585e-05, -8.982887266029138e-06, -6.406062766473042e-06, -3.829238266916946e-06, -1.2524133126134984e-06, 1.3244116416899487e-06, 3.901235686498694e-06, 6.478061550296843e-06, 9.054885595105588e-06, 1.1631710549409036e-05, 1.4208535503712483e-05, 1.6785359548521228e-05, 1.9362185412319377e-05, 2.1939009457128122e-05, 2.4515833501936868e-05, 2.7092659365735017e-05, 2.9669483410543762e-05, 3.224630927434191e-05, 3.4823133319150656e-05, 3.73999573639594e-05, 3.997678140876815e-05, 4.255360545357689e-05, 4.513042949838564e-05, 4.770725718117319e-05, 5.0284081225981936e-05, 5.286090527079068e-05, 5.543772931559943e-05, 5.801455699838698e-05, 6.0591381043195724e-05, 6.316820508800447e-05, 6.574502913281322e-05, 6.832185317762196e-05, 7.089868449838832e-05, 7.347550854319707e-05, 7.605233258800581e-05, 7.862915663281456e-05, 8.12059806776233e-05, 8.378281199838966e-05, 8.63596360431984e-05, 8.893646008800715e-05, 9.15132841328159e-05, 9.409010817762464e-05, 9.666693222243339e-05, 9.924375626724213e-05, 0.00010182058031205088, 0.00010439740435685962, 0.00010697422840166837, 0.00010955105972243473, 0.00011212787649128586, 0.0001147047005360946, 0.00011728152458090335, 0.0001198583486257121, 0.00012243517267052084, 0.0001250119967153296, 0.00012758882076013833, 0.00013016564480494708, 0.00013274248340167105, 0.0001353193074464798, 0.00013789613149128854, 0.0001404729555360973, 0.00014304977958090603, 0.00014562660362571478, 0.00014820342767052352, 0.00015078025171533227, 0.00015335707576014102]}, "gradients/bert.encoder.layer.15.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 5.0, 11.0, 5.0, 9.0, 13.0, 10.0, 21.0, 13.0, 31.0, 22.0, 30.0, 36.0, 49.0, 44.0, 52.0, 49.0, 52.0, 47.0, 52.0, 58.0, 41.0, 50.0, 49.0, 36.0, 28.0, 33.0, 26.0, 34.0, 24.0, 19.0, 10.0, 18.0, 8.0, 7.0, 5.0, 6.0, 5.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.631749364605639e-05, -1.5733716281829402e-05, -1.5149939827097114e-05, -1.4566162462870125e-05, -1.3982386008137837e-05, -1.3398608643910848e-05, -1.2814831279683858e-05, -1.2231053915456869e-05, -1.1647277460724581e-05, -1.1063500096497592e-05, -1.0479723641765304e-05, -9.895946277538314e-06, -9.312168913311325e-06, -8.728392458579037e-06, -8.144615094352048e-06, -7.560838184872409e-06, -6.977061275392771e-06, -6.393284365913132e-06, -5.809507456433494e-06, -5.225730092206504e-06, -4.641953182726866e-06, -4.058176273247227e-06, -3.474399136393913e-06, -2.890621999540599e-06, -2.3068450900609605e-06, -1.7230680668944842e-06, -1.139291043728008e-06, -5.555140205615317e-07, 2.826300260494463e-08, 6.120399120845832e-07, 1.1958170489378972e-06, 1.7795941857912112e-06, 2.3633692762814462e-06, 2.9471461857610848e-06, 3.5309233226143988e-06, 4.114700459467713e-06, 4.698477368947351e-06, 5.28225427842699e-06, 5.866031642653979e-06, 6.449808552133618e-06, 7.0335854616132565e-06, 7.617362371092895e-06, 8.201139280572534e-06, 8.784916644799523e-06, 9.368694009026513e-06, 9.9524704637588e-06, 1.053624782798579e-05, 1.1120024282718077e-05, 1.1703801646945067e-05, 1.2287579011172056e-05, 1.2871355465904344e-05, 1.3455132830131333e-05, 1.4038909284863621e-05, 1.462268664909061e-05, 1.52064640133176e-05, 1.579024137754459e-05, 1.637401874177158e-05, 1.6957796105998568e-05, 1.7541573470225558e-05, 1.8125349015463144e-05, 1.8709126379690133e-05, 1.9292903743917122e-05, 1.9876681108144112e-05, 2.04604584723711e-05, 2.1044234017608687e-05]}, "gradients/bert.encoder.layer.15.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 1.0, 1.0, 8.0, 3.0, 4.0, 6.0, 5.0, 8.0, 10.0, 21.0, 18.0, 10.0, 18.0, 34.0, 36.0, 28.0, 29.0, 43.0, 45.0, 44.0, 42.0, 49.0, 47.0, 53.0, 41.0, 53.0, 42.0, 30.0, 37.0, 39.0, 31.0, 25.0, 24.0, 19.0, 21.0, 17.0, 17.0, 13.0, 6.0, 5.0, 10.0, 4.0, 6.0, 5.0, 2.0, 1.0, 2.0, 1.0, 1.0, 2.0], "bins": [-1.4526211089105345e-05, -1.4132540854916442e-05, -1.3738870620727539e-05, -1.3345199477043934e-05, -1.2951529242855031e-05, -1.2557859008666128e-05, -1.2164188774477225e-05, -1.1770518540288322e-05, -1.1376848306099419e-05, -1.0983178071910515e-05, -1.0589507837721612e-05, -1.019583760353271e-05, -9.802166459849104e-06, -9.408496225660201e-06, -9.014825991471298e-06, -8.621155757282395e-06, -8.227485523093492e-06, -7.833815288904589e-06, -7.440144599968335e-06, -7.0464743657794315e-06, -6.652804131590528e-06, -6.259133442654274e-06, -5.865463208465371e-06, -5.471792974276468e-06, -5.078121830592863e-06, -4.68445159640396e-06, -4.290780907467706e-06, -3.897110673278803e-06, -3.5034404390899e-06, -3.1097699775273213e-06, -2.7160995159647427e-06, -2.3224292817758396e-06, -1.9287590475869365e-06, -1.5350886997111957e-06, -1.1414183518354548e-06, -7.477478902728762e-07, -3.540775423971354e-07, 3.959280547860544e-08, 4.33263267041184e-07, 8.269335012300871e-07, 1.2206039627926657e-06, 1.6142743106684065e-06, 2.0079446585441474e-06, 2.401615120106726e-06, 2.7952855816693045e-06, 3.1889558158582076e-06, 3.582626277420786e-06, 3.976296284236014e-06, 4.369966973172268e-06, 4.763637207361171e-06, 5.157307896297425e-06, 5.550978130486328e-06, 5.944648364675231e-06, 6.338318598864134e-06, 6.731989287800388e-06, 7.1256595219892915e-06, 7.5193302109255455e-06, 7.913000445114449e-06, 8.306670679303352e-06, 8.700340913492255e-06, 9.09401205717586e-06, 9.487682291364763e-06, 9.881352525553666e-06, 1.027502275974257e-05, 1.0668692993931472e-05]}, "gradients/bert.encoder.layer.15.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 2.0, 4.0, 3.0, 2.0, 3.0, 10.0, 7.0, 8.0, 11.0, 10.0, 16.0, 17.0, 39.0, 34.0, 66.0, 112.0, 199.0, 332.0, 692.0, 1333.0, 2875.0, 6981.0, 23604.0, 174457.0, 2255113.0, 1587392.0, 110658.0, 18730.0, 6159.0, 2553.0, 1259.0, 654.0, 369.0, 189.0, 132.0, 70.0, 52.0, 45.0, 27.0, 16.0, 13.0, 12.0, 9.0, 7.0, 7.0, 2.0, 5.0, 3.0, 2.0, 3.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.336390025448054e-05, -2.2674992578686215e-05, -2.1986086721881293e-05, -2.1297179046086967e-05, -2.0608273189282045e-05, -1.991936551348772e-05, -1.9230457837693393e-05, -1.854155198088847e-05, -1.785264612408355e-05, -1.7163738448289223e-05, -1.64748325914843e-05, -1.5785924915689975e-05, -1.5097019058885053e-05, -1.4408111383090727e-05, -1.3719204616791103e-05, -1.3030297850491479e-05, -1.2341390174697153e-05, -1.165248340839753e-05, -1.0963576642097905e-05, -1.027466896630358e-05, -9.585763109498657e-06, -8.896855433704332e-06, -8.207948667404708e-06, -7.5190419011050835e-06, -6.8301351348054595e-06, -6.1412283685058355e-06, -5.4523216022062115e-06, -4.763414381159237e-06, -4.074507614859613e-06, -3.3856008485599887e-06, -2.6966936275130138e-06, -2.0077868612133898e-06, -1.3188819139031693e-06, -6.299750339167076e-07, 5.89318460697541e-08, 7.478388397430535e-07, 1.4367456060426775e-06, 2.1256523723423015e-06, 2.8145595933892764e-06, 3.5034663596889004e-06, 4.192373125988524e-06, 4.881279892288148e-06, 5.570186658587772e-06, 6.259093879634747e-06, 6.948000645934371e-06, 7.636906957486644e-06, 8.32581463328097e-06, 9.014721399580594e-06, 9.703628165880218e-06, 1.0392534932179842e-05, 1.1081441698479466e-05, 1.1770349374273792e-05, 1.2459255231078714e-05, 1.314816290687304e-05, 1.3837069673172664e-05, 1.4525976439472288e-05, 1.5214883205771912e-05, 1.5903789972071536e-05, 1.659269764786586e-05, 1.7281603504670784e-05, 1.797051118046511e-05, 1.8659417037270032e-05, 1.9348324713064358e-05, 2.003723056986928e-05, 2.0726138245663606e-05]}, "gradients/bert.encoder.layer.15.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 3.0, 3.0, 6.0, 5.0, 11.0, 12.0, 31.0, 46.0, 65.0, 123.0, 301.0, 658.0, 1258.0, 794.0, 346.0, 180.0, 89.0, 57.0, 42.0, 17.0, 21.0, 6.0, 4.0, 1.0, 2.0, 3.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0186488907493185e-05, -9.883785423880909e-06, -9.581081940268632e-06, -9.278379366151057e-06, -8.97567588253878e-06, -8.672972398926504e-06, -8.370268915314227e-06, -8.06756543170195e-06, -7.764861948089674e-06, -7.4621584644773975e-06, -7.159455435612472e-06, -6.856751952000195e-06, -6.5540489231352694e-06, -6.251345439522993e-06, -5.948641955910716e-06, -5.64593847229844e-06, -5.343235898180865e-06, -5.040532414568588e-06, -4.737829385703662e-06, -4.435125902091386e-06, -4.13242287322646e-06, -3.8297193896141835e-06, -3.527015906001907e-06, -3.2243126497633057e-06, -2.9216093935247045e-06, -2.6189061372861033e-06, -2.316202881047502e-06, -2.0134993974352255e-06, -1.7107961411966244e-06, -1.4080928849580232e-06, -1.1053895150325843e-06, -8.026861451071454e-07, -4.999828888685443e-07, -1.9727957578652422e-07, 1.0542373729549581e-07, 4.0812705037751584e-07, 7.108303634595359e-07, 1.013533619698137e-06, 1.316236989623576e-06, 1.6189403595490148e-06, 1.921643615787616e-06, 2.224346872026217e-06, 2.5270501282648183e-06, 2.829753611877095e-06, 3.132456868115696e-06, 3.4351601243542973e-06, 3.737863607966574e-06, 4.0405666368315e-06, 4.343270120443776e-06, 4.645973604056053e-06, 4.948676632920979e-06, 5.251380116533255e-06, 5.554083145398181e-06, 5.8567866290104575e-06, 6.159490112622734e-06, 6.462193596235011e-06, 6.7648966250999365e-06, 7.067600108712213e-06, 7.370303137577139e-06, 7.673006621189415e-06, 7.975710104801692e-06, 8.278413588413969e-06, 8.581116162531544e-06, 8.88381964614382e-06, 9.186523129756097e-06]}, "gradients/bert.encoder.layer.15.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 4.0, 3.0, 11.0, 14.0, 27.0, 43.0, 69.0, 152.0, 367.0, 1910.0, 4147775.0, 42618.0, 852.0, 224.0, 99.0, 51.0, 26.0, 17.0, 14.0, 5.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00022839238226879388, -0.0002207256475230679, -0.0002130589127773419, -0.0002053921780316159, -0.00019772545783780515, -0.00019005872309207916, -0.00018239198834635317, -0.00017472525360062718, -0.0001670585188549012, -0.0001593917841091752, -0.00015172504936344922, -0.00014405831461772323, -0.00013639157987199724, -0.00012872484512627125, -0.00012105812493246049, -0.0001133913901867345, -0.00010572465544100851, -9.805792069528252e-05, -9.039118594955653e-05, -8.272445847978815e-05, -7.505772373406217e-05, -6.739098898833618e-05, -5.9724257880588993e-05, -5.205752677284181e-05, -4.439079202711582e-05, -3.672405728138983e-05, -2.905732617364265e-05, -2.1390593246906064e-05, -1.3723860320169479e-05, -6.057125574443489e-06, 1.609605533303693e-06, 9.276336641050875e-06, 1.6943085938692093e-05, 2.460981886542868e-05, 3.2276551792165264e-05, 3.994328289991245e-05, 4.7610017645638436e-05, 5.5276752391364425e-05, 6.29434798611328e-05, 7.061021460685879e-05, 7.827694935258478e-05, 8.594368409831077e-05, 9.361041884403676e-05, 0.00010127714631380513, 0.00010894388105953112, 0.00011661061580525711, 0.0001242773432750255, 0.00013194407802075148, 0.00013961081276647747, 0.00014727754751220345, 0.00015494428225792944, 0.00016261101700365543, 0.00017027775174938142, 0.0001779444864951074, 0.00018561120668891817, 0.00019327794143464416, 0.00020094467618037015, 0.00020861141092609614, 0.00021627814567182213, 0.00022394488041754812, 0.00023161160061135888, 0.00023927833535708487, 0.00024694507010281086, 0.00025461180484853685, 0.00026227853959426284]}, "gradients/bert.encoder.layer.15.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 3.0, 1.0, 8.0, 12.0, 19.0, 31.0, 54.0, 77.0, 105.0, 128.0, 154.0, 130.0, 95.0, 63.0, 49.0, 30.0, 22.0, 14.0, 3.0, 6.0, 1.0, 1.0, 3.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7433690775069408e-05, -2.678367127373349e-05, -2.6133649953408167e-05, -2.5483630452072248e-05, -2.483361095073633e-05, -2.418359144940041e-05, -2.3533570129075088e-05, -2.288355062773917e-05, -2.223353112640325e-05, -2.158351162506733e-05, -2.093349030474201e-05, -2.028347080340609e-05, -1.963345130207017e-05, -1.8983431800734252e-05, -1.833341048040893e-05, -1.768339097907301e-05, -1.7033369658747688e-05, -1.638335015741177e-05, -1.5733328837086447e-05, -1.5083309335750528e-05, -1.4433289834414609e-05, -1.3783269423583988e-05, -1.3133249012753367e-05, -1.2483229511417449e-05, -1.183321001008153e-05, -1.1183189599250909e-05, -1.053317009791499e-05, -9.88314968708437e-06, -9.23313018574845e-06, -8.58310977491783e-06, -7.933089364087209e-06, -7.28306986275129e-06, -6.633050361415371e-06, -5.9830304053321015e-06, -5.333010449248832e-06, -4.682990038418211e-06, -4.032970537082292e-06, -3.382950353625347e-06, -2.7329301701684017e-06, -2.082910214085132e-06, -1.432890258001862e-06, -7.828702450751734e-07, -1.328502321484848e-07, 5.171698376216227e-07, 1.1671897937048925e-06, 1.8172097497881623e-06, 2.4672299332451075e-06, 3.1172498893283773e-06, 3.767269845411647e-06, 4.417289801494917e-06, 5.067309757578187e-06, 5.717330168408807e-06, 6.367349669744726e-06, 7.017370080575347e-06, 7.667389581911266e-06, 8.317409992741887e-06, 8.967430403572507e-06, 9.617450814403128e-06, 1.0267470315739047e-05, 1.0917490726569667e-05, 1.1567510227905586e-05, 1.2217530638736207e-05, 1.2867551049566828e-05, 1.3517570550902747e-05, 1.4167590052238666e-05]}, "gradients/bert.encoder.layer.15.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 1.0, 4.0, 4.0, 7.0, 7.0, 5.0, 9.0, 9.0, 14.0, 13.0, 18.0, 23.0, 24.0, 38.0, 37.0, 36.0, 41.0, 43.0, 44.0, 48.0, 39.0, 39.0, 33.0, 40.0, 46.0, 41.0, 39.0, 37.0, 29.0, 28.0, 23.0, 28.0, 24.0, 19.0, 21.0, 18.0, 20.0, 12.0, 12.0, 7.0, 6.0, 4.0, 5.0, 3.0, 3.0, 6.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0], "bins": [-1.2738503755826969e-05, -1.2358176718407776e-05, -1.1977850590483285e-05, -1.1597523553064093e-05, -1.12171965156449e-05, -1.0836869478225708e-05, -1.0456543350301217e-05, -1.0076216312882025e-05, -9.695890184957534e-06, -9.315563147538342e-06, -8.935237019613851e-06, -8.554909982194658e-06, -8.174582944775466e-06, -7.794256816850975e-06, -7.413929779431783e-06, -7.03360274201259e-06, -6.653275704593398e-06, -6.272949121921556e-06, -5.892622084502364e-06, -5.512295501830522e-06, -5.1319684644113295e-06, -4.751641881739488e-06, -4.371315299067646e-06, -3.990988261648454e-06, -3.610661678976612e-06, -3.230334868931095e-06, -2.850008058885578e-06, -2.4696814762137365e-06, -2.0893546661682194e-06, -1.7090278561227024e-06, -1.3287012734508608e-06, -9.483744634053437e-07, -5.680485628545284e-07, -1.8772180965243024e-07, 1.9260494354966795e-07, 5.729316399083473e-07, 9.532584499538643e-07, 1.3335852599993814e-06, 1.713911842671223e-06, 2.09423865271674e-06, 2.474565462762257e-06, 2.854892272807774e-06, 3.235219082853291e-06, 3.615545665525133e-06, 3.995872248196974e-06, 4.376199285616167e-06, 4.7565258682880085e-06, 5.13685245095985e-06, 5.517179488379043e-06, 5.897506071050884e-06, 6.277833108470077e-06, 6.658159691141918e-06, 7.038486728561111e-06, 7.418813311232952e-06, 7.799139893904794e-06, 8.179466931323987e-06, 8.559793059248477e-06, 8.94012009666767e-06, 9.32044622459216e-06, 9.700773262011353e-06, 1.0081100299430545e-05, 1.0461426427355036e-05, 1.0841753464774229e-05, 1.1222080502193421e-05, 1.1602407539612614e-05]}, "gradients/bert.encoder.layer.15.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 6.0, 9.0, 5.0, 7.0, 16.0, 16.0, 22.0, 29.0, 45.0, 46.0, 63.0, 52.0, 60.0, 72.0, 50.0, 66.0, 75.0, 54.0, 49.0, 43.0, 40.0, 33.0, 26.0, 29.0, 28.0, 23.0, 11.0, 12.0, 9.0, 4.0, 6.0, 3.0, 0.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.6233156202360988e-05, -1.566084029036574e-05, -1.5088526197359897e-05, -1.4516211194859352e-05, -1.3943896192358807e-05, -1.3371581189858261e-05, -1.2799266187357716e-05, -1.2226951184857171e-05, -1.1654636182356626e-05, -1.108232117985608e-05, -1.0510006177355535e-05, -9.93769117485499e-06, -9.365376172354445e-06, -8.7930611698539e-06, -8.220746167353354e-06, -7.64843116485281e-06, -7.076116162352264e-06, -6.503801159851719e-06, -5.9314861573511735e-06, -5.359171154850628e-06, -4.786856152350083e-06, -4.214541149849538e-06, -3.6422261473489925e-06, -3.0699111448484473e-06, -2.497596142347902e-06, -1.925281139847357e-06, -1.3529661373468116e-06, -7.806511348462664e-07, -2.0833613234572113e-07, 3.639788701548241e-07, 9.362938726553693e-07, 1.5086088751559146e-06, 2.0809256966458634e-06, 2.6532406991464086e-06, 3.225555701646954e-06, 3.797870704147499e-06, 4.370185706648044e-06, 4.9425007091485895e-06, 5.514815711649135e-06, 6.08713071414968e-06, 6.659445716650225e-06, 7.2317607191507705e-06, 7.804075721651316e-06, 8.376390724151861e-06, 8.948705726652406e-06, 9.521020729152951e-06, 1.0093335731653497e-05, 1.0665650734154042e-05, 1.1237965736654587e-05, 1.1810280739155132e-05, 1.2382595741655678e-05, 1.2954910744156223e-05, 1.3527225746656768e-05, 1.4099540749157313e-05, 1.4671855751657858e-05, 1.5244170754158404e-05, 1.581648575665895e-05, 1.6388799849664792e-05, 1.696111576166004e-05, 1.7533431673655286e-05, 1.810574576666113e-05, 1.8678059859666973e-05, 1.925037577166222e-05, 1.9822691683657467e-05, 2.039500577666331e-05]}, "gradients/bert.encoder.layer.15.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 2.0, 2.0, 2.0, 2.0, 11.0, 6.0, 11.0, 16.0, 21.0, 38.0, 63.0, 70.0, 104.0, 172.0, 227.0, 344.0, 495.0, 798.0, 1260.0, 2091.0, 3223.0, 5503.0, 9998.0, 17627.0, 33865.0, 70588.0, 163949.0, 327135.0, 222927.0, 93265.0, 43531.0, 21840.0, 11951.0, 6766.0, 3998.0, 2317.0, 1481.0, 959.0, 622.0, 405.0, 274.0, 195.0, 118.0, 88.0, 76.0, 50.0, 37.0, 19.0, 7.0, 7.0, 3.0, 3.0, 4.0, 3.0, 0.0, 2.0, 1.0, 1.0], "bins": [-1.087778673536377e-05, -1.0554773325566202e-05, -1.0231759006273933e-05, -9.908744686981663e-06, -9.585731277184095e-06, -9.262717867386527e-06, -8.939703548094258e-06, -8.616689228801988e-06, -8.29367581900442e-06, -7.970662409206852e-06, -7.647648089914583e-06, -7.324634225369664e-06, -7.001620360824745e-06, -6.678606496279826e-06, -6.355592631734908e-06, -6.032578767189989e-06, -5.70956490264507e-06, -5.386551038100151e-06, -5.063537173555233e-06, -4.740523309010314e-06, -4.417509444465395e-06, -4.094495579920476e-06, -3.7714817153755575e-06, -3.4484678508306388e-06, -3.12545398628572e-06, -2.8024401217408013e-06, -2.4794262571958825e-06, -2.1564123926509637e-06, -1.833398528106045e-06, -1.5103846635611262e-06, -1.1873707990162075e-06, -8.643569344712887e-07, -5.413439794210717e-07, -2.1833011487615295e-07, 1.0468374966876581e-07, 4.276976142136846e-07, 7.507114787586033e-07, 1.073725343303522e-06, 1.3967392078484409e-06, 1.7197530723933596e-06, 2.0427669369382784e-06, 2.365780801483197e-06, 2.688794666028116e-06, 3.0118085305730347e-06, 3.3348223951179534e-06, 3.657836259662872e-06, 3.980850124207791e-06, 4.30386398875271e-06, 4.6268778532976285e-06, 4.949891717842547e-06, 5.272905582387466e-06, 5.595919446932385e-06, 5.9189333114773035e-06, 6.241947176022222e-06, 6.564961040567141e-06, 6.88797490511206e-06, 7.2109887696569785e-06, 7.534002634201897e-06, 7.857016498746816e-06, 8.180029908544384e-06, 8.503044227836654e-06, 8.826058547128923e-06, 9.149071956926491e-06, 9.472085366724059e-06, 9.795099686016329e-06]}, "gradients/bert.encoder.layer.15.attention.self.value.bias": {"_type": "histogram", "values": [3.0, 2.0, 5.0, 4.0, 4.0, 4.0, 2.0, 11.0, 6.0, 8.0, 12.0, 15.0, 12.0, 25.0, 23.0, 22.0, 23.0, 28.0, 29.0, 39.0, 40.0, 42.0, 34.0, 56.0, 52.0, 55.0, 55.0, 37.0, 43.0, 34.0, 41.0, 37.0, 36.0, 27.0, 23.0, 27.0, 22.0, 12.0, 13.0, 5.0, 4.0, 7.0, 11.0, 8.0, 3.0, 9.0, 3.0, 2.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.619327101972885e-06, -9.2294621936162e-06, -8.839597285259515e-06, -8.449733286397532e-06, -8.059868378040846e-06, -7.670003469684161e-06, -7.280138561327476e-06, -6.890273652970791e-06, -6.500408744614106e-06, -6.1105438362574205e-06, -5.720679382648086e-06, -5.330814474291401e-06, -4.940949565934716e-06, -4.5510851123253815e-06, -4.161220203968696e-06, -3.771355295612011e-06, -3.381490842002677e-06, -2.991626161019667e-06, -2.601761252662982e-06, -2.211896571679972e-06, -1.8220317770101246e-06, -1.4321669823402772e-06, -1.0423023013572674e-06, -6.524373930005822e-07, -2.625727120175725e-07, 1.2729205423056555e-07, 5.171568204787036e-07, 9.070215583051322e-07, 1.2968863529749797e-06, 1.6867511476448271e-06, 2.076615828627837e-06, 2.466480736984522e-06, 2.856345417967532e-06, 3.2462100989505416e-06, 3.6360750073072268e-06, 4.0259396882902365e-06, 4.415804596646922e-06, 4.805669050256256e-06, 5.195533958612941e-06, 5.585398866969626e-06, 5.975263775326312e-06, 6.365128683682997e-06, 6.754993137292331e-06, 7.144858045649016e-06, 7.5347229540057015e-06, 7.924587407615036e-06, 8.314452315971721e-06, 8.704317224328406e-06, 9.09418122319039e-06, 9.484046131547075e-06, 9.87391103990376e-06, 1.0263775038765743e-05, 1.0653639947122429e-05, 1.1043504855479114e-05, 1.1433369763835799e-05, 1.1823234672192484e-05, 1.221309958054917e-05, 1.2602964488905855e-05, 1.299282939726254e-05, 1.3382694305619225e-05, 1.3772558304481208e-05, 1.4162423212837894e-05, 1.4552288121194579e-05, 1.4942153029551264e-05, 1.533201793790795e-05]}, "gradients/bert.encoder.layer.15.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 6.0, 8.0, 5.0, 10.0, 15.0, 14.0, 16.0, 18.0, 25.0, 32.0, 39.0, 55.0, 55.0, 71.0, 89.0, 94.0, 100.0, 124.0, 903.0, 972704.0, 73151.0, 287.0, 124.0, 117.0, 91.0, 58.0, 83.0, 46.0, 57.0, 33.0, 25.0, 27.0, 13.0, 14.0, 12.0, 15.0, 8.0, 6.0, 6.0, 7.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.000159443385200575, -0.0001539146905997768, -0.00014838598144706339, -0.0001428572868462652, -0.000137328592245467, -0.0001317998830927536, -0.0001262711884919554, -0.0001207424866151996, -0.00011521378473844379, -0.00010968508286168799, -0.0001041563882608898, -9.8627686384134e-05, -9.309898450737819e-05, -8.757028263062239e-05, -8.20415880298242e-05, -7.65128861530684e-05, -7.09841915522702e-05, -6.54554896755144e-05, -5.99267914367374e-05, -5.4398093197960407e-05, -4.88693913212046e-05, -4.3340693082427606e-05, -3.781199484365061e-05, -3.2283292966894805e-05, -2.675459472811781e-05, -2.122589467035141e-05, -1.5697194612585008e-05, -1.0168496373808011e-05, -4.639796316041611e-06, 8.889037417247891e-07, 6.417601980501786e-06, 1.194630385725759e-05, 1.7475002096034586e-05, 2.3003702153800987e-05, 2.8532402211567387e-05, 3.4061100450344384e-05, 3.958980232710019e-05, 4.5118500565877184e-05, 5.064719880465418e-05, 5.6175900681409985e-05, 6.170460255816579e-05, 6.723330443492159e-05, 7.276199903571978e-05, 7.829070091247559e-05, 8.381940278923139e-05, 8.93481046659872e-05, 9.487679926678538e-05, 0.00010040550114354119, 0.00010593419574433938, 0.00011146289762109518, 0.00011699159222189337, 0.00012252028682269156, 0.00012804899597540498, 0.00013357769057620317, 0.00013910638517700136, 0.00014463509432971478, 0.00015016378893051296, 0.00015569248353131115, 0.00016122119268402457, 0.00016674988728482276, 0.00017227858188562095, 0.00017780729103833437, 0.00018333598563913256, 0.00018886468023993075, 0.00019439338939264417]}, "gradients/bert.encoder.layer.15.attention.self.key.bias": {"_type": "histogram", "values": [3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 3.0, 0.0, 2.0, 3.0, 5.0, 3.0, 11.0, 8.0, 25.0, 17.0, 31.0, 30.0, 67.0, 50.0, 92.0, 38.0, 92.0, 139.0, 72.0, 77.0, 48.0, 58.0, 33.0, 26.0, 12.0, 36.0, 6.0, 10.0, 1.0, 7.0, 2.0, 2.0, 1.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.547473508864641e-13, -4.409805853811122e-13, -4.2721381987576024e-13, -4.134470543704083e-13, -3.9968028886505635e-13, -3.859135233597044e-13, -3.7214675785435247e-13, -3.5837999234900053e-13, -3.446132268436486e-13, -3.3084646133829665e-13, -3.170796958329447e-13, -3.0331293032759277e-13, -2.8954616482224083e-13, -2.757793993168889e-13, -2.6201263381153694e-13, -2.48245868306185e-13, -2.3447910280083306e-13, -2.2071233729548112e-13, -2.0694557179012918e-13, -1.9317880628477724e-13, -1.794120407794253e-13, -1.6564527527407336e-13, -1.5187850976872141e-13, -1.3811174426336947e-13, -1.2434497875801753e-13, -1.1057821325266559e-13, -9.681144774731365e-14, -8.304468224196171e-14, -6.927791673660977e-14, -5.551115123125783e-14, -4.1744385725905886e-14, -2.7977620220553945e-14, -1.4210854715202004e-14, -4.440892098500626e-16, 1.3322676295501878e-14, 2.708944180085382e-14, 4.085620730620576e-14, 5.46229728115577e-14, 6.838973831690964e-14, 8.215650382226158e-14, 9.592326932761353e-14, 1.0969003483296547e-13, 1.234568003383174e-13, 1.3722356584366935e-13, 1.509903313490213e-13, 1.6475709685437323e-13, 1.7852386235972517e-13, 1.9229062786507711e-13, 2.0605739337042905e-13, 2.19824158875781e-13, 2.3359092438113294e-13, 2.473576898864849e-13, 2.611244553918368e-13, 2.7489122089718876e-13, 2.886579864025407e-13, 3.0242475190789264e-13, 3.161915174132446e-13, 3.299582829185965e-13, 3.4372504842394846e-13, 3.574918139293004e-13, 3.7125857943465235e-13, 3.850253449400043e-13, 3.9879211044535623e-13, 4.1255887595070817e-13, 4.263256414560601e-13]}, "gradients/bert.encoder.layer.15.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 4.0, 6.0, 3.0, 5.0, 11.0, 11.0, 12.0, 25.0, 47.0, 57.0, 117.0, 295.0, 5024.0, 851509.0, 189306.0, 1687.0, 197.0, 100.0, 65.0, 31.0, 17.0, 13.0, 5.0, 8.0, 4.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-3.5739209124585614e-05, -3.4769320336636156e-05, -3.379942791070789e-05, -3.282953912275843e-05, -3.1859650334808975e-05, -3.088975790888071e-05, -2.9919869120931253e-05, -2.8949980332981795e-05, -2.7980089726042934e-05, -2.7010199119104072e-05, -2.6040310331154615e-05, -2.5070419724215753e-05, -2.4100529117276892e-05, -2.3130640329327434e-05, -2.2160749722388573e-05, -2.119085911544971e-05, -2.0220970327500254e-05, -1.9251079720561393e-05, -1.8281190932611935e-05, -1.7311300325673074e-05, -1.6341411537723616e-05, -1.5371520930784754e-05, -1.4401630323845893e-05, -1.3431740626401734e-05, -1.2461850928957574e-05, -1.1491961231513415e-05, -1.0522071534069255e-05, -9.552180927130394e-06, -8.582291229686234e-06, -7.612401532242075e-06, -6.642511380050564e-06, -5.672621227859054e-06, -4.702731530414894e-06, -3.7328416055970592e-06, -2.7629516807792243e-06, -1.7930617559613893e-06, -8.231718311435543e-07, 1.4671786630060524e-07, 1.1166080184921157e-06, 2.086498170683626e-06, 3.0563878681277856e-06, 4.026277565571945e-06, 4.996167717763456e-06, 5.966057869954966e-06, 6.9359475673991255e-06, 7.905837264843285e-06, 8.875727871782146e-06, 9.845617569226306e-06, 1.0815507266670465e-05, 1.1785396964114625e-05, 1.2755286661558785e-05, 1.3725177268497646e-05, 1.4695066965941805e-05, 1.5664956663385965e-05, 1.6634847270324826e-05, 1.7604736058274284e-05, 1.8574626665213145e-05, 1.9544517272152007e-05, 2.0514406060101464e-05, 2.1484296667040326e-05, 2.2454187273979187e-05, 2.3424076061928645e-05, 2.4393966668867506e-05, 2.5363857275806367e-05, 2.6333746063755825e-05]}, "gradients/bert.encoder.layer.15.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 0.0, 2.0, 3.0, 7.0, 3.0, 9.0, 9.0, 15.0, 18.0, 26.0, 42.0, 48.0, 74.0, 106.0, 106.0, 124.0, 120.0, 89.0, 61.0, 41.0, 36.0, 25.0, 14.0, 9.0, 5.0, 8.0, 4.0, 0.0, 7.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.2422994991065934e-06, -3.1527288228971884e-06, -3.0631581466877833e-06, -2.9735874704783782e-06, -2.884016794268973e-06, -2.794446118059568e-06, -2.704875441850163e-06, -2.615304765640758e-06, -2.525734089431353e-06, -2.436163413221948e-06, -2.3465927370125428e-06, -2.2570220608031377e-06, -2.1674513845937327e-06, -2.0778807083843276e-06, -1.9883100321749225e-06, -1.8987393559655175e-06, -1.8091685660692747e-06, -1.7195978898598696e-06, -1.6300272136504645e-06, -1.5404565374410595e-06, -1.4508858612316544e-06, -1.3613151850222494e-06, -1.2717443951260066e-06, -1.1821737189166015e-06, -1.0926030427071964e-06, -1.0030323664977914e-06, -9.134616902883863e-07, -8.238910140789812e-07, -7.343203378695762e-07, -6.447496616601711e-07, -5.551789286073472e-07, -4.656082523979421e-07, -3.760376330319559e-07, -2.8646695682255086e-07, -1.9689626640229108e-07, -1.073255759820313e-07, -1.775489977262623e-08, 7.181577643677883e-08, 1.6138648106789333e-07, 2.509571572772984e-07, 3.4052783348670346e-07, 4.300985096961085e-07, 5.196691859055136e-07, 6.092399189583375e-07, 6.988105951677426e-07, 7.883812713771476e-07, 8.779519475865527e-07, 9.675226237959578e-07, 1.0570933000053628e-06, 1.146663976214768e-06, 1.236234652424173e-06, 1.325805328633578e-06, 1.415376004842983e-06, 1.5049466810523882e-06, 1.594517470948631e-06, 1.684088147158036e-06, 1.773658823367441e-06, 1.8632294995768461e-06, 1.952800175786251e-06, 2.0423708519956563e-06, 2.1319415282050613e-06, 2.2215122044144664e-06, 2.3110828806238715e-06, 2.4006535568332765e-06, 2.4902242330426816e-06]}, "gradients/bert.encoder.layer.15.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 3.0, 5.0, 7.0, 14.0, 10.0, 25.0, 49.0, 76.0, 196.0, 1667.0, 231282.0, 811426.0, 3314.0, 258.0, 100.0, 45.0, 20.0, 18.0, 20.0, 6.0, 4.0, 6.0, 2.0, 4.0, 3.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.5589888284448534e-05, -3.4276730730198324e-05, -3.296357681392692e-05, -3.165041925967671e-05, -3.0337263524415903e-05, -2.9024107789155096e-05, -2.7710950234904885e-05, -2.639779449964408e-05, -2.508463876438327e-05, -2.3771483029122464e-05, -2.2458327293861657e-05, -2.1145169739611447e-05, -1.983201400435064e-05, -1.8518858269089833e-05, -1.7205700714839622e-05, -1.5892544979578815e-05, -1.4579389244318008e-05, -1.3266233509057201e-05, -1.1953076864301693e-05, -1.0639920219546184e-05, -9.326764484285377e-06, -8.01360874902457e-06, -6.700452104269061e-06, -5.3872954595135525e-06, -4.0741397242527455e-06, -2.7609835342445876e-06, -1.4478273442364298e-06, -1.3467115422827192e-07, 1.178485035779886e-06, 2.491641225788044e-06, 3.8047974157962017e-06, 5.1179540605517104e-06, 6.43110615783371e-06, 7.744261893094517e-06, 9.057418537850026e-06, 1.0370575182605535e-05, 1.1683730917866342e-05, 1.2996886653127149e-05, 1.4310043297882657e-05, 1.5623199942638166e-05, 1.6936355677898973e-05, 1.824951141315978e-05, 1.9562667148420587e-05, 2.0875824702670798e-05, 2.2188980437931605e-05, 2.350213617319241e-05, 2.4815293727442622e-05, 2.612844946270343e-05, 2.7441605197964236e-05, 2.8754760933225043e-05, 3.006791666848585e-05, 3.138107422273606e-05, 3.269423177698627e-05, 3.4007385693257675e-05, 3.5320543247507885e-05, 3.663369716377929e-05, 3.79468547180295e-05, 3.926001227227971e-05, 4.057316618855111e-05, 4.1886323742801324e-05, 4.319947765907273e-05, 4.451263521332294e-05, 4.582579276757315e-05, 4.713895032182336e-05, 4.845210423809476e-05]}, "gradients/bert.encoder.layer.14.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 5.0, 22.0, 167.0, 506.0, 269.0, 37.0, 7.0, 4.0], "bins": [-0.0001462556392652914, -0.00014380161883309484, -0.0001413476129528135, -0.00013889359252061695, -0.0001364395720884204, -0.00013398556620813906, -0.0001315315457759425, -0.00012907752534374595, -0.00012662351946346462, -0.00012416949903126806, -0.00012171548587502912, -0.00011926147271879017, -0.00011680745956255123, -0.00011435344640631229, -0.00011189942597411573, -0.00010944541281787679, -0.00010699139238568023, -0.00010453737922944129, -0.00010208335879724473, -9.962934564100578e-05, -9.717533248476684e-05, -9.472131205257028e-05, -9.226729889633134e-05, -8.98132857400924e-05, -8.735926530789584e-05, -8.49052521516569e-05, -8.245123171946034e-05, -7.99972185632214e-05, -7.754320540698245e-05, -7.508919225074351e-05, -7.263517181854695e-05, -7.018115866230801e-05, -6.772714550606906e-05, -6.527313234983012e-05, -6.281911191763356e-05, -6.036509876139462e-05, -5.7911085605155677e-05, -5.5457068810937926e-05, -5.3003052016720176e-05, -5.054903886048123e-05, -4.809502570424229e-05, -4.564100891002454e-05, -4.3186995753785595e-05, -4.0732978959567845e-05, -3.82789658033289e-05, -3.582494900911115e-05, -3.33709322148934e-05, -3.091691905865446e-05, -2.8462900445447303e-05, -2.6008885470218956e-05, -2.3554868676001206e-05, -2.110085370077286e-05, -1.8646838725544512e-05, -1.6192823750316165e-05, -1.3738807865593117e-05, -1.1284791980870068e-05, -8.830777005641721e-06, -6.376761575666023e-06, -3.922746145690326e-06, -1.4687307157146279e-06, 9.852847142610699e-07, 3.4392996894894168e-06, 5.8933155742124654e-06, 8.347331458935514e-06, 1.0801346434163861e-05]}, "gradients/bert.encoder.layer.14.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 7.0, 2.0, 2.0, 4.0, 7.0, 4.0, 5.0, 5.0, 14.0, 15.0, 20.0, 20.0, 19.0, 34.0, 35.0, 37.0, 28.0, 43.0, 45.0, 36.0, 43.0, 42.0, 57.0, 61.0, 47.0, 44.0, 29.0, 41.0, 31.0, 37.0, 24.0, 15.0, 28.0, 34.0, 28.0, 9.0, 17.0, 7.0, 11.0, 7.0, 3.0, 6.0, 7.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.4256414942792617e-05, -1.3780030712950975e-05, -1.3303646483109333e-05, -1.282726225326769e-05, -1.235087893292075e-05, -1.1874494703079108e-05, -1.1398110473237466e-05, -1.0921726243395824e-05, -1.0445342923048884e-05, -9.968958693207242e-06, -9.4925744633656e-06, -9.016190233523957e-06, -8.539806913177017e-06, -8.063422683335375e-06, -7.587038453493733e-06, -7.110654223652091e-06, -6.634269993810449e-06, -6.157885763968807e-06, -5.6815019888745155e-06, -5.2051177590328734e-06, -4.728733983938582e-06, -4.25234975409694e-06, -3.775965524255298e-06, -3.2995815217873314e-06, -2.823197519319365e-06, -2.346813516851398e-06, -1.8704294006965938e-06, -1.3940452845417894e-06, -9.176612820738228e-07, -4.4127727960585617e-07, 3.5106950235785916e-08, 5.114909527037526e-07, 9.878749551717192e-07, 1.4642589576396858e-06, 1.9406429601076525e-06, 2.4170271899492946e-06, 2.893411192417261e-06, 3.369795194885228e-06, 3.84617942472687e-06, 4.322563654568512e-06, 4.798947429662803e-06, 5.275331659504445e-06, 5.7517154345987365e-06, 6.2280996644403785e-06, 6.704483894282021e-06, 7.180867669376312e-06, 7.657252353965305e-06, 8.133635674312245e-06, 8.610019904153887e-06, 9.08640413399553e-06, 9.562788363837171e-06, 1.0039171684184112e-05, 1.0515555914025754e-05, 1.0991940143867396e-05, 1.1468324373709038e-05, 1.194470860355068e-05, 1.2421092833392322e-05, 1.2897477063233964e-05, 1.3373861293075606e-05, 1.3850245522917248e-05, 1.4326628843264189e-05, 1.480301307310583e-05, 1.5279398212442175e-05, 1.5755780623294413e-05, 1.6232164853136055e-05]}, "gradients/bert.encoder.layer.14.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 4.0, 4.0, 5.0, 1.0, 5.0, 3.0, 7.0, 11.0, 18.0, 14.0, 16.0, 23.0, 18.0, 26.0, 26.0, 37.0, 31.0, 46.0, 47.0, 58.0, 57.0, 47.0, 37.0, 37.0, 56.0, 37.0, 40.0, 43.0, 34.0, 33.0, 29.0, 28.0, 14.0, 23.0, 25.0, 15.0, 7.0, 9.0, 6.0, 9.0, 9.0, 5.0, 3.0, 3.0, 1.0, 2.0, 2.0, 1.0, 3.0, 1.0], "bins": [-1.2931435776408762e-05, -1.2576653716678265e-05, -1.2221872566442471e-05, -1.1867090506711975e-05, -1.1512308446981478e-05, -1.1157526387250982e-05, -1.0802745237015188e-05, -1.0447963177284691e-05, -1.0093181117554195e-05, -9.738399057823699e-06, -9.383617907587904e-06, -9.028835847857408e-06, -8.674053788126912e-06, -8.319271728396416e-06, -7.964490578160621e-06, -7.609708518430125e-06, -7.2549273681943305e-06, -6.900145763211185e-06, -6.545363703480689e-06, -6.1905820984975435e-06, -5.835800038767047e-06, -5.481018433783902e-06, -5.1262368288007565e-06, -4.77145476907026e-06, -4.416673164087115e-06, -4.0618915591039695e-06, -3.7071094993734732e-06, -3.352327894390328e-06, -2.997546062033507e-06, -2.6427642296766862e-06, -2.287982624693541e-06, -1.93320079233672e-06, -1.5784189599798992e-06, -1.2236371276230784e-06, -8.688554089530953e-07, -5.140736902831122e-07, -1.5929185792629141e-07, 1.954899744305294e-07, 5.502715794136748e-07, 9.050534117704956e-07, 1.2598352441273164e-06, 1.6146170764841372e-06, 1.969398908840958e-06, 2.3241805138241034e-06, 2.6789623461809242e-06, 3.033744178537745e-06, 3.3885257835208904e-06, 3.7433076158777112e-06, 4.098089448234532e-06, 4.452871053217677e-06, 4.807653112948174e-06, 5.162434717931319e-06, 5.517216777661815e-06, 5.871998382644961e-06, 6.226779987628106e-06, 6.581562047358602e-06, 6.936343652341748e-06, 7.291125257324893e-06, 7.64590731705539e-06, 8.000688467291184e-06, 8.35547052702168e-06, 8.710252586752176e-06, 9.06503373698797e-06, 9.419815796718467e-06, 9.774597856448963e-06]}, "gradients/bert.encoder.layer.14.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 3.0, 2.0, 2.0, 1.0, 4.0, 2.0, 10.0, 3.0, 13.0, 5.0, 17.0, 10.0, 27.0, 36.0, 30.0, 43.0, 61.0, 85.0, 174.0, 298.0, 604.0, 1544.0, 4310.0, 14637.0, 102621.0, 1628860.0, 2268172.0, 145562.0, 18759.0, 5065.0, 1751.0, 726.0, 306.0, 163.0, 129.0, 60.0, 41.0, 38.0, 24.0, 21.0, 16.0, 11.0, 13.0, 7.0, 7.0, 8.0, 6.0, 3.0, 3.0, 0.0, 1.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.9919918486266397e-05, -1.927880111907143e-05, -1.8637683751876466e-05, -1.79965663846815e-05, -1.7355449017486535e-05, -1.671433165029157e-05, -1.6073216102086008e-05, -1.5432098734891042e-05, -1.4790980458201375e-05, -1.414986309100641e-05, -1.3508745723811444e-05, -1.286762926611118e-05, -1.2226511898916215e-05, -1.158539453172125e-05, -1.0944277164526284e-05, -1.0303159797331318e-05, -9.662042430136353e-06, -9.020925062941387e-06, -8.379807695746422e-06, -7.738690328551456e-06, -7.097573416103842e-06, -6.456456048908876e-06, -5.815339136461262e-06, -5.174221769266296e-06, -4.533104402071331e-06, -3.891987034876365e-06, -3.250869895055075e-06, -2.609752755233785e-06, -1.9686353880388197e-06, -1.3275180208438542e-06, -6.864011083962396e-07, -4.52837412012741e-08, 5.958336259936914e-07, 1.2369508795018191e-06, 1.878068133009947e-06, 2.519185272831237e-06, 3.1603026400262024e-06, 3.801420007221168e-06, 4.4425369196687825e-06, 5.083654286863748e-06, 5.7247716540587135e-06, 6.365889021253679e-06, 7.0070063884486444e-06, 7.648122846148908e-06, 8.289240213343874e-06, 8.930357580538839e-06, 9.571474947733805e-06, 1.021259231492877e-05, 1.0853709682123736e-05, 1.1494827049318701e-05, 1.2135944416513667e-05, 1.2777061783708632e-05, 1.3418179150903597e-05, 1.4059296518098563e-05, 1.4700412975798827e-05, 1.5341531252488494e-05, 1.598264861968346e-05, 1.6623765986878425e-05, 1.726488335407339e-05, 1.7906000721268356e-05, 1.854711808846332e-05, 1.9188235455658287e-05, 1.9829352822853252e-05, 2.0470470190048218e-05, 2.111158573825378e-05]}, "gradients/bert.encoder.layer.14.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 1.0, 5.0, 5.0, 4.0, 10.0, 8.0, 13.0, 19.0, 21.0, 40.0, 50.0, 93.0, 156.0, 240.0, 501.0, 835.0, 815.0, 494.0, 298.0, 158.0, 114.0, 65.0, 47.0, 29.0, 19.0, 14.0, 10.0, 4.0, 5.0, 4.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.418443495524116e-06, -4.234610059938859e-06, -4.050776169606252e-06, -3.866942734020995e-06, -3.6831088436883874e-06, -3.4992754081031308e-06, -3.3154417451441986e-06, -3.1316080821852665e-06, -2.9477744192263344e-06, -2.7639407562674023e-06, -2.5801070933084702e-06, -2.396273430349538e-06, -2.2124399947642814e-06, -2.028606104431674e-06, -1.8447726688464172e-06, -1.6609390058874851e-06, -1.477105342928553e-06, -1.2932716799696209e-06, -1.1094380170106888e-06, -9.256044677385944e-07, -7.417708047796623e-07, -5.579371418207302e-07, -3.741035925486358e-07, -1.9026992958970368e-07, -6.43626663077157e-09, 1.773973679064511e-07, 3.612310024436738e-07, 5.45064608559187e-07, 7.288982715181191e-07, 9.127319344770513e-07, 1.0965654837491456e-06, 1.2803991467080778e-06, 1.4642332644143607e-06, 1.6480669273732929e-06, 1.831900590332225e-06, 2.0157340259174816e-06, 2.199567916250089e-06, 2.383401351835346e-06, 2.567235014794278e-06, 2.75106867775321e-06, 2.934902340712142e-06, 3.1187360036710743e-06, 3.3025696666300064e-06, 3.4864033295889385e-06, 3.670236765174195e-06, 3.854070655506803e-06, 4.037904091092059e-06, 4.221737981424667e-06, 4.405571417009924e-06, 4.58940485259518e-06, 4.773238742927788e-06, 4.9570721785130445e-06, 5.140906068845652e-06, 5.324739504430909e-06, 5.508572940016165e-06, 5.692406830348773e-06, 5.8762407206813805e-06, 6.060074156266637e-06, 6.243908046599245e-06, 6.427741482184501e-06, 6.611575372517109e-06, 6.795408808102366e-06, 6.979242243687622e-06, 7.16307613402023e-06, 7.3469095696054865e-06]}, "gradients/bert.encoder.layer.14.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 5.0, 5.0, 7.0, 13.0, 14.0, 23.0, 29.0, 45.0, 69.0, 105.0, 116.0, 237.0, 399.0, 2385.0, 4094373.0, 94676.0, 919.0, 318.0, 188.0, 102.0, 79.0, 46.0, 39.0, 28.0, 20.0, 11.0, 8.0, 6.0, 7.0, 4.0, 6.0, 3.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-0.00017668111831881106, -0.00017188115452881902, -0.00016708117618691176, -0.00016228121239691973, -0.00015748123405501246, -0.00015268127026502043, -0.00014788129192311317, -0.00014308132813312113, -0.00013828134979121387, -0.00013348138600122184, -0.00012868140765931457, -0.00012388144386932254, -0.00011908146552741528, -0.00011428150173742324, -0.00010948153067147359, -0.00010468155960552394, -9.988159581553191e-05, -9.508162474958226e-05, -9.028165368363261e-05, -8.548168261768296e-05, -8.068171155173331e-05, -7.588174776174128e-05, -7.108177669579163e-05, -6.628180562984198e-05, -6.148183456389233e-05, -5.6681863497942686e-05, -5.188189243199304e-05, -4.7081925004022196e-05, -4.228195393807255e-05, -3.74819828721229e-05, -3.268201544415206e-05, -2.788204437820241e-05, -2.308207331225276e-05, -1.828210224630311e-05, -1.3482132999342866e-05, -8.68216284288792e-06, -3.8821926864329726e-06, 9.177783795166761e-07, 5.717747626476921e-06, 1.0517716873437166e-05, 1.5317687939386815e-05, 2.0117659005336463e-05, 2.491762825229671e-05, 2.9717597499256954e-05, 3.45175685652066e-05, 3.931753963115625e-05, 4.411750705912709e-05, 4.891747812507674e-05, 5.371744919102639e-05, 5.851742025697604e-05, 6.331739132292569e-05, 6.811736238887534e-05, 7.291733345482498e-05, 7.771729724481702e-05, 8.251726831076667e-05, 8.731723937671632e-05, 9.211721044266596e-05, 9.691718150861561e-05, 0.00010171715257456526, 0.00010651712364051491, 0.00011131708743050694, 0.00011611706577241421, 0.00012091702956240624, 0.00012571699335239828, 0.00013051697169430554]}, "gradients/bert.encoder.layer.14.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 2.0, 5.0, 5.0, 10.0, 19.0, 49.0, 98.0, 193.0, 240.0, 185.0, 104.0, 58.0, 28.0, 9.0, 8.0, 1.0, 6.0], "bins": [-5.5756725487299263e-05, -5.474955833051354e-05, -5.374239117372781e-05, -5.273522765492089e-05, -5.1728060498135164e-05, -5.072089334134944e-05, -4.971372618456371e-05, -4.8706559027777985e-05, -4.7699395508971065e-05, -4.669222835218534e-05, -4.568506119539961e-05, -4.467789767659269e-05, -4.3670730519806966e-05, -4.266356336302124e-05, -4.165639620623551e-05, -4.0649229049449787e-05, -3.964206189266406e-05, -3.8634894735878333e-05, -3.762772757909261e-05, -3.662056406028569e-05, -3.561339690349996e-05, -3.4606229746714234e-05, -3.359906258992851e-05, -3.259189543314278e-05, -3.1584728276357055e-05, -3.057756111957133e-05, -2.9570395781775005e-05, -2.856322862498928e-05, -2.7556063287192956e-05, -2.654889613040723e-05, -2.5541728973621503e-05, -2.4534561816835776e-05, -2.3527401936007664e-05, -2.2520234779221937e-05, -2.1513069441425614e-05, -2.0505902284639888e-05, -1.9498736946843565e-05, -1.8491569790057838e-05, -1.748440263327211e-05, -1.6477235476486385e-05, -1.5470070138690062e-05, -1.4462903891399037e-05, -1.3455737644108012e-05, -1.2448570487322286e-05, -1.1441404240031261e-05, -1.0434237992740236e-05, -9.42707083595451e-06, -8.419904588663485e-06, -7.41273834137246e-06, -6.405572094081435e-06, -5.39840539204306e-06, -4.391238690004684e-06, -3.3840724427136593e-06, -2.3769061954226345e-06, -1.3697394933842588e-06, -3.6257279134588316e-07, 6.445934559451416e-07, 1.6517599306098418e-06, 2.658926405274542e-06, 3.6660928799392423e-06, 4.6732593546039425e-06, 5.680425601894967e-06, 6.687592303933343e-06, 7.694759005971719e-06, 8.701925253262743e-06]}, "gradients/bert.encoder.layer.14.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 3.0, 1.0, 2.0, 4.0, 4.0, 9.0, 10.0, 9.0, 15.0, 20.0, 13.0, 13.0, 19.0, 16.0, 36.0, 31.0, 46.0, 34.0, 42.0, 41.0, 43.0, 53.0, 41.0, 37.0, 39.0, 41.0, 43.0, 46.0, 34.0, 38.0, 32.0, 24.0, 17.0, 28.0, 27.0, 16.0, 13.0, 15.0, 13.0, 8.0, 5.0, 5.0, 9.0, 6.0, 2.0, 5.0, 2.0, 0.0, 2.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-1.1558851838344708e-05, -1.1211856872250792e-05, -1.0864862815651577e-05, -1.051786784955766e-05, -1.0170872883463744e-05, -9.823877917369828e-06, -9.476883860770613e-06, -9.129888894676697e-06, -8.78289392858278e-06, -8.435898962488864e-06, -8.088904905889649e-06, -7.741909939795732e-06, -7.394914973701816e-06, -7.0479204623552505e-06, -6.700925951008685e-06, -6.3539309849147685e-06, -6.006936473568203e-06, -5.659941962221637e-06, -5.312946996127721e-06, -4.965952484781155e-06, -4.618957518687239e-06, -4.271963007340673e-06, -3.924968041246757e-06, -3.5779735299001914e-06, -3.2309787911799503e-06, -2.8839840524597093e-06, -2.5369893137394683e-06, -2.1899945750192273e-06, -1.842999949985824e-06, -1.496005211265583e-06, -1.1490105862321798e-06, -8.020158475119388e-07, -4.5502110879169777e-07, -1.080263984931662e-07, 2.389683118053654e-07, 5.859629936821875e-07, 9.329577324024285e-07, 1.2799524711226695e-06, 1.6269470961560728e-06, 1.973941834876314e-06, 2.320936573596555e-06, 2.667931312316796e-06, 3.014926051037037e-06, 3.361920789757278e-06, 3.7089153011038434e-06, 4.05591026719776e-06, 4.402904778544325e-06, 4.749899744638242e-06, 5.096894255984807e-06, 5.443888767331373e-06, 5.790883733425289e-06, 6.137878244771855e-06, 6.484873210865771e-06, 6.831867722212337e-06, 7.178862688306253e-06, 7.525857199652819e-06, 7.872851710999385e-06, 8.219846677093301e-06, 8.566840733692516e-06, 8.913835699786432e-06, 9.260830665880349e-06, 9.607825631974265e-06, 9.95481968857348e-06, 1.0301814654667396e-05, 1.0648809620761313e-05]}, "gradients/bert.encoder.layer.14.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 3.0, 4.0, 2.0, 7.0, 7.0, 10.0, 12.0, 14.0, 18.0, 18.0, 20.0, 31.0, 43.0, 39.0, 43.0, 35.0, 64.0, 65.0, 60.0, 45.0, 58.0, 52.0, 64.0, 48.0, 46.0, 38.0, 28.0, 23.0, 23.0, 23.0, 12.0, 15.0, 9.0, 12.0, 7.0, 1.0, 3.0, 5.0, 0.0, 1.0, 3.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2511938621173613e-05, -1.2019758287351578e-05, -1.1527577044034842e-05, -1.1035395800718106e-05, -1.0543215466896072e-05, -1.0051035133074038e-05, -9.558853889757302e-06, -9.066672646440566e-06, -8.574492312618531e-06, -8.082311978796497e-06, -7.590130735479761e-06, -7.097949946910376e-06, -6.6057691583409905e-06, -6.113588369771605e-06, -5.62140758120222e-06, -5.129226792632835e-06, -4.63704600406345e-06, -4.144865215494065e-06, -3.6526844269246794e-06, -3.1605036383552942e-06, -2.668322849785909e-06, -2.176142061216524e-06, -1.6839612726471387e-06, -1.1917804840777535e-06, -6.995996955083683e-07, -2.0741890693898313e-07, 2.8476188163040206e-07, 7.769426701997872e-07, 1.2691234587691724e-06, 1.7613042473385576e-06, 2.253485035907943e-06, 2.745665824477328e-06, 3.2378484320361167e-06, 3.730029220605502e-06, 4.222210009174887e-06, 4.714390797744272e-06, 5.2065715863136575e-06, 5.698752374883043e-06, 6.190933163452428e-06, 6.683113952021813e-06, 7.175294740591198e-06, 7.667475074413233e-06, 8.159656317729969e-06, 8.651837561046705e-06, 9.144017894868739e-06, 9.636198228690773e-06, 1.012837947200751e-05, 1.0620560715324245e-05, 1.111274104914628e-05, 1.1604921382968314e-05, 1.209710262628505e-05, 1.2589283869601786e-05, 1.308146420342382e-05, 1.3573644537245855e-05, 1.406582578056259e-05, 1.4558007023879327e-05, 1.5050187357701361e-05, 1.5542367691523395e-05, 1.603454802534543e-05, 1.6526730178156868e-05, 1.7018910511978902e-05, 1.7511090845800936e-05, 1.8003272998612374e-05, 1.849545333243441e-05, 1.8987633666256443e-05]}, "gradients/bert.encoder.layer.14.attention.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 1.0, 3.0, 0.0, 2.0, 5.0, 6.0, 9.0, 8.0, 9.0, 34.0, 36.0, 77.0, 122.0, 219.0, 377.0, 669.0, 1184.0, 2264.0, 4219.0, 8068.0, 16022.0, 33738.0, 73523.0, 166902.0, 316614.0, 231439.0, 102654.0, 46238.0, 21718.0, 10501.0, 5450.0, 2891.0, 1507.0, 869.0, 449.0, 299.0, 172.0, 108.0, 63.0, 32.0, 16.0, 18.0, 9.0, 7.0, 5.0, 2.0, 0.0, 2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-7.987227945704944e-06, -7.735307917755563e-06, -7.483387889806181e-06, -7.2314678618567996e-06, -6.979547833907418e-06, -6.727627805958036e-06, -6.475707778008655e-06, -6.223787750059273e-06, -5.9718677221098915e-06, -5.71994769416051e-06, -5.468027666211128e-06, -5.216107638261747e-06, -4.964187610312365e-06, -4.712267582362983e-06, -4.460347554413602e-06, -4.20842752646422e-06, -3.9565074985148385e-06, -3.704587470565457e-06, -3.4526674426160753e-06, -3.2007474146666937e-06, -2.948827386717312e-06, -2.6969073587679304e-06, -2.444987330818549e-06, -2.193067302869167e-06, -1.9411472749197856e-06, -1.689227246970404e-06, -1.4373072190210223e-06, -1.1853871910716407e-06, -9.334671631222591e-07, -6.815471351728775e-07, -4.2962710722349584e-07, -1.7770707927411422e-07, 7.421385816996917e-08, 3.261338861193508e-07, 5.780539140687324e-07, 8.29973942018114e-07, 1.0818939699674957e-06, 1.3338139979168773e-06, 1.5857340258662589e-06, 1.8376540538156405e-06, 2.089574081765022e-06, 2.3414941097144037e-06, 2.5934141376637854e-06, 2.845334165613167e-06, 3.0972541935625486e-06, 3.3491742215119302e-06, 3.601094249461312e-06, 3.8530142774106935e-06, 4.104934305360075e-06, 4.356854333309457e-06, 4.608774361258838e-06, 4.86069438920822e-06, 5.1126144171576016e-06, 5.364534445106983e-06, 5.616454473056365e-06, 5.8683745010057464e-06, 6.120294528955128e-06, 6.37221455690451e-06, 6.624134584853891e-06, 6.876054612803273e-06, 7.1279746407526545e-06, 7.379894668702036e-06, 7.631814696651418e-06, 7.8837347246008e-06, 8.135654752550181e-06]}, "gradients/bert.encoder.layer.14.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 2.0, 10.0, 4.0, 9.0, 11.0, 9.0, 9.0, 12.0, 29.0, 23.0, 27.0, 31.0, 37.0, 38.0, 39.0, 41.0, 36.0, 36.0, 47.0, 43.0, 59.0, 50.0, 48.0, 43.0, 39.0, 50.0, 34.0, 22.0, 34.0, 27.0, 22.0, 22.0, 11.0, 7.0, 10.0, 8.0, 9.0, 6.0, 4.0, 4.0, 2.0, 2.0, 2.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.2941487511852756e-05, -1.2533841072581708e-05, -1.212619463331066e-05, -1.1718548194039613e-05, -1.1310901754768565e-05, -1.0903255315497518e-05, -1.0495609785721172e-05, -1.0087963346450124e-05, -9.680316907179076e-06, -9.272670467908029e-06, -8.86502402863698e-06, -8.457377589365933e-06, -8.049732059589587e-06, -7.64208562031854e-06, -7.234439181047492e-06, -6.826792741776444e-06, -6.419146302505396e-06, -6.011499863234349e-06, -5.603853423963301e-06, -5.196207439439604e-06, -4.788561000168556e-06, -4.380914560897509e-06, -3.973268576373812e-06, -3.565622137102764e-06, -3.1579756978317164e-06, -2.7503292585606687e-06, -2.3426830466632964e-06, -1.935036834765924e-06, -1.5273903954948764e-06, -1.1197439562238287e-06, -7.120977443264564e-07, -3.044515324290842e-07, 1.0319399734726176e-07, 5.108403229314717e-07, 9.184866485156817e-07, 1.3261329740998917e-06, 1.7337792996841017e-06, 2.1414257389551494e-06, 2.5490719508525217e-06, 2.956718162749894e-06, 3.3643646020209417e-06, 3.7720110412919894e-06, 4.179657480563037e-06, 4.587303465086734e-06, 4.994949904357782e-06, 5.402596343628829e-06, 5.810242328152526e-06, 6.217888767423574e-06, 6.625535206694622e-06, 7.033181645965669e-06, 7.440828085236717e-06, 7.848474524507765e-06, 8.25612005428411e-06, 8.663766493555158e-06, 9.071412932826206e-06, 9.479059372097254e-06, 9.886705811368302e-06, 1.029435225063935e-05, 1.0701998689910397e-05, 1.1109645129181445e-05, 1.1517291568452492e-05, 1.192493800772354e-05, 1.2332583537499886e-05, 1.2740229976770934e-05, 1.3147876416041981e-05]}, "gradients/bert.encoder.layer.14.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 2.0, 3.0, 4.0, 5.0, 6.0, 11.0, 5.0, 13.0, 16.0, 15.0, 21.0, 22.0, 41.0, 37.0, 53.0, 56.0, 50.0, 88.0, 99.0, 72.0, 92.0, 110.0, 200.0, 40142.0, 1006166.0, 377.0, 125.0, 85.0, 88.0, 74.0, 78.0, 71.0, 53.0, 51.0, 52.0, 38.0, 23.0, 21.0, 19.0, 17.0, 14.0, 10.0, 9.0, 8.0, 7.0, 5.0, 3.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0], "bins": [-0.0001613538188394159, -0.00015649145643692464, -0.00015162909403443336, -0.0001467667316319421, -0.00014190436922945082, -0.00013704200682695955, -0.00013217964442446828, -0.00012731726747006178, -0.00012245491961948574, -0.00011759255721699446, -0.00011273019481450319, -0.00010786783241201192, -0.00010300547000952065, -9.814310760702938e-05, -9.328073792858049e-05, -8.841837552608922e-05, -8.355600584764034e-05, -7.869364344514906e-05, -7.383128104265779e-05, -6.896891864016652e-05, -6.410655623767525e-05, -5.924419019720517e-05, -5.438182415673509e-05, -4.951946175424382e-05, -4.465709935175255e-05, -3.979473694926128e-05, -3.4932374546770006e-05, -3.0070008506299928e-05, -2.5207646103808656e-05, -2.0345283701317385e-05, -1.548291947983671e-05, -1.0620555258356035e-05, -5.758178303949535e-06, -8.958149919635616e-07, 3.966548320022412e-06, 8.828911632008385e-06, 1.3691274943994358e-05, 1.855363734648563e-05, 2.3416001567966305e-05, 2.827836578944698e-05, 3.314072819193825e-05, 3.800309059442952e-05, 4.2865452996920794e-05, 4.772781903739087e-05, 5.2590181439882144e-05, 5.7452543842373416e-05, 6.23149098828435e-05, 6.717727228533477e-05, 7.203963468782604e-05, 7.690199709031731e-05, 8.176435949280858e-05, 8.662672189529985e-05, 9.148908429779112e-05, 9.63514467002824e-05, 0.00010121381637873128, 0.00010607617878122255, 0.00011093854118371382, 0.0001158009035862051, 0.00012066326598869637, 0.00012552563566714525, 0.00013038799806963652, 0.0001352503604721278, 0.00014011272287461907, 0.00014497508527711034, 0.0001498374476796016]}, "gradients/bert.encoder.layer.14.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 5.0, 3.0, 4.0, 3.0, 3.0, 6.0, 4.0, 22.0, 12.0, 39.0, 30.0, 52.0, 63.0, 111.0, 118.0, 150.0, 96.0, 121.0, 59.0, 19.0, 31.0, 16.0, 19.0, 10.0, 7.0, 2.0, 6.0, 0.0, 2.0, 3.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.547473508864641e-13, -4.39648317751562e-13, -4.2454928461665986e-13, -4.0945025148175773e-13, -3.943512183468556e-13, -3.7925218521195347e-13, -3.6415315207705135e-13, -3.490541189421492e-13, -3.339550858072471e-13, -3.1885605267234496e-13, -3.0375701953744283e-13, -2.886579864025407e-13, -2.7355895326763857e-13, -2.5845992013273644e-13, -2.433608869978343e-13, -2.282618538629322e-13, -2.1316282072803006e-13, -1.9806378759312793e-13, -1.829647544582258e-13, -1.6786572132332367e-13, -1.5276668818842154e-13, -1.376676550535194e-13, -1.2256862191861728e-13, -1.0746958878371515e-13, -9.237055564881302e-14, -7.72715225139109e-14, -6.217248937900877e-14, -4.707345624410664e-14, -3.197442310920451e-14, -1.687538997430238e-14, -1.7763568394002505e-15, 1.3322676295501878e-14, 2.842170943040401e-14, 4.3520742565306136e-14, 5.861977570020827e-14, 7.37188088351104e-14, 8.881784197001252e-14, 1.0391687510491465e-13, 1.1901590823981678e-13, 1.341149413747189e-13, 1.4921397450962104e-13, 1.6431300764452317e-13, 1.794120407794253e-13, 1.9451107391432743e-13, 2.0961010704922955e-13, 2.2470914018413168e-13, 2.398081733190338e-13, 2.5490720645393594e-13, 2.7000623958883807e-13, 2.851052727237402e-13, 3.0020430585864233e-13, 3.1530333899354446e-13, 3.304023721284466e-13, 3.455014052633487e-13, 3.6060043839825084e-13, 3.7569947153315297e-13, 3.907985046680551e-13, 4.0589753780295723e-13, 4.2099657093785936e-13, 4.360956040727615e-13, 4.511946372076636e-13, 4.662936703425657e-13, 4.813927034774679e-13, 4.9649173661237e-13, 5.115907697472721e-13]}, "gradients/bert.encoder.layer.14.attention.self.key.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 2.0, 4.0, 3.0, 8.0, 9.0, 5.0, 12.0, 18.0, 36.0, 59.0, 123.0, 311.0, 1348.0, 11023.0, 338096.0, 678072.0, 16908.0, 1803.0, 404.0, 115.0, 77.0, 41.0, 29.0, 12.0, 14.0, 10.0, 6.0, 2.0, 2.0, 4.0, 3.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5321993487305008e-05, -1.4734579053765628e-05, -1.4147164620226249e-05, -1.355975018668687e-05, -1.297233575314749e-05, -1.2384921319608111e-05, -1.1797506886068732e-05, -1.1210092452529352e-05, -1.0622678018989973e-05, -1.0035263585450593e-05, -9.447849151911214e-06, -8.860434718371835e-06, -8.273020284832455e-06, -7.685605851293076e-06, -7.0981914177536964e-06, -6.510776984214317e-06, -5.923362550674938e-06, -5.335948117135558e-06, -4.748533683596179e-06, -4.1611192500567995e-06, -3.57370481651742e-06, -2.9862903829780407e-06, -2.3988759494386613e-06, -1.811461515899282e-06, -1.2240470823599026e-06, -6.366326488205232e-07, -4.9218215281143785e-08, 5.381962182582356e-07, 1.125610651797615e-06, 1.7130250853369944e-06, 2.3004395188763738e-06, 2.887853952415753e-06, 3.475266566965729e-06, 4.062681000505108e-06, 4.650095434044488e-06, 5.237509867583867e-06, 5.8249243011232466e-06, 6.412338734662626e-06, 6.999753168202005e-06, 7.587167601741385e-06, 8.174582035280764e-06, 8.761996468820143e-06, 9.349410902359523e-06, 9.936825335898902e-06, 1.0524239769438282e-05, 1.1111654202977661e-05, 1.169906863651704e-05, 1.228648307005642e-05, 1.28738975035958e-05, 1.3461311937135179e-05, 1.4048726370674558e-05, 1.4636140804213937e-05, 1.5223555237753317e-05, 1.5810968761797994e-05, 1.6398384104832076e-05, 1.6985799447866157e-05, 1.7573212971910834e-05, 1.8160626495955512e-05, 1.8748041838989593e-05, 1.9335457182023674e-05, 1.9922870706068352e-05, 2.051028423011303e-05, 2.109769957314711e-05, 2.1685114916181192e-05, 2.227252844022587e-05]}, "gradients/bert.encoder.layer.14.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 2.0, 4.0, 6.0, 11.0, 12.0, 15.0, 28.0, 37.0, 59.0, 81.0, 115.0, 138.0, 145.0, 126.0, 69.0, 46.0, 40.0, 31.0, 15.0, 13.0, 9.0, 6.0, 2.0, 0.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.4685723474249244e-06, -2.373776169406483e-06, -2.278979764014366e-06, -2.1841835859959247e-06, -2.089387180603808e-06, -1.9945910025853664e-06, -1.8997945971932495e-06, -1.804998419174808e-06, -1.7102020137826912e-06, -1.615405722077412e-06, -1.520609430372133e-06, -1.4258131386668538e-06, -1.3310168469615746e-06, -1.2362205552562955e-06, -1.1414242635510163e-06, -1.046628085532575e-06, -9.518317938272958e-07, -8.570355021220166e-07, -7.622392104167375e-07, -6.674429187114583e-07, -5.726466270061792e-07, -4.778503353009e-07, -3.8305410043903976e-07, -2.882578087337606e-07, -1.9346151702848147e-07, -9.866523242862968e-08, -3.868947828777891e-09, 9.092732966564654e-08, 1.8572362137092568e-07, 2.8051991307620483e-07, 3.7531617635977454e-07, 4.701124680650537e-07, 5.649087597703328e-07, 6.59705051475612e-07, 7.545013431808911e-07, 8.492976348861703e-07, 9.440939265914494e-07, 1.0388902182967286e-06, 1.1336865100020077e-06, 1.2284826880204491e-06, 1.323279093412566e-06, 1.4180753851178451e-06, 1.5128716768231243e-06, 1.6076679685284034e-06, 1.7024642602336826e-06, 1.7972605519389617e-06, 1.8920568436442409e-06, 1.9868530216626823e-06, 2.0816491996811237e-06, 2.176445377699565e-06, 2.271241783091682e-06, 2.3660379611101234e-06, 2.4608343665022403e-06, 2.5556305445206817e-06, 2.6504269499127986e-06, 2.74522312793124e-06, 2.840019533323357e-06, 2.9348157113417983e-06, 3.029612116733915e-06, 3.1244082947523566e-06, 3.2192047001444735e-06, 3.314000878162915e-06, 3.4087972835550318e-06, 3.503593461573473e-06, 3.59838986696559e-06]}, "gradients/bert.encoder.layer.14.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 3.0, 0.0, 0.0, 0.0, 3.0, 6.0, 3.0, 12.0, 10.0, 21.0, 30.0, 47.0, 74.0, 266.0, 3333.0, 652802.0, 388865.0, 2631.0, 255.0, 77.0, 41.0, 28.0, 16.0, 18.0, 7.0, 8.0, 6.0, 1.0, 4.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.962855407735333e-05, -3.8495178159791976e-05, -3.7361802242230624e-05, -3.622842632466927e-05, -3.509505040710792e-05, -3.396167448954657e-05, -3.2828298571985215e-05, -3.169492265442386e-05, -3.056154673686251e-05, -2.9428170819301158e-05, -2.8294794901739806e-05, -2.7161418984178454e-05, -2.60280430666171e-05, -2.489466714905575e-05, -2.37612930504838e-05, -2.2627917132922448e-05, -2.14945430343505e-05, -2.0361167116789147e-05, -1.9227791199227795e-05, -1.8094415281666443e-05, -1.696103936410509e-05, -1.5827663446543738e-05, -1.469428934797179e-05, -1.3560913430410437e-05, -1.2427537512849085e-05, -1.1294161595287733e-05, -1.016078567772638e-05, -9.02741066965973e-06, -7.894034752098378e-06, -6.7606588345370255e-06, -5.627283371723024e-06, -4.493907908909023e-06, -3.3605319913476706e-06, -2.2271563011599937e-06, -1.093780610972317e-06, 3.9595079215359874e-08, 1.1729707694030367e-06, 2.306346686964389e-06, 3.4397221497783903e-06, 4.573097612592392e-06, 5.706473530153744e-06, 6.839849447715096e-06, 7.973225365276448e-06, 9.106600373343099e-06, 1.0239976290904451e-05, 1.1373352208465803e-05, 1.2506727216532454e-05, 1.3640103134093806e-05, 1.4773479051655158e-05, 1.590685496921651e-05, 1.7040230886777863e-05, 1.8173606804339215e-05, 1.9306982721900567e-05, 2.044035863946192e-05, 2.157373273803387e-05, 2.270710865559522e-05, 2.3840484573156573e-05, 2.4973860490717925e-05, 2.6107236408279277e-05, 2.724061232584063e-05, 2.837398642441258e-05, 2.950736234197393e-05, 3.064073825953528e-05, 3.1774114177096635e-05, 3.290749009465799e-05]}, "gradients/bert.encoder.layer.13.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 15.0, 149.0, 639.0, 188.0, 24.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00017128160106949508, -0.000168196638696827, -0.0001651116763241589, -0.00016202671395149082, -0.00015894175157882273, -0.00015585678920615464, -0.00015277182683348656, -0.00014968686446081847, -0.00014660190208815038, -0.0001435169397154823, -0.0001404319773428142, -0.00013734701497014612, -0.00013426205259747803, -0.00013117709022480994, -0.00012809212785214186, -0.00012500716547947377, -0.00012192221765872091, -0.00011883725528605282, -0.00011575229291338474, -0.00011266733054071665, -0.00010958236816804856, -0.00010649740579538047, -0.00010341244342271239, -0.00010032748832600191, -9.724251867737621e-05, -9.415755630470812e-05, -9.107259393204004e-05, -8.798763155937195e-05, -8.490266918670386e-05, -8.181770681403577e-05, -7.873274444136769e-05, -7.564778934465721e-05, -7.256282697198913e-05, -6.947786459932104e-05, -6.639290222665295e-05, -6.330793985398486e-05, -6.022298111929558e-05, -5.7138018746627495e-05, -5.405305637395941e-05, -5.096809763927013e-05, -4.788313162862323e-05, -4.4798169255955145e-05, -4.171320688328706e-05, -3.862824814859778e-05, -3.554328577592969e-05, -3.24583234032616e-05, -2.9373361030593514e-05, -2.628840047691483e-05, -2.3203438104246743e-05, -2.0118475731578656e-05, -1.703351517789997e-05, -1.3948552805231884e-05, -1.0863591342058498e-05, -7.778629878885113e-06, -4.693667506217025e-06, -1.6087069525383413e-06, 1.4762554201297462e-06, 4.561216883303132e-06, 7.646178346476518e-06, 1.0731140719144605e-05, 1.381610218231799e-05, 1.6901063645491377e-05, 1.9986026018159464e-05, 2.3070986571838148e-05, 2.6155948944506235e-05]}, "gradients/bert.encoder.layer.13.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 3.0, 3.0, 1.0, 0.0, 5.0, 4.0, 10.0, 6.0, 10.0, 13.0, 16.0, 13.0, 20.0, 16.0, 23.0, 23.0, 38.0, 50.0, 42.0, 51.0, 47.0, 59.0, 46.0, 40.0, 49.0, 48.0, 43.0, 46.0, 40.0, 46.0, 26.0, 26.0, 24.0, 27.0, 23.0, 16.0, 20.0, 8.0, 10.0, 7.0, 2.0, 2.0, 3.0, 4.0, 3.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2495145711000077e-05, -1.2003726624243427e-05, -1.1512306627992075e-05, -1.1020887541235425e-05, -1.0529467544984072e-05, -1.0038048458227422e-05, -9.546629371470772e-06, -9.05520937521942e-06, -8.56379028846277e-06, -8.072371201706119e-06, -7.580951205454767e-06, -7.089532118698116e-06, -6.598112577194115e-06, -6.106693035690114e-06, -5.6152739489334635e-06, -5.123854407429462e-06, -4.632434865925461e-06, -4.14101532442146e-06, -3.649596010291134e-06, -3.158176696160808e-06, -2.666757154656807e-06, -2.1753376131528057e-06, -1.68391829902248e-06, -1.1924989848921541e-06, -7.010794433881529e-07, -2.0966001557098934e-07, 2.817594122461742e-07, 7.731788400633377e-07, 1.2645982678805012e-06, 1.7560178093845025e-06, 2.2474371235148283e-06, 2.738856437645154e-06, 3.230277798138559e-06, 3.72169733964256e-06, 4.213116881146561e-06, 4.704535967903212e-06, 5.195955509407213e-06, 5.687375050911214e-06, 6.1787941376678646e-06, 6.670213679171866e-06, 7.161633220675867e-06, 7.653052307432517e-06, 8.14447230368387e-06, 8.63589139044052e-06, 9.12731047719717e-06, 9.618730473448522e-06, 1.0110149560205173e-05, 1.0601568646961823e-05, 1.1092988643213175e-05, 1.1584407729969826e-05, 1.2075827726221178e-05, 1.2567246812977828e-05, 1.305866680922918e-05, 1.355008589598583e-05, 1.4041504982742481e-05, 1.4532924978993833e-05, 1.5024344065750483e-05, 1.5515763152507134e-05, 1.6007183148758486e-05, 1.6498603145009838e-05, 1.6990021322271787e-05, 1.748144131852314e-05, 1.797286131477449e-05, 1.846427949203644e-05, 1.895569948828779e-05]}, "gradients/bert.encoder.layer.13.output.dense.bias": {"_type": "histogram", "values": [4.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 3.0, 11.0, 1.0, 8.0, 4.0, 12.0, 11.0, 7.0, 17.0, 14.0, 17.0, 32.0, 17.0, 26.0, 31.0, 27.0, 33.0, 36.0, 45.0, 45.0, 56.0, 54.0, 49.0, 46.0, 45.0, 46.0, 41.0, 26.0, 27.0, 44.0, 31.0, 21.0, 18.0, 20.0, 19.0, 8.0, 13.0, 10.0, 5.0, 10.0, 3.0, 2.0, 3.0, 6.0, 3.0, 3.0, 1.0, 1.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.022153790283483e-06, -8.71183419803856e-06, -8.401513696298935e-06, -8.091194104054011e-06, -7.780874511809088e-06, -7.470554919564165e-06, -7.160234872571891e-06, -6.849914825579617e-06, -6.539595233334694e-06, -6.229275641089771e-06, -5.918955594097497e-06, -5.608635547105223e-06, -5.2983159548603e-06, -4.987996362615377e-06, -4.677676315623103e-06, -4.367356268630829e-06, -4.057036676385906e-06, -3.746716856767307e-06, -3.4363970371487085e-06, -3.12607721753011e-06, -2.8157573979115114e-06, -2.505437578292913e-06, -2.1951177586743142e-06, -1.8847979390557157e-06, -1.5744781194371171e-06, -1.2641582998185186e-06, -9.5383848019992e-07, -6.435186605813215e-07, -3.331988409627229e-07, -2.287902134412434e-08, 2.874407982744742e-07, 5.977606178930728e-07, 9.080813470063731e-07, 1.2184011666249717e-06, 1.5287209862435702e-06, 1.8390408058621688e-06, 2.1493606254807673e-06, 2.459680445099366e-06, 2.7700002647179645e-06, 3.080320084336563e-06, 3.3906399039551616e-06, 3.70095972357376e-06, 4.011279543192359e-06, 4.321599590184633e-06, 4.631919182429556e-06, 4.942238774674479e-06, 5.252558821666753e-06, 5.562878868659027e-06, 5.87319846090395e-06, 6.183518053148873e-06, 6.493838100141147e-06, 6.804158147133421e-06, 7.114477739378344e-06, 7.424797331623267e-06, 7.735117833362892e-06, 8.045437425607815e-06, 8.355757017852738e-06, 8.666076610097662e-06, 8.976396202342585e-06, 9.28671670408221e-06, 9.597036296327133e-06, 9.907355888572056e-06, 1.021767639031168e-05, 1.0527995982556604e-05, 1.0838315574801527e-05]}, "gradients/bert.encoder.layer.13.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 5.0, 1.0, 3.0, 2.0, 9.0, 4.0, 8.0, 10.0, 16.0, 13.0, 16.0, 26.0, 26.0, 32.0, 46.0, 88.0, 156.0, 336.0, 860.0, 2553.0, 11205.0, 106384.0, 2963334.0, 1063063.0, 37371.0, 5926.0, 1651.0, 506.0, 244.0, 126.0, 68.0, 49.0, 30.0, 25.0, 24.0, 9.0, 12.0, 7.0, 8.0, 11.0, 7.0, 6.0, 2.0, 3.0, 4.0, 1.0, 4.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.4642751668579876e-05, -2.381619742664043e-05, -2.2989645003690384e-05, -2.2163090761750937e-05, -2.133653651981149e-05, -2.050998227787204e-05, -1.9683429854921997e-05, -1.885687561298255e-05, -1.80303213710431e-05, -1.7203767129103653e-05, -1.637721470615361e-05, -1.555066046421416e-05, -1.4724106222274713e-05, -1.3897552889829967e-05, -1.3070999557385221e-05, -1.2244445315445773e-05, -1.1417892892495729e-05, -1.0591339560050983e-05, -9.764785318111535e-06, -8.938231985666789e-06, -8.111677743727341e-06, -7.285124411282595e-06, -6.458571078837849e-06, -5.632017291645752e-06, -4.805463504453655e-06, -3.978909717261558e-06, -3.152356157443137e-06, -2.3258025976247154e-06, -1.4992488104326185e-06, -6.726950232405216e-07, 1.538583092042245e-07, 9.804120963963214e-07, 1.8069658835884184e-06, 2.6335196707805153e-06, 3.460073230598937e-06, 4.286626790417358e-06, 5.113180577609455e-06, 5.939734364801552e-06, 6.766287697246298e-06, 7.592841484438395e-06, 8.419395271630492e-06, 9.245948604075238e-06, 1.0072502846014686e-05, 1.0899056178459432e-05, 1.1725609510904178e-05, 1.2552163752843626e-05, 1.3378717085288372e-05, 1.4205270417733118e-05, 1.5031824659672566e-05, 1.5858378901612014e-05, 1.6684931324562058e-05, 1.7511485566501506e-05, 1.8338039808440953e-05, 1.9164592231390998e-05, 1.9991146473330446e-05, 2.0817700715269893e-05, 2.1644253138219938e-05, 2.2470807380159386e-05, 2.329735980310943e-05, 2.4123914045048878e-05, 2.4950468286988325e-05, 2.5777022528927773e-05, 2.6603574951877818e-05, 2.7430129193817265e-05, 2.8256683435756713e-05]}, "gradients/bert.encoder.layer.13.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 5.0, 4.0, 5.0, 6.0, 11.0, 9.0, 20.0, 21.0, 26.0, 36.0, 68.0, 88.0, 123.0, 268.0, 458.0, 739.0, 842.0, 566.0, 300.0, 170.0, 117.0, 60.0, 44.0, 34.0, 15.0, 14.0, 12.0, 7.0, 4.0, 4.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.301146640907973e-06, -6.12701569480123e-06, -5.952884293947136e-06, -5.778753347840393e-06, -5.60462240173365e-06, -5.430491000879556e-06, -5.256360054772813e-06, -5.08222910866607e-06, -4.908098162559327e-06, -4.733967216452584e-06, -4.55983581559849e-06, -4.385704869491747e-06, -4.211573923385004e-06, -4.03744252253091e-06, -3.8633115764241666e-06, -3.6891806303174235e-06, -3.5150492294633295e-06, -3.340918055982911e-06, -3.166787109876168e-06, -2.9926559363957494e-06, -2.8185249902890064e-06, -2.644393816808588e-06, -2.4702626433281694e-06, -2.2961316972214263e-06, -2.1220005237410078e-06, -1.9478693502605893e-06, -1.7737384041538462e-06, -1.5996072306734277e-06, -1.425476170879847e-06, -1.2513451110862661e-06, -1.0772139376058476e-06, -9.030828778122668e-07, -7.28951818018686e-07, -5.548207582251052e-07, -3.806896415881056e-07, -2.0655852495110594e-07, -3.242746515752515e-08, 1.4170359463605564e-07, 3.1583476811647415e-07, 4.899658279100549e-07, 6.640968877036357e-07, 8.382279474972165e-07, 1.0123590072907973e-06, 1.1864901807712158e-06, 1.3606212405647966e-06, 1.5347523003583774e-06, 1.708883473838796e-06, 1.8830145336323767e-06, 2.0571455934259575e-06, 2.231276766906376e-06, 2.405407713013119e-06, 2.5795388864935376e-06, 2.7536698326002806e-06, 2.927801006080699e-06, 3.1019321795611177e-06, 3.2760631256678607e-06, 3.4501942991482792e-06, 3.6243254726286978e-06, 3.798456418735441e-06, 3.972587364842184e-06, 4.146718765696278e-06, 4.320849711803021e-06, 4.494981112657115e-06, 4.669112058763858e-06, 4.843243004870601e-06]}, "gradients/bert.encoder.layer.13.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 3.0, 7.0, 5.0, 3.0, 11.0, 16.0, 18.0, 21.0, 39.0, 79.0, 122.0, 205.0, 482.0, 2843.0, 4170405.0, 18733.0, 672.0, 240.0, 138.0, 65.0, 46.0, 38.0, 24.0, 14.0, 21.0, 17.0, 10.0, 5.0, 3.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00017512237536720932, -0.0001697613188298419, -0.0001644002622924745, -0.00015903922030702233, -0.00015367816376965493, -0.00014831710723228753, -0.00014295605069492012, -0.00013759499415755272, -0.00013223395217210054, -0.00012687289563473314, -0.00012151184637332335, -0.00011615078983595595, -0.00011078974057454616, -0.00010542868403717875, -0.00010006762749981135, -9.470657823840156e-05, -8.934552170103416e-05, -8.398446516366675e-05, -7.862341590225697e-05, -7.326235936488956e-05, -6.790131010347977e-05, -6.254025356611237e-05, -5.717920066672377e-05, -5.1818147767335176e-05, -4.645709486794658e-05, -4.1096041968557984e-05, -3.573498906916939e-05, -3.0373934350791387e-05, -2.501288145140279e-05, -1.9651828552014194e-05, -1.4290773833636194e-05, -8.929720934247598e-06, -3.5686680348590016e-06, 1.7923853192769457e-06, 7.153438673412893e-06, 1.2514492482296191e-05, 1.7875545381684788e-05, 2.3236598281073384e-05, 2.8597652999451384e-05, 3.395870589883998e-05, 3.931975879822858e-05, 4.468081169761717e-05, 5.004186459700577e-05, 5.5402917496394366e-05, 6.076397403376177e-05, 6.612502329517156e-05, 7.148607983253896e-05, 7.684713636990637e-05, 8.220818563131616e-05, 8.756924216868356e-05, 9.293029143009335e-05, 9.829134796746075e-05, 0.00010365239722887054, 0.00010901345376623794, 0.00011437450302764773, 0.00011973555956501514, 0.00012509661610238254, 0.00013045767263974994, 0.00013581872917711735, 0.00014117977116256952, 0.00014654082769993693, 0.00015190188423730433, 0.00015726294077467173, 0.00016262399731203914, 0.0001679850392974913]}, "gradients/bert.encoder.layer.13.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 3.0, 2.0, 4.0, 9.0, 12.0, 20.0, 27.0, 54.0, 73.0, 120.0, 143.0, 160.0, 133.0, 91.0, 56.0, 41.0, 28.0, 14.0, 11.0, 10.0, 3.0, 4.0, 1.0], "bins": [-3.406187170185149e-05, -3.340636249049567e-05, -3.275084964116104e-05, -3.209534042980522e-05, -3.14398312184494e-05, -3.078431836911477e-05, -3.012880915775895e-05, -2.947329994640313e-05, -2.8817788916057907e-05, -2.8162277885712683e-05, -2.7506768674356863e-05, -2.685125764401164e-05, -2.6195746613666415e-05, -2.5540237402310595e-05, -2.488472637196537e-05, -2.4229215341620147e-05, -2.3573706130264327e-05, -2.2918195099919103e-05, -2.2262685888563283e-05, -2.160717485821806e-05, -2.095166564686224e-05, -2.0296154616517015e-05, -1.964064358617179e-05, -1.898513437481597e-05, -1.8329623344470747e-05, -1.7674112314125523e-05, -1.7018603102769703e-05, -1.636309207242448e-05, -1.5707581042079255e-05, -1.5052071830723435e-05, -1.439656080037821e-05, -1.3741050679527689e-05, -1.3085541468171868e-05, -1.2430031347321346e-05, -1.1774520316976123e-05, -1.11190101961256e-05, -1.0463500075275078e-05, -9.807989954424556e-06, -9.152479833574034e-06, -8.49696880322881e-06, -7.841458682378288e-06, -7.185948561527766e-06, -6.530437985929893e-06, -5.87492741033202e-06, -5.219417289481498e-06, -4.563907168630976e-06, -3.908396593033103e-06, -3.2528860174352303e-06, -2.5973758965847082e-06, -1.9418655483605107e-06, -1.2863552001363132e-06, -6.308448519121157e-07, 2.4665496312081814e-08, 6.801758445362793e-07, 1.3356861927604768e-06, 1.99119676835835e-06, 2.646706889208872e-06, 3.3022172374330694e-06, 3.957727585657267e-06, 4.61323816125514e-06, 5.268748282105662e-06, 5.924258402956184e-06, 6.579768978554057e-06, 7.23527955415193e-06, 7.890789675002452e-06]}, "gradients/bert.encoder.layer.13.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 6.0, 3.0, 2.0, 3.0, 4.0, 5.0, 7.0, 5.0, 5.0, 9.0, 11.0, 13.0, 26.0, 23.0, 19.0, 33.0, 22.0, 16.0, 25.0, 32.0, 39.0, 44.0, 45.0, 38.0, 45.0, 46.0, 38.0, 39.0, 33.0, 47.0, 27.0, 40.0, 29.0, 30.0, 27.0, 27.0, 16.0, 17.0, 25.0, 16.0, 5.0, 12.0, 13.0, 9.0, 7.0, 8.0, 3.0, 3.0, 5.0, 4.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 2.0, 3.0, 1.0], "bins": [-9.510702511761338e-06, -9.201041393680498e-06, -8.89138118509436e-06, -8.58172006701352e-06, -8.272059858427383e-06, -7.962398740346543e-06, -7.652737622265704e-06, -7.343077413679566e-06, -7.033416295598727e-06, -6.723755632265238e-06, -6.4140949689317495e-06, -6.10443385085091e-06, -5.794773187517421e-06, -5.485112524183933e-06, -5.175451860850444e-06, -4.8657911975169554e-06, -4.556130534183467e-06, -4.246469870849978e-06, -3.9368092075164896e-06, -3.6271483168093255e-06, -3.3174874261021614e-06, -3.0078267627686728e-06, -2.698166099435184e-06, -2.38850520872802e-06, -2.0788445453945315e-06, -1.769183768374205e-06, -1.4595229913538788e-06, -1.1498623280203901e-06, -8.402015510000638e-07, -5.305407739797374e-07, -2.208801106462488e-07, 8.878078006091528e-08, 3.984414433944039e-07, 7.081022204147303e-07, 1.0177629974350566e-06, 1.3274236607685452e-06, 1.6370844377888716e-06, 1.946745214809198e-06, 2.2564058781426866e-06, 2.5660667688498506e-06, 2.8757274321833393e-06, 3.185388095516828e-06, 3.495048986223992e-06, 3.8047096495574806e-06, 4.114370312890969e-06, 4.424031430971809e-06, 4.7336916395579465e-06, 5.043352757638786e-06, 5.353013420972275e-06, 5.662674084305763e-06, 5.972334747639252e-06, 6.2819954109727405e-06, 6.59165652905358e-06, 6.901317192387069e-06, 7.210977855720557e-06, 7.520638973801397e-06, 7.830299182387535e-06, 8.139960300468374e-06, 8.449620509054512e-06, 8.759281627135351e-06, 9.068941835721489e-06, 9.378602953802329e-06, 9.688263162388466e-06, 9.997924280469306e-06, 1.0307585398550145e-05]}, "gradients/bert.encoder.layer.13.attention.output.dense.bias": {"_type": "histogram", "values": [3.0, 4.0, 2.0, 3.0, 4.0, 5.0, 8.0, 4.0, 8.0, 14.0, 15.0, 15.0, 28.0, 25.0, 26.0, 41.0, 47.0, 58.0, 49.0, 62.0, 72.0, 56.0, 57.0, 52.0, 45.0, 46.0, 49.0, 31.0, 32.0, 36.0, 24.0, 17.0, 23.0, 20.0, 6.0, 7.0, 5.0, 8.0, 0.0, 4.0, 4.0, 0.0, 3.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0621827641443815e-05, -1.0132655916095246e-05, -9.643485100241378e-06, -9.154313374892808e-06, -8.665141649544239e-06, -8.17596992419567e-06, -7.686799108341802e-06, -7.1976273829932325e-06, -6.708456112392014e-06, -6.219284841790795e-06, -5.730113116442226e-06, -5.240941845841007e-06, -4.751770575239789e-06, -4.262598849891219e-06, -3.7734275792900007e-06, -3.2842560813151067e-06, -2.7950845833402127e-06, -2.3059130853653187e-06, -1.8167417010772624e-06, -1.3275703167892061e-06, -8.383988188143121e-07, -3.492273208394181e-07, 1.3994394976180047e-07, 6.291154477366945e-07, 1.1182869457115885e-06, 1.6074584436864825e-06, 2.0966299416613765e-06, 2.585801212262595e-06, 3.074972710237489e-06, 3.564144208212383e-06, 4.053315478813602e-06, 4.54248674941482e-06, 5.031657565268688e-06, 5.5208288358699065e-06, 6.010000561218476e-06, 6.4991718318196945e-06, 6.988343557168264e-06, 7.4775148277694825e-06, 7.966686098370701e-06, 8.45585782371927e-06, 8.94502954906784e-06, 9.43420127441641e-06, 9.923372090270277e-06, 1.0412543815618847e-05, 1.0901715540967416e-05, 1.1390886356821284e-05, 1.1880058082169853e-05, 1.2369229807518423e-05, 1.285840062337229e-05, 1.334757234872086e-05, 1.3836743164574727e-05, 1.4325914889923297e-05, 1.4815086615271866e-05, 1.5304258340620436e-05, 1.5793430065969005e-05, 1.628259997232817e-05, 1.677177169767674e-05, 1.726094342302531e-05, 1.775011514837388e-05, 1.823928687372245e-05, 1.8728456780081615e-05, 1.9217628505430184e-05, 1.9706800230778754e-05, 2.0195971956127323e-05, 2.0685143681475893e-05]}, "gradients/bert.encoder.layer.13.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 0.0, 3.0, 2.0, 4.0, 5.0, 3.0, 5.0, 6.0, 11.0, 22.0, 41.0, 40.0, 62.0, 110.0, 166.0, 260.0, 434.0, 692.0, 1135.0, 1825.0, 3333.0, 6086.0, 11153.0, 21896.0, 46063.0, 104683.0, 259842.0, 329978.0, 141659.0, 60085.0, 27725.0, 13922.0, 7395.0, 4028.0, 2296.0, 1362.0, 784.0, 527.0, 313.0, 198.0, 112.0, 95.0, 54.0, 44.0, 30.0, 14.0, 23.0, 10.0, 10.0, 5.0, 4.0, 2.0, 5.0, 2.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 1.0], "bins": [-8.12664075056091e-06, -7.857269338273909e-06, -7.587897925986908e-06, -7.318526513699908e-06, -7.049155101412907e-06, -6.779783689125907e-06, -6.510411822091555e-06, -6.241040409804555e-06, -5.971668997517554e-06, -5.7022975852305535e-06, -5.432926172943553e-06, -5.163554760656552e-06, -4.894182893622201e-06, -4.6248114813352e-06, -4.3554400690482e-06, -4.086068656761199e-06, -3.816697244474199e-06, -3.547325832187198e-06, -3.2779544199001975e-06, -3.0085827802395215e-06, -2.739211367952521e-06, -2.4698399556655204e-06, -2.2004683160048444e-06, -1.931096903717844e-06, -1.6617254914308432e-06, -1.3923540791438427e-06, -1.1229825531700044e-06, -8.53611084039585e-07, -5.842396149091655e-07, -3.1486820262216497e-07, -4.5496676648326684e-08, 2.238748493255116e-07, 4.932462616125122e-07, 7.626177307429316e-07, 1.031989199873351e-06, 1.3013607258471893e-06, 1.5707321381341899e-06, 1.8401035504211904e-06, 2.1094751900818665e-06, 2.378846602368867e-06, 2.6482180146558676e-06, 2.917589426942868e-06, 3.1869608392298687e-06, 3.4563324788905447e-06, 3.7257038911775453e-06, 3.995075530838221e-06, 4.264446943125222e-06, 4.5338183554122224e-06, 4.803189767699223e-06, 5.072561179986224e-06, 5.341932592273224e-06, 5.611304004560225e-06, 5.880675416847225e-06, 6.150046829134226e-06, 6.419418696168577e-06, 6.688790108455578e-06, 6.9581615207425784e-06, 7.227532933029579e-06, 7.4969043453165796e-06, 7.766276212350931e-06, 8.035647624637932e-06, 8.305019036924932e-06, 8.574390449211933e-06, 8.843761861498933e-06, 9.113133273785934e-06]}, "gradients/bert.encoder.layer.13.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 4.0, 1.0, 3.0, 4.0, 6.0, 6.0, 5.0, 7.0, 13.0, 7.0, 8.0, 17.0, 14.0, 22.0, 27.0, 29.0, 24.0, 39.0, 40.0, 38.0, 40.0, 52.0, 47.0, 63.0, 43.0, 55.0, 46.0, 41.0, 40.0, 26.0, 31.0, 37.0, 30.0, 29.0, 19.0, 11.0, 17.0, 14.0, 13.0, 10.0, 8.0, 8.0, 2.0, 4.0, 4.0, 1.0, 4.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.282579978578724e-05, -1.2438033991202246e-05, -1.2050268196617253e-05, -1.166250240203226e-05, -1.1274736607447267e-05, -1.0886970812862273e-05, -1.049920501827728e-05, -1.0111439223692287e-05, -9.723673429107293e-06, -9.3359076345223e-06, -8.948141839937307e-06, -8.560376045352314e-06, -8.17261025076732e-06, -7.784844456182327e-06, -7.397078661597334e-06, -7.0093128670123406e-06, -6.621547072427347e-06, -6.233781277842354e-06, -5.846015483257361e-06, -5.4582496886723675e-06, -5.070483894087374e-06, -4.682718099502381e-06, -4.294952304917388e-06, -3.907186510332394e-06, -3.519420715747401e-06, -3.131654921162408e-06, -2.7438891265774146e-06, -2.3561233319924213e-06, -1.968357537407428e-06, -1.5805917428224348e-06, -1.1928259482374415e-06, -8.050601536524482e-07, -4.1729435906745493e-07, -2.952856448246166e-08, 3.582372301025316e-07, 7.460030246875249e-07, 1.1337688192725182e-06, 1.5215346138575114e-06, 1.9093004084425047e-06, 2.297066203027498e-06, 2.6848319976124913e-06, 3.0725977921974845e-06, 3.460363586782478e-06, 3.848129381367471e-06, 4.235895175952464e-06, 4.623660970537458e-06, 5.011426765122451e-06, 5.399192559707444e-06, 5.7869583542924374e-06, 6.174724148877431e-06, 6.562489943462424e-06, 6.950255738047417e-06, 7.3380215326324105e-06, 7.725787327217404e-06, 8.113553121802397e-06, 8.50131891638739e-06, 8.889084710972384e-06, 9.276850505557377e-06, 9.66461630014237e-06, 1.0052382094727363e-05, 1.0440147889312357e-05, 1.082791368389735e-05, 1.1215679478482343e-05, 1.1603445273067337e-05, 1.199121106765233e-05]}, "gradients/bert.encoder.layer.13.attention.self.value.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 4.0, 1.0, 5.0, 5.0, 2.0, 3.0, 8.0, 7.0, 13.0, 8.0, 18.0, 20.0, 22.0, 27.0, 38.0, 47.0, 61.0, 65.0, 72.0, 79.0, 125.0, 177.0, 536.0, 1037186.0, 9106.0, 230.0, 138.0, 90.0, 80.0, 85.0, 55.0, 45.0, 37.0, 37.0, 21.0, 26.0, 18.0, 14.0, 7.0, 11.0, 8.0, 8.0, 4.0, 2.0, 7.0, 4.0, 1.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001737783895805478, -0.00016812197281979024, -0.00016246555605903268, -0.00015680915385019034, -0.00015115273708943278, -0.0001454963203286752, -0.00013983991811983287, -0.0001341835013590753, -0.00012852708459831774, -0.00012287066783756018, -0.00011721425835276023, -0.00011155784886796027, -0.00010590143210720271, -0.00010024501534644514, -9.458860586164519e-05, -8.893219637684524e-05, -8.327577961608768e-05, -7.761936285533011e-05, -7.196295337053016e-05, -6.630654388573021e-05, -6.065012712497264e-05, -5.499371400219388e-05, -4.9337300879415125e-05, -4.3680887756636366e-05, -3.802447463385761e-05, -3.236806151107885e-05, -2.671164838830009e-05, -2.1055235265521333e-05, -1.5398822142742574e-05, -9.742409019963816e-06, -4.085995897185057e-06, 1.570417225593701e-06, 7.226844900287688e-06, 1.2883258023066446e-05, 1.8539671145845205e-05, 2.4196084268623963e-05, 2.985249739140272e-05, 3.550891051418148e-05, 4.116532363696024e-05, 4.6821736759739e-05, 5.2478149882517755e-05, 5.8134563005296513e-05, 6.379097612807527e-05, 6.944738561287522e-05, 7.510380237363279e-05, 8.076021913439035e-05, 8.64166286191903e-05, 9.207303810399026e-05, 9.772945486474782e-05, 0.00010338587162550539, 0.00010904228111030534, 0.00011469869059510529, 0.00012035510735586286, 0.00012601152411662042, 0.000131667940877378, 0.00013732434308622032, 0.0001429807598469779, 0.00014863717660773546, 0.0001542935788165778, 0.00015994999557733536, 0.00016560641233809292, 0.0001712628290988505, 0.00017691924585960805, 0.0001825756480684504, 0.00018823206482920796]}, "gradients/bert.encoder.layer.13.attention.self.key.bias": {"_type": "histogram", "values": [2.0, 1.0, 6.0, 0.0, 0.0, 3.0, 2.0, 9.0, 6.0, 0.0, 9.0, 8.0, 21.0, 14.0, 4.0, 23.0, 35.0, 49.0, 46.0, 23.0, 94.0, 94.0, 103.0, 120.0, 49.0, 76.0, 52.0, 59.0, 25.0, 8.0, 24.0, 10.0, 18.0, 11.0, 1.0, 4.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.5579538487363607e-13, -2.4447111002245947e-13, -2.3314683517128287e-13, -2.2182256032010628e-13, -2.1049828546892968e-13, -1.9917401061775308e-13, -1.8784973576657649e-13, -1.765254609153999e-13, -1.652011860642233e-13, -1.538769112130467e-13, -1.425526363618701e-13, -1.312283615106935e-13, -1.199040866595169e-13, -1.0857981180834031e-13, -9.725553695716371e-14, -8.593126210598712e-14, -7.460698725481052e-14, -6.328271240363392e-14, -5.1958437552457326e-14, -4.063416270128073e-14, -2.930988785010413e-14, -1.7985612998927536e-14, -6.661338147750939e-15, 4.6629367034256575e-15, 1.5987211554602254e-14, 2.731148640577885e-14, 3.863576125695545e-14, 4.9960036108132044e-14, 6.128431095930864e-14, 7.260858581048524e-14, 8.393286066166183e-14, 9.525713551283843e-14, 1.0658141036401503e-13, 1.1790568521519162e-13, 1.2922996006636822e-13, 1.4055423491754482e-13, 1.5187850976872141e-13, 1.63202784619898e-13, 1.745270594710746e-13, 1.858513343222512e-13, 1.971756091734278e-13, 2.084998840246044e-13, 2.19824158875781e-13, 2.311484337269576e-13, 2.424727085781342e-13, 2.537969834293108e-13, 2.651212582804874e-13, 2.76445533131664e-13, 2.877698079828406e-13, 2.9909408283401717e-13, 3.1041835768519377e-13, 3.2174263253637037e-13, 3.3306690738754696e-13, 3.4439118223872356e-13, 3.5571545708990016e-13, 3.6703973194107675e-13, 3.7836400679225335e-13, 3.8968828164342995e-13, 4.0101255649460654e-13, 4.1233683134578314e-13, 4.2366110619695974e-13, 4.3498538104813633e-13, 4.4630965589931293e-13, 4.576339307504895e-13, 4.689582056016661e-13]}, "gradients/bert.encoder.layer.13.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 2.0, 0.0, 2.0, 1.0, 2.0, 1.0, 5.0, 3.0, 5.0, 3.0, 7.0, 7.0, 17.0, 38.0, 51.0, 107.0, 379.0, 4238.0, 819920.0, 221020.0, 2274.0, 249.0, 102.0, 47.0, 34.0, 21.0, 10.0, 7.0, 5.0, 6.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.1795949578518048e-05, -2.0800731363124214e-05, -1.980551314773038e-05, -1.8810294932336546e-05, -1.7815076716942713e-05, -1.6819856682559475e-05, -1.582463846716564e-05, -1.4829420251771808e-05, -1.3834202036377974e-05, -1.283898382098414e-05, -1.1843765605590306e-05, -1.084854648070177e-05, -9.853328265307937e-06, -8.858110049914103e-06, -7.862890925025567e-06, -6.867672709631734e-06, -5.8724544942379e-06, -4.877236278844066e-06, -3.882017608702881e-06, -2.886799165935372e-06, -1.8915807231678627e-06, -8.963625077740289e-07, 9.885616236715578e-08, 1.0940748325083405e-06, 2.0892930479021743e-06, 3.0845114906696836e-06, 4.079729933437193e-06, 5.0749486035783775e-06, 6.070166818972211e-06, 7.065385034366045e-06, 8.06060415925458e-06, 9.055822374648415e-06, 1.0051036952063441e-05, 1.1046255167457275e-05, 1.2041473382851109e-05, 1.3036692507739644e-05, 1.4031910723133478e-05, 1.5027128938527312e-05, 1.6022348063415848e-05, 1.701756627880968e-05, 1.8012784494203515e-05, 1.900800270959735e-05, 2.0003220924991183e-05, 2.0998439140385017e-05, 2.1993659174768254e-05, 2.2988875571172684e-05, 2.3984095605555922e-05, 2.4979313820949756e-05, 2.597453203634359e-05, 2.6969750251737423e-05, 2.7964968467131257e-05, 2.896018668252509e-05, 2.9955404897918925e-05, 3.095062493230216e-05, 3.194584132870659e-05, 3.294106136308983e-05, 3.393628139747307e-05, 3.4931501431856304e-05, 3.5926717828260735e-05, 3.692193786264397e-05, 3.79171542590484e-05, 3.891237429343164e-05, 3.990759068983607e-05, 4.090281072421931e-05, 4.189802712062374e-05]}, "gradients/bert.encoder.layer.13.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 1.0, 3.0, 7.0, 9.0, 17.0, 15.0, 25.0, 39.0, 64.0, 125.0, 232.0, 186.0, 93.0, 56.0, 45.0, 30.0, 13.0, 9.0, 14.0, 8.0, 4.0, 3.0, 3.0, 4.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.4865483939938713e-06, -3.334336270199856e-06, -3.1821241464058403e-06, -3.0299122499855002e-06, -2.8777001261914847e-06, -2.7254880023974692e-06, -2.573276105977129e-06, -2.4210639821831137e-06, -2.268851858389098e-06, -2.1166397345950827e-06, -1.964427610801067e-06, -1.8122157143807271e-06, -1.6600035905867117e-06, -1.5077914667926962e-06, -1.3555794566855184e-06, -1.2033674465783406e-06, -1.0511553227843251e-06, -8.989432558337285e-07, -7.467311888831318e-07, -5.945191219325352e-07, -4.4230705498193856e-07, -2.9009498803134193e-07, -1.378829210807453e-07, 1.4329089026432484e-08, 1.6654121282044798e-07, 3.187532797710446e-07, 4.7096534672164125e-07, 6.231774136722379e-07, 7.753894806228345e-07, 9.276015475734312e-07, 1.0798136145240278e-06, 1.2320256246312056e-06, 1.3842372936778702e-06, 1.5364494174718857e-06, 1.6886614275790635e-06, 1.8408734376862412e-06, 1.9930855614802567e-06, 2.1452976852742722e-06, 2.2975095816946123e-06, 2.4497217054886278e-06, 2.6019338292826433e-06, 2.7541459530766588e-06, 2.9063580768706743e-06, 3.0585699732910143e-06, 3.21078209708503e-06, 3.3629942208790453e-06, 3.5152061172993854e-06, 3.667418241093401e-06, 3.819630364887416e-06, 3.971842488681432e-06, 4.124054612475447e-06, 4.276266736269463e-06, 4.428478860063478e-06, 4.580690529110143e-06, 4.7329026529041585e-06, 4.885114776698174e-06, 5.0373269004921895e-06, 5.189539024286205e-06, 5.3417511480802204e-06, 5.493963271874236e-06, 5.6461749409209006e-06, 5.798387064714916e-06, 5.9505991885089315e-06, 6.102811312302947e-06, 6.2550234360969625e-06]}, "gradients/bert.encoder.layer.13.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 1.0, 5.0, 3.0, 3.0, 1.0, 9.0, 8.0, 6.0, 23.0, 24.0, 52.0, 105.0, 640.0, 34585.0, 1007882.0, 4748.0, 295.0, 69.0, 25.0, 30.0, 16.0, 7.0, 10.0, 2.0, 6.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-6.075113924453035e-05, -5.9077901823911816e-05, -5.740466804127209e-05, -5.5731430620653555e-05, -5.405819683801383e-05, -5.2384959417395294e-05, -5.071172199677676e-05, -4.903848821413703e-05, -4.7365254431497306e-05, -4.569201701087877e-05, -4.4018783228239045e-05, -4.234554580762051e-05, -4.0672312024980783e-05, -3.899907460436225e-05, -3.7325837183743715e-05, -3.565260340110399e-05, -3.3979365980485454e-05, -3.230612855986692e-05, -3.063289477722719e-05, -2.895965735660866e-05, -2.7286423573968932e-05, -2.5613186153350398e-05, -2.3939950551721267e-05, -2.2266714950092137e-05, -2.0593479348463006e-05, -1.8920243746833876e-05, -1.7247008145204745e-05, -1.5573772543575615e-05, -1.3900536032451782e-05, -1.2227300430822652e-05, -1.055406391969882e-05, -8.880828318069689e-06, -7.2075963544193655e-06, -5.534360752790235e-06, -3.8611246964137536e-06, -2.187888640037272e-06, -5.146530384081416e-07, 1.158582563220989e-06, 2.8318190743448213e-06, 4.505054675973952e-06, 6.178290277603082e-06, 7.851525879232213e-06, 9.524761480861343e-06, 1.1197997991985176e-05, 1.2871233593614306e-05, 1.4544469195243437e-05, 1.621770570636727e-05, 1.78909413079964e-05, 1.956417690962553e-05, 2.123741251125466e-05, 2.291064811288379e-05, 2.4583885533502325e-05, 2.6257119316142052e-05, 2.7930356736760587e-05, 2.9603592338389717e-05, 3.127682794001885e-05, 3.2950061722658575e-05, 3.462329914327711e-05, 3.6296532925916836e-05, 3.796977034653537e-05, 3.96430041291751e-05, 4.131624154979363e-05, 4.2989478970412165e-05, 4.466271275305189e-05, 4.6335950173670426e-05]}, "gradients/bert.encoder.layer.12.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 4.0, 13.0, 69.0, 420.0, 417.0, 82.0, 13.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00011276020086370409, -0.00011025377170881256, -0.00010774734255392104, -0.00010524091339902952, -0.000102734484244138, -0.00010022804781328887, -9.772161865839735e-05, -9.521518950350583e-05, -9.27087603486143e-05, -9.020233119372278e-05, -8.769590203883126e-05, -8.518947288393974e-05, -8.268303645309061e-05, -8.017660729819909e-05, -7.767017814330757e-05, -7.516374898841605e-05, -7.265731983352453e-05, -7.0150890678633e-05, -6.764446152374148e-05, -6.513803236884996e-05, -6.263160321395844e-05, -6.0125170421088114e-05, -5.7618737628217787e-05, -5.5112308473326266e-05, -5.2605879318434745e-05, -5.0099450163543224e-05, -4.7593021008651704e-05, -4.5086588215781376e-05, -4.2580159060889855e-05, -4.0073729905998334e-05, -3.7567297113128006e-05, -3.5060867958236486e-05, -3.255444607930258e-05, -3.004801692441106e-05, -2.7541585950530134e-05, -2.503515497664921e-05, -2.252872582175769e-05, -2.002229666686617e-05, -1.7515865692985244e-05, -1.500943471910432e-05, -1.2503005564212799e-05, -9.996575499826577e-06, -7.490145435440354e-06, -4.9837153710541315e-06, -2.477285306667909e-06, 2.9144757718313485e-08, 2.535574822104536e-06, 5.04200579598546e-06, 7.548434950876981e-06, 1.0054865015263204e-05, 1.2561295079649426e-05, 1.5067725144035649e-05, 1.757415520842187e-05, 2.0080584363313392e-05, 2.2587015337194316e-05, 2.509344631107524e-05, 2.759987546596676e-05, 3.0106304620858282e-05, 3.26127337757498e-05, 3.511916656862013e-05, 3.762559572351165e-05, 4.013202487840317e-05, 4.26384576712735e-05, 4.514488682616502e-05, 4.765131598105654e-05]}, "gradients/bert.encoder.layer.12.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 3.0, 6.0, 3.0, 4.0, 10.0, 7.0, 7.0, 14.0, 19.0, 17.0, 12.0, 26.0, 37.0, 39.0, 26.0, 50.0, 54.0, 54.0, 49.0, 46.0, 52.0, 60.0, 57.0, 53.0, 49.0, 47.0, 40.0, 30.0, 32.0, 17.0, 20.0, 16.0, 17.0, 10.0, 10.0, 9.0, 7.0, 3.0, 5.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1585176252992824e-05, -1.1057005394832231e-05, -1.052883544616634e-05, -1.0000664588005748e-05, -9.472494639339857e-06, -8.944323781179264e-06, -8.416152923018672e-06, -7.887982064858079e-06, -7.359812116192188e-06, -6.831641712778946e-06, -6.303471309365705e-06, -5.775300451205112e-06, -5.24713004779187e-06, -4.718959644378629e-06, -4.190788786218036e-06, -3.6626183828047942e-06, -3.1344479793915525e-06, -2.6062775759783108e-06, -2.0781069451913936e-06, -1.5499364280913142e-06, -1.0217659109912347e-06, -4.93595507577993e-07, 3.4575123208924197e-08, 5.627457539958414e-07, 1.090916157409083e-06, 1.6190866745091625e-06, 2.147257191609242e-06, 2.675427822396159e-06, 3.203598225809401e-06, 3.7317686292226426e-06, 4.259939487383235e-06, 4.788109890796477e-06, 5.316278475220315e-06, 5.844448878633557e-06, 6.372619282046799e-06, 6.900790140207391e-06, 7.428960543620633e-06, 7.957130947033875e-06, 8.485301805194467e-06, 9.01347266335506e-06, 9.54164261202095e-06, 1.0069813470181543e-05, 1.0597983418847434e-05, 1.1126154277008027e-05, 1.165432513516862e-05, 1.218249508383451e-05, 1.2710665941995103e-05, 1.3238835890660994e-05, 1.3767006748821586e-05, 1.4295177606982179e-05, 1.482334755564807e-05, 1.535151750431396e-05, 1.5879688362474553e-05, 1.6407859220635146e-05, 1.693603007879574e-05, 1.746420093695633e-05, 1.799236997612752e-05, 1.8520540834288113e-05, 1.9048711692448705e-05, 1.9576880731619895e-05, 2.0105051589780487e-05, 2.063322244794108e-05, 2.1161393306101672e-05, 2.1689564164262265e-05, 2.2217735022422858e-05]}, "gradients/bert.encoder.layer.12.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 3.0, 0.0, 2.0, 3.0, 3.0, 9.0, 12.0, 9.0, 13.0, 8.0, 16.0, 18.0, 24.0, 29.0, 32.0, 29.0, 42.0, 34.0, 51.0, 34.0, 43.0, 50.0, 53.0, 49.0, 64.0, 44.0, 38.0, 39.0, 30.0, 34.0, 32.0, 35.0, 22.0, 19.0, 13.0, 14.0, 17.0, 10.0, 12.0, 6.0, 4.0, 2.0, 3.0, 4.0, 2.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-1.087588316295296e-05, -1.0543008102104068e-05, -1.0210133041255176e-05, -9.877257980406284e-06, -9.544383829052094e-06, -9.211508768203203e-06, -8.878633707354311e-06, -8.54575864650542e-06, -8.21288449515123e-06, -7.880009434302337e-06, -7.547134828200797e-06, -7.214259767351905e-06, -6.881385161250364e-06, -6.548510100401472e-06, -6.2156350395525806e-06, -5.882759978703689e-06, -5.549884917854797e-06, -5.217009857005905e-06, -4.8841352509043645e-06, -4.551260190055473e-06, -4.218385583953932e-06, -3.88551052310504e-06, -3.5526354622561485e-06, -3.219760628780932e-06, -2.886885795305716e-06, -2.5540109618304996e-06, -2.2211361283552833e-06, -1.8882610675063916e-06, -1.5553862340311753e-06, -1.222511400555959e-06, -8.896363397070672e-07, -5.567615062318509e-07, -2.2388667275663465e-07, 1.089882175620005e-07, 4.4186310788063565e-07, 7.747380550426897e-07, 1.107612888517906e-06, 1.4404877219931222e-06, 1.773362782842014e-06, 2.1062376163172303e-06, 2.4391124497924466e-06, 2.771987283267663e-06, 3.104862116742879e-06, 3.437737177591771e-06, 3.770612011066987e-06, 4.1034868445422035e-06, 4.436361905391095e-06, 4.769236511492636e-06, 5.102111572341528e-06, 5.4349866331904195e-06, 5.76786123929196e-06, 6.100736300140852e-06, 6.433610906242393e-06, 6.766485967091285e-06, 7.0993610279401764e-06, 7.432236088789068e-06, 7.76511114963796e-06, 8.097986210486852e-06, 8.430861271335743e-06, 8.763736332184635e-06, 9.096610483538825e-06, 9.429485544387717e-06, 9.762360605236609e-06, 1.00952356660855e-05, 1.042810981743969e-05]}, "gradients/bert.encoder.layer.12.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 3.0, 6.0, 1.0, 4.0, 5.0, 6.0, 8.0, 3.0, 14.0, 15.0, 16.0, 21.0, 20.0, 17.0, 21.0, 33.0, 64.0, 85.0, 141.0, 301.0, 752.0, 2410.0, 10521.0, 133901.0, 3556320.0, 464623.0, 19280.0, 3719.0, 1047.0, 408.0, 165.0, 97.0, 46.0, 41.0, 28.0, 27.0, 21.0, 19.0, 12.0, 12.0, 13.0, 4.0, 9.0, 9.0, 7.0, 5.0, 2.0, 5.0, 4.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-3.0228979085222818e-05, -2.9356700906646438e-05, -2.8484422728070058e-05, -2.7612144549493678e-05, -2.6739866370917298e-05, -2.5867588192340918e-05, -2.4995310013764538e-05, -2.4123031835188158e-05, -2.3250753656611778e-05, -2.2378475478035398e-05, -2.1506197299459018e-05, -2.0633919120882638e-05, -1.9761640942306258e-05, -1.8889362763729878e-05, -1.8017084585153498e-05, -1.7144806406577118e-05, -1.627253004699014e-05, -1.540025186841376e-05, -1.4527973689837381e-05, -1.3655695511261001e-05, -1.2783417332684621e-05, -1.1911139154108241e-05, -1.1038860975531861e-05, -1.0166582796955481e-05, -9.294304618379101e-06, -8.422026439802721e-06, -7.549748261226341e-06, -6.677470082649961e-06, -5.805191904073581e-06, -4.932914180244552e-06, -4.060636001668172e-06, -3.188357823091792e-06, -2.316079189768061e-06, -1.443801011191681e-06, -5.715229463021387e-07, 3.0075511858740356e-07, 1.1730332971637836e-06, 2.045311248366488e-06, 2.917589426942868e-06, 3.789867605519248e-06, 4.662145784095628e-06, 5.534423962672008e-06, 6.406702141248388e-06, 7.278979865077417e-06, 8.151258043653797e-06, 9.023536222230177e-06, 9.895814400806557e-06, 1.0768092579382937e-05, 1.1640370757959317e-05, 1.2512648936535697e-05, 1.3384927115112077e-05, 1.4257205293688457e-05, 1.5129483472264837e-05, 1.6001760741346516e-05, 1.6874038919922896e-05, 1.7746317098499276e-05, 1.8618595277075656e-05, 1.9490873455652036e-05, 2.0363151634228416e-05, 2.1235429812804796e-05, 2.2107707991381176e-05, 2.2979986169957556e-05, 2.3852264348533936e-05, 2.4724542527110316e-05, 2.5596820705686696e-05]}, "gradients/bert.encoder.layer.12.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 5.0, 3.0, 0.0, 2.0, 2.0, 6.0, 7.0, 12.0, 11.0, 19.0, 31.0, 62.0, 105.0, 149.0, 419.0, 969.0, 1264.0, 555.0, 193.0, 106.0, 56.0, 42.0, 24.0, 15.0, 14.0, 4.0, 4.0, 3.0, 0.0, 2.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.668568964116275e-06, -9.434120329387952e-06, -9.199671694659628e-06, -8.965223969426006e-06, -8.730775334697682e-06, -8.496326699969359e-06, -8.261878065241035e-06, -8.027429430512711e-06, -7.792980795784388e-06, -7.558532161056064e-06, -7.324083981075091e-06, -7.089635346346768e-06, -6.855186711618444e-06, -6.620738531637471e-06, -6.3862898969091475e-06, -6.151841262180824e-06, -5.917393536947202e-06, -5.682944902218878e-06, -5.4484967222379055e-06, -5.214048087509582e-06, -4.979599452781258e-06, -4.745151272800285e-06, -4.510702638071962e-06, -4.276254003343638e-06, -4.041805368615314e-06, -3.807356961260666e-06, -3.5729083265323425e-06, -3.3384599191776942e-06, -3.104011511823046e-06, -2.869563104468398e-06, -2.635114469740074e-06, -2.400666062385426e-06, -2.1662176550307777e-06, -1.9317692476761295e-06, -1.6973207266346435e-06, -1.4628722055931576e-06, -1.2284237982385093e-06, -9.939752771970234e-07, -7.595267561555374e-07, -5.250783488008892e-07, -2.9062982775940327e-07, -5.618134935048147e-08, 1.7826712905844033e-07, 4.1271562167821685e-07, 6.471640858762839e-07, 8.81612550074351e-07, 1.116061071115837e-06, 1.3505094784704852e-06, 1.5849579995119711e-06, 1.819406520553457e-06, 2.053855041594943e-06, 2.2883034489495913e-06, 2.5227518563042395e-06, 2.757200491032563e-06, 2.9916488983872114e-06, 3.2260973057418596e-06, 3.4605459404701833e-06, 3.6949943478248315e-06, 3.92944275517948e-06, 4.163891389907803e-06, 4.398340024636127e-06, 4.6327882046171e-06, 4.8672368393454235e-06, 5.101685019326396e-06, 5.33613365405472e-06]}, "gradients/bert.encoder.layer.12.intermediate.dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 2.0, 2.0, 12.0, 9.0, 26.0, 24.0, 43.0, 103.0, 185.0, 717.0, 2687511.0, 1504410.0, 756.0, 219.0, 93.0, 53.0, 38.0, 26.0, 18.0, 9.0, 8.0, 6.0, 4.0, 3.0, 1.0, 2.0, 4.0, 0.0, 1.0, 2.0, 0.0, 0.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00012123417400289327, -0.00011449559679022059, -0.00010775701957754791, -0.00010101844236487523, -9.427986515220255e-05, -8.754128793952987e-05, -8.080271072685719e-05, -7.40641335141845e-05, -6.732555630151182e-05, -6.0586979088839144e-05, -5.384840187616646e-05, -4.710982466349378e-05, -4.03712474508211e-05, -3.363267023814842e-05, -2.689409302547574e-05, -2.015551581280306e-05, -1.341693860013038e-05, -6.678361387457699e-06, 6.021582521498203e-08, 6.798793037887663e-06, 1.3537370250560343e-05, 2.0275947463233024e-05, 2.7014524675905704e-05, 3.3753101888578385e-05, 4.0491679101251066e-05, 4.7230256313923746e-05, 5.396883352659643e-05, 6.070741073926911e-05, 6.744598795194179e-05, 7.418456516461447e-05, 8.092314237728715e-05, 8.766171958995983e-05, 9.440028225071728e-05, 0.00010113885946338996, 0.00010787743667606264, 0.00011461601388873532, 0.000121354591101408, 0.0001280931755900383, 0.00013483174552675337, 0.00014157031546346843, 0.00014830889995209873, 0.00015504748444072902, 0.0001617860543774441, 0.00016852462431415915, 0.00017526320880278945, 0.00018200179329141974, 0.0001887403632281348, 0.00019547893316484988, 0.00020221751765348017, 0.00020895610214211047, 0.00021569467207882553, 0.0002224332420155406, 0.0002291718265041709, 0.0002359104109928012, 0.00024264898092951626, 0.0002493875508662313, 0.0002561261353548616, 0.0002628647198434919, 0.00026960327522829175, 0.00027634185971692204, 0.00028308044420555234, 0.00028981902869418263, 0.00029655761318281293, 0.00030329616856761277, 0.00031003475305624306]}, "gradients/bert.encoder.layer.12.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 1.0, 3.0, 6.0, 2.0, 1.0, 4.0, 2.0, 9.0, 6.0, 8.0, 10.0, 19.0, 20.0, 25.0, 27.0, 25.0, 37.0, 51.0, 47.0, 60.0, 54.0, 58.0, 63.0, 65.0, 65.0, 52.0, 41.0, 43.0, 30.0, 35.0, 30.0, 18.0, 11.0, 11.0, 16.0, 7.0, 5.0, 9.0, 4.0, 9.0, 4.0, 4.0, 2.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0], "bins": [-8.648894436191767e-06, -8.38855794427218e-06, -8.128221452352591e-06, -7.8678840509383e-06, -7.6075475590187125e-06, -7.347211067099124e-06, -7.086874575179536e-06, -6.826538083259948e-06, -6.566201136593008e-06, -6.30586464467342e-06, -6.045527698006481e-06, -5.785191206086893e-06, -5.524854714167304e-06, -5.264517767500365e-06, -5.004181275580777e-06, -4.743844328913838e-06, -4.483507836994249e-06, -4.223171345074661e-06, -3.962834398407722e-06, -3.7024979064881336e-06, -3.44216118719487e-06, -3.181824467901606e-06, -2.921487975982018e-06, -2.661151256688754e-06, -2.4008145373954903e-06, -2.1404778181022266e-06, -1.8801412124958006e-06, -1.6198046068893746e-06, -1.3594678875961108e-06, -1.099131168302847e-06, -8.387945626964211e-07, -5.78457957089995e-07, -3.181212377967313e-07, -5.778457534688641e-08, 2.0255208710295847e-07, 4.6288874955280335e-07, 7.232254120026482e-07, 9.83562131295912e-07, 1.243898736902338e-06, 1.504235342508764e-06, 1.7645720618020277e-06, 2.0249087810952915e-06, 2.2852455003885552e-06, 2.5455819923081435e-06, 2.8059187116014073e-06, 3.066255430894671e-06, 3.3265919228142593e-06, 3.586928642107523e-06, 3.847265361400787e-06, 4.107601853320375e-06, 4.367938799987314e-06, 4.6282752919069026e-06, 4.888612238573842e-06, 5.14894873049343e-06, 5.409285222413018e-06, 5.669621714332607e-06, 5.929958660999546e-06, 6.190295152919134e-06, 6.450632099586073e-06, 6.710968591505662e-06, 6.97130508342525e-06, 7.231642030092189e-06, 7.491978522011777e-06, 7.752315468678717e-06, 8.012651960598305e-06]}, "gradients/bert.encoder.layer.12.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 0.0, 2.0, 3.0, 6.0, 5.0, 6.0, 2.0, 6.0, 11.0, 12.0, 13.0, 21.0, 21.0, 19.0, 23.0, 36.0, 32.0, 47.0, 38.0, 42.0, 50.0, 45.0, 43.0, 50.0, 52.0, 52.0, 43.0, 45.0, 53.0, 34.0, 26.0, 31.0, 31.0, 17.0, 17.0, 11.0, 14.0, 16.0, 12.0, 9.0, 3.0, 1.0, 5.0, 2.0, 3.0, 3.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.708041943667922e-06, -9.35161551751662e-06, -8.995188181870617e-06, -8.638761755719315e-06, -8.282335329568014e-06, -7.92590799392201e-06, -7.569481567770708e-06, -7.213055141619407e-06, -6.856628260720754e-06, -6.5002013798221014e-06, -6.1437749536708e-06, -5.787348072772147e-06, -5.4309211918734945e-06, -5.074494765722193e-06, -4.71806788482354e-06, -4.361641003924888e-06, -4.005214577773586e-06, -3.6487879242486088e-06, -3.2923612707236316e-06, -2.935934389824979e-06, -2.579507736300002e-06, -2.2230810827750247e-06, -1.866654201876372e-06, -1.510227548351395e-06, -1.1538008948264178e-06, -7.973741844580218e-07, -4.4094747408962576e-07, -8.452070687781088e-08, 2.719059466471663e-07, 6.283326001721434e-07, 9.84759481070796e-07, 1.3411861345957732e-06, 1.6976127881207503e-06, 2.0540394416457275e-06, 2.4104660951707046e-06, 2.7668929760693572e-06, 3.1233196295943344e-06, 3.4797462831193116e-06, 3.836173164017964e-06, 4.192599590169266e-06, 4.5490264710679185e-06, 4.905453351966571e-06, 5.261879778117873e-06, 5.618306659016525e-06, 5.974733539915178e-06, 6.33115996606648e-06, 6.687586846965132e-06, 7.044013727863785e-06, 7.400440154015087e-06, 7.756866580166388e-06, 8.113293915812392e-06, 8.469720341963693e-06, 8.826146768114995e-06, 9.182573194266297e-06, 9.5390005299123e-06, 9.895426956063602e-06, 1.0251853382214904e-05, 1.0608279808366206e-05, 1.0964707144012209e-05, 1.132113357016351e-05, 1.1677559996314812e-05, 1.2033986422466114e-05, 1.2390413758112118e-05, 1.274684018426342e-05, 1.3103267519909423e-05]}, "gradients/bert.encoder.layer.12.attention.output.dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 2.0, 3.0, 4.0, 7.0, 3.0, 4.0, 7.0, 8.0, 13.0, 18.0, 16.0, 18.0, 32.0, 34.0, 42.0, 34.0, 40.0, 51.0, 46.0, 57.0, 49.0, 68.0, 66.0, 54.0, 49.0, 49.0, 38.0, 46.0, 27.0, 23.0, 24.0, 20.0, 10.0, 14.0, 6.0, 12.0, 6.0, 4.0, 3.0, 2.0, 3.0, 4.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0610083336359821e-05, -1.0168432709178887e-05, -9.726782081997953e-06, -9.28513145481702e-06, -8.843481737130787e-06, -8.401831109949853e-06, -7.96018048276892e-06, -7.518529855587985e-06, -7.076879228407051e-06, -6.6352286012261175e-06, -6.193578428792534e-06, -5.7519278016116004e-06, -5.3102771744306665e-06, -4.8686270019970834e-06, -4.4269763748161495e-06, -3.9853257476352155e-06, -3.5436755752016325e-06, -3.102025175394374e-06, -2.66037454821344e-06, -2.2187241484061815e-06, -1.7770736349120853e-06, -1.335423121417989e-06, -8.937727216107305e-07, -4.5212209442979656e-07, -1.0471694622538052e-08, 4.3117879044984875e-07, 8.728292755222355e-07, 1.314479732172913e-06, 1.7561302456670091e-06, 2.1977807591611054e-06, 2.639431158968364e-06, 3.081081786149298e-06, 3.5227321859565563e-06, 3.96438281313749e-06, 4.406032985571073e-06, 4.847683612752007e-06, 5.289334239932941e-06, 5.730984412366524e-06, 6.172635039547458e-06, 6.614285666728392e-06, 7.055936293909326e-06, 7.49758692109026e-06, 7.939237548271194e-06, 8.380888175452128e-06, 8.82253789313836e-06, 9.264188520319294e-06, 9.705839147500228e-06, 1.0147489774681162e-05, 1.0589139492367394e-05, 1.1030790119548328e-05, 1.1472440746729262e-05, 1.1914091373910196e-05, 1.2355741091596428e-05, 1.2797391718777362e-05, 1.3239042345958296e-05, 1.368069297313923e-05, 1.4122343600320164e-05, 1.4563994227501098e-05, 1.5005644854682032e-05, 1.5447294572368264e-05, 1.5888945199549198e-05, 1.6330595826730132e-05, 1.6772246453911066e-05, 1.7213897081092e-05, 1.7655547708272934e-05]}, "gradients/bert.encoder.layer.12.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 3.0, 1.0, 5.0, 4.0, 14.0, 9.0, 22.0, 27.0, 43.0, 71.0, 99.0, 202.0, 311.0, 543.0, 888.0, 1646.0, 3075.0, 5891.0, 11813.0, 24988.0, 57699.0, 134635.0, 287169.0, 283391.0, 130865.0, 56346.0, 24723.0, 11547.0, 5707.0, 2884.0, 1650.0, 883.0, 554.0, 332.0, 198.0, 137.0, 62.0, 60.0, 28.0, 14.0, 7.0, 8.0, 7.0, 6.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.1253165212110616e-05, -1.0931513315881602e-05, -1.060986232914729e-05, -1.0288210432918277e-05, -9.966558536689263e-06, -9.64490754995495e-06, -9.323255653725937e-06, -9.001603757496923e-06, -8.67995186126791e-06, -8.358299965038896e-06, -8.036648978304584e-06, -7.71499708207557e-06, -7.393345185846556e-06, -7.071693744364893e-06, -6.75004230288323e-06, -6.428390406654216e-06, -6.106739419919904e-06, -5.785087978438241e-06, -5.463436082209228e-06, -5.141784640727565e-06, -4.820132744498551e-06, -4.498481303016888e-06, -4.176829861535225e-06, -3.855177965306211e-06, -3.5335265238245483e-06, -3.21187485496921e-06, -2.8902231861138716e-06, -2.5685717446322087e-06, -2.2469200757768704e-06, -1.925268406921532e-06, -1.603616965439869e-06, -1.2819652965845307e-06, -9.603145372238941e-07, -6.386629252119747e-07, -3.1701131320005516e-07, 4.64024196844548e-09, 3.2629191082378384e-07, 6.479435796791222e-07, 9.695950211607851e-07, 1.2912466900161235e-06, 1.6128983588714618e-06, 1.9345500277268e-06, 2.2562016965821385e-06, 2.5778531380638015e-06, 2.89950480691914e-06, 3.221156475774478e-06, 3.542807917256141e-06, 3.864459358737804e-06, 4.186111254966818e-06, 4.507762696448481e-06, 4.8294145926774945e-06, 5.1510660341591574e-06, 5.472717930388171e-06, 5.794369371869834e-06, 6.116020813351497e-06, 6.437672709580511e-06, 6.759324151062174e-06, 7.080975592543837e-06, 7.4026274887728505e-06, 7.724278475507163e-06, 8.045930371736176e-06, 8.36758226796519e-06, 8.689234164194204e-06, 9.010885150928516e-06, 9.33253704715753e-06]}, "gradients/bert.encoder.layer.12.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 3.0, 2.0, 5.0, 10.0, 17.0, 14.0, 20.0, 22.0, 34.0, 34.0, 45.0, 47.0, 63.0, 49.0, 58.0, 79.0, 76.0, 58.0, 74.0, 56.0, 48.0, 37.0, 32.0, 39.0, 24.0, 19.0, 16.0, 17.0, 7.0, 6.0, 3.0, 1.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.374392902827822e-06, -8.901022738427855e-06, -8.427652574027888e-06, -7.95428150013322e-06, -7.4809113357332535e-06, -7.007541171333287e-06, -6.5341705521859694e-06, -6.060799933038652e-06, -5.587429768638685e-06, -5.114059604238719e-06, -4.640688985091401e-06, -4.167318365944084e-06, -3.693948201544117e-06, -3.220577809770475e-06, -2.747207417996833e-06, -2.273837026223191e-06, -1.800466634449549e-06, -1.327096242675907e-06, -8.537258509022649e-07, -3.803554591286229e-07, 9.301493264501914e-08, 5.663853244186612e-07, 1.0397557161923032e-06, 1.5131261079659453e-06, 1.9864964997395873e-06, 2.4598668915132293e-06, 2.9332372832868714e-06, 3.4066076750605134e-06, 3.8799780668341555e-06, 4.353348231234122e-06, 4.8267188503814396e-06, 5.300089469528757e-06, 5.773459633928724e-06, 6.24682979832869e-06, 6.720200417476008e-06, 7.193571036623325e-06, 7.666941201023292e-06, 8.140311365423258e-06, 8.613682439317927e-06, 9.087052603717893e-06, 9.56042276811786e-06, 1.0033792932517827e-05, 1.0507163096917793e-05, 1.0980534170812462e-05, 1.1453904335212428e-05, 1.1927274499612395e-05, 1.2400645573507063e-05, 1.287401573790703e-05, 1.3347385902306996e-05, 1.3820756066706963e-05, 1.429412623110693e-05, 1.4767497305001598e-05, 1.5240867469401564e-05, 1.5714238543296233e-05, 1.61876087076962e-05, 1.6660978872096166e-05, 1.7134349036496133e-05, 1.76077192008961e-05, 1.8081089365296066e-05, 1.8554459529696032e-05, 1.9027829694096e-05, 1.950120167748537e-05, 1.9974571841885336e-05, 2.0447942006285302e-05, 2.092131217068527e-05]}, "gradients/bert.encoder.layer.12.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 1.0, 5.0, 4.0, 4.0, 7.0, 16.0, 11.0, 19.0, 26.0, 25.0, 30.0, 38.0, 49.0, 46.0, 85.0, 121.0, 352.0, 18406.0, 1028179.0, 573.0, 167.0, 114.0, 58.0, 49.0, 38.0, 30.0, 33.0, 20.0, 17.0, 10.0, 13.0, 8.0, 5.0, 6.0, 1.0, 0.0, 2.0, 1.0, 0.0, 1.0], "bins": [-0.00027766820858232677, -0.000271089025773108, -0.0002645098720677197, -0.0002579307183623314, -0.0002513515355531126, -0.00024477235274389386, -0.00023819319903850555, -0.00023161403078120202, -0.00022503486252389848, -0.00021845569426659495, -0.0002118765260092914, -0.00020529735775198787, -0.00019871818949468434, -0.0001921390212373808, -0.00018555985298007727, -0.00017898068472277373, -0.0001724015164654702, -0.00016582234820816666, -0.00015924317995086312, -0.0001526640116935596, -0.00014608484343625605, -0.00013950567517895252, -0.00013292650692164898, -0.00012634733866434544, -0.00011976817040704191, -0.00011318900214973837, -0.00010660983389243484, -0.0001000306656351313, -9.345149737782776e-05, -8.687232912052423e-05, -8.029316086322069e-05, -7.371399260591716e-05, -6.713482434861362e-05, -6.0555656091310084e-05, -5.397648783400655e-05, -4.739731957670301e-05, -4.0818151319399476e-05, -3.423898306209594e-05, -2.7659814804792404e-05, -2.1080646547488868e-05, -1.4501478290185332e-05, -7.922310032881796e-06, -1.3431417755782604e-06, 5.2360264817252755e-06, 1.1815194739028811e-05, 1.8394362996332347e-05, 2.4973531253635883e-05, 3.155269951093942e-05, 3.8131867768242955e-05, 4.471103602554649e-05, 5.129020428285003e-05, 5.786937254015356e-05, 6.44485407974571e-05, 7.102770905476063e-05, 7.760687731206417e-05, 8.41860455693677e-05, 9.076521382667124e-05, 9.734438208397478e-05, 0.00010392355034127831, 0.00011050271859858185, 0.00011708188685588539, 0.00012366105511318892, 0.00013024022337049246, 0.000136819391627796, 0.00014339855988509953]}, "gradients/bert.encoder.layer.12.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 7.0, 1.0, 7.0, 1.0, 4.0, 15.0, 9.0, 5.0, 29.0, 34.0, 53.0, 53.0, 28.0, 108.0, 89.0, 142.0, 45.0, 82.0, 104.0, 33.0, 59.0, 15.0, 26.0, 21.0, 7.0, 13.0, 3.0, 1.0, 8.0, 2.0, 0.0, 5.0, 1.0, 1.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.410605131648481e-13, -3.299582829185965e-13, -3.1885605267234496e-13, -3.077538224260934e-13, -2.9665159217984183e-13, -2.8554936193359026e-13, -2.744471316873387e-13, -2.6334490144108713e-13, -2.5224267119483557e-13, -2.41140440948584e-13, -2.3003821070233244e-13, -2.1893598045608087e-13, -2.078337502098293e-13, -1.9673151996357774e-13, -1.8562928971732617e-13, -1.745270594710746e-13, -1.6342482922482304e-13, -1.5232259897857148e-13, -1.412203687323199e-13, -1.3011813848606835e-13, -1.1901590823981678e-13, -1.0791367799356522e-13, -9.681144774731365e-14, -8.570921750106208e-14, -7.460698725481052e-14, -6.350475700855895e-14, -5.240252676230739e-14, -4.1300296516055823e-14, -3.019806626980426e-14, -1.9095836023552692e-14, -7.993605777301127e-15, 3.1086244689504383e-15, 1.4210854715202004e-14, 2.531308496145357e-14, 3.6415315207705135e-14, 4.75175454539567e-14, 5.861977570020827e-14, 6.972200594645983e-14, 8.08242361927114e-14, 9.192646643896296e-14, 1.0302869668521453e-13, 1.141309269314661e-13, 1.2523315717771766e-13, 1.3633538742396922e-13, 1.474376176702208e-13, 1.5853984791647235e-13, 1.6964207816272392e-13, 1.8074430840897548e-13, 1.9184653865522705e-13, 2.0294876890147862e-13, 2.1405099914773018e-13, 2.2515322939398175e-13, 2.362554596402333e-13, 2.473576898864849e-13, 2.5845992013273644e-13, 2.69562150378988e-13, 2.8066438062523957e-13, 2.9176661087149114e-13, 3.028688411177427e-13, 3.1397107136399427e-13, 3.2507330161024584e-13, 3.361755318564974e-13, 3.4727776210274897e-13, 3.5837999234900053e-13, 3.694822225952521e-13]}, "gradients/bert.encoder.layer.12.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 3.0, 3.0, 5.0, 4.0, 5.0, 21.0, 12.0, 28.0, 41.0, 89.0, 177.0, 455.0, 1674.0, 11869.0, 209753.0, 775044.0, 44015.0, 3968.0, 842.0, 274.0, 118.0, 67.0, 31.0, 19.0, 17.0, 8.0, 9.0, 4.0, 3.0, 3.0, 1.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2652268196688965e-05, -1.2170281479484402e-05, -1.168829567177454e-05, -1.1206309864064679e-05, -1.0724323146860115e-05, -1.0242336429655552e-05, -9.76035062194569e-06, -9.278364814235829e-06, -8.796378097031265e-06, -8.314391379826702e-06, -7.83240557211684e-06, -7.350419309659628e-06, -6.868433047202416e-06, -6.386446784745203e-06, -5.904460522287991e-06, -5.4224742598307785e-06, -4.940487997373566e-06, -4.458501734916354e-06, -3.976515472459141e-06, -3.4945292100019287e-06, -3.0125429475447163e-06, -2.530556685087504e-06, -2.0485704226302914e-06, -1.566584160173079e-06, -1.0845978977158666e-06, -6.026116352586541e-07, -1.206253728014417e-07, 3.6136088965577073e-07, 8.433471521129832e-07, 1.3253334145701956e-06, 1.807319677027408e-06, 2.2893059394846205e-06, 2.771292201941833e-06, 3.2532784643990453e-06, 3.7352647268562578e-06, 4.21725098931347e-06, 4.699237251770683e-06, 5.181223514227895e-06, 5.6632097766851075e-06, 6.14519603914232e-06, 6.627182301599532e-06, 7.109168564056745e-06, 7.591154826513957e-06, 8.073140634223819e-06, 8.555127351428382e-06, 9.037114068632945e-06, 9.519099876342807e-06, 1.0001085684052669e-05, 1.0483072401257232e-05, 1.0965059118461795e-05, 1.1447044926171657e-05, 1.1929030733881518e-05, 1.2411017451086082e-05, 1.2893004168290645e-05, 1.3374989976000506e-05, 1.3856975783710368e-05, 1.4338962500914931e-05, 1.4820949218119495e-05, 1.5302935935324058e-05, 1.5784920833539218e-05, 1.626690755074378e-05, 1.6748894267948344e-05, 1.7230879166163504e-05, 1.7712865883368067e-05, 1.819485260057263e-05]}, "gradients/bert.encoder.layer.12.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 6.0, 7.0, 3.0, 2.0, 10.0, 10.0, 14.0, 16.0, 10.0, 22.0, 27.0, 35.0, 28.0, 55.0, 58.0, 82.0, 98.0, 115.0, 92.0, 65.0, 66.0, 27.0, 26.0, 36.0, 25.0, 21.0, 18.0, 5.0, 8.0, 6.0, 4.0, 2.0, 1.0, 5.0, 3.0, 0.0, 4.0, 2.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.23944039134949e-06, -2.1769760678580496e-06, -2.1145117443666095e-06, -2.0520474208751693e-06, -1.9895828700100537e-06, -1.9271185465186136e-06, -1.8646542230271734e-06, -1.8021898995357333e-06, -1.7397255760442931e-06, -1.677261252552853e-06, -1.6147969290614128e-06, -1.552332491883135e-06, -1.4898681683916948e-06, -1.4274038449002546e-06, -1.3649394077219767e-06, -1.3024750842305366e-06, -1.2400107607390964e-06, -1.1775464372476563e-06, -1.1150821137562161e-06, -1.0526176765779383e-06, -9.90153353086498e-07, -9.276890295950579e-07, -8.652246492601989e-07, -8.027602689253399e-07, -7.402959454338998e-07, -6.778316219424596e-07, -6.153672416076006e-07, -5.529028612727416e-07, -4.904385377813014e-07, -4.2797418586815184e-07, -3.6550983395500225e-07, -3.0304548204185267e-07, -2.4058090275502764e-07, -1.7811655084187805e-07, -1.1565219892872847e-07, -5.318784701557888e-08, 9.276504897570703e-09, 7.174085681072029e-08, 1.3420520872386987e-07, 1.9666956063701946e-07, 2.5913391255016904e-07, 3.2159826446331863e-07, 3.840626163764682e-07, 4.465269682896178e-07, 5.089913202027674e-07, 5.714556436942075e-07, 6.339200240290666e-07, 6.963844043639256e-07, 7.588487278553657e-07, 8.213130513468059e-07, 8.837774316816649e-07, 9.462418120165239e-07, 1.008706135507964e-06, 1.0711704589994042e-06, 1.133634896177682e-06, 1.1960992196691222e-06, 1.2585635431605624e-06, 1.3210278666520026e-06, 1.3834921901434427e-06, 1.4459566273217206e-06, 1.5084209508131607e-06, 1.570885274304601e-06, 1.6333497114828788e-06, 1.695814034974319e-06, 1.758278358465759e-06]}, "gradients/bert.encoder.layer.12.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 2.0, 3.0, 2.0, 4.0, 0.0, 6.0, 3.0, 5.0, 8.0, 11.0, 10.0, 18.0, 36.0, 28.0, 38.0, 73.0, 135.0, 261.0, 1100.0, 11369.0, 413553.0, 604666.0, 15203.0, 1344.0, 315.0, 135.0, 78.0, 48.0, 22.0, 20.0, 17.0, 13.0, 12.0, 4.0, 5.0, 4.0, 5.0, 1.0, 4.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.171103005821351e-05, -2.1054098397144116e-05, -2.0397166736074723e-05, -1.9740233256015927e-05, -1.9083301594946533e-05, -1.842636993387714e-05, -1.7769438272807747e-05, -1.7112506611738354e-05, -1.6455573131679557e-05, -1.5798641470610164e-05, -1.514170890004607e-05, -1.4484777238976676e-05, -1.3827844668412581e-05, -1.3170913007343188e-05, -1.2513981346273795e-05, -1.18570487757097e-05, -1.1200117114640307e-05, -1.0543185453570914e-05, -9.886252883006819e-06, -9.229321221937425e-06, -8.57238865137333e-06, -7.915456990303937e-06, -7.258524874487193e-06, -6.601592758670449e-06, -5.944660642853705e-06, -5.287728527036961e-06, -4.630796411220217e-06, -3.973864295403473e-06, -3.3169324069604045e-06, -2.6600002911436604e-06, -2.003068402700592e-06, -1.3461362868838478e-06, -6.892041710671037e-07, -3.227211209377856e-08, 6.246599468795466e-07, 1.281591949009453e-06, 1.938524064826197e-06, 2.595456180642941e-06, 3.2523880690860096e-06, 3.909320184902754e-06, 4.566252300719498e-06, 5.223184416536242e-06, 5.880116532352986e-06, 6.53704864816973e-06, 7.193980309239123e-06, 7.850912879803218e-06, 8.507844540872611e-06, 9.164776201942004e-06, 9.8217087725061e-06, 1.0478640433575492e-05, 1.1135573004139587e-05, 1.179250466520898e-05, 1.2449437235773075e-05, 1.3106368896842469e-05, 1.3763301467406563e-05, 1.4420233128475957e-05, 1.507716478954535e-05, 1.5734096450614743e-05, 1.6391028111684136e-05, 1.7047961591742933e-05, 1.7704893252812326e-05, 1.836182491388172e-05, 1.9018756574951112e-05, 1.9675688236020505e-05, 2.0332621716079302e-05]}, "gradients/bert.encoder.layer.11.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 6.0, 2.0, 1.0, 4.0, 5.0, 7.0, 6.0, 10.0, 15.0, 21.0, 33.0, 38.0, 61.0, 71.0, 92.0, 98.0, 95.0, 99.0, 77.0, 62.0, 52.0, 36.0, 33.0, 28.0, 8.0, 23.0, 6.0, 4.0, 8.0, 4.0, 3.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0408532943984028e-05, -1.0000800102716312e-05, -9.593067261448596e-06, -9.18533442018088e-06, -8.777602488407865e-06, -8.369868737645447e-06, -7.962136805872433e-06, -7.554403964604717e-06, -7.146671123337001e-06, -6.7389382820692845e-06, -6.331205440801568e-06, -5.923473054281203e-06, -5.515740213013487e-06, -5.108007371745771e-06, -4.7002749852254055e-06, -4.292542143957689e-06, -3.884809302689973e-06, -3.477076461422257e-06, -3.0693438475282164e-06, -2.6616112336341757e-06, -2.2538783923664596e-06, -1.8461455510987435e-06, -1.4384129372047028e-06, -1.030680323310662e-06, -6.229474820429459e-07, -2.152147544620675e-07, 1.9251797311881091e-07, 6.002507006996893e-07, 1.0079834282805678e-06, 1.4157162695482839e-06, 1.8234488834423246e-06, 2.2311814973363653e-06, 2.6389134291093796e-06, 3.046646270377096e-06, 3.4543788842711365e-06, 3.862111498165177e-06, 4.269844339432893e-06, 4.6775771807006095e-06, 5.085309567220975e-06, 5.493042408488691e-06, 5.900775249756407e-06, 6.308508091024123e-06, 6.716240932291839e-06, 7.1239733188122045e-06, 7.531706160079921e-06, 7.939439456094988e-06, 8.347171387868002e-06, 8.754904229135718e-06, 9.162637070403434e-06, 9.57036991167115e-06, 9.978102752938867e-06, 1.0385835594206583e-05, 1.0793568435474299e-05, 1.1201300367247313e-05, 1.160903320851503e-05, 1.2016766049782746e-05, 1.2424498891050462e-05, 1.2832231732318178e-05, 1.3239964573585894e-05, 1.364769741485361e-05, 1.4055429346626624e-05, 1.4463163097389042e-05, 1.4870895029162057e-05, 1.527862696093507e-05, 1.568636071169749e-05]}, "gradients/bert.encoder.layer.11.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 3.0, 3.0, 1.0, 3.0, 10.0, 10.0, 17.0, 13.0, 23.0, 28.0, 30.0, 27.0, 49.0, 53.0, 46.0, 62.0, 46.0, 52.0, 70.0, 49.0, 67.0, 57.0, 55.0, 53.0, 42.0, 29.0, 24.0, 22.0, 20.0, 17.0, 10.0, 9.0, 5.0, 3.0, 4.0, 3.0, 3.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2233243978698738e-05, -1.165815228887368e-05, -1.1083060599048622e-05, -1.0507968909223564e-05, -9.932877219398506e-06, -9.357785529573448e-06, -8.78269383974839e-06, -8.207602149923332e-06, -7.632510460098274e-06, -7.057418770273216e-06, -6.482327080448158e-06, -5.9072353906231e-06, -5.332143700798042e-06, -4.757052010972984e-06, -4.181960321147926e-06, -3.606868631322868e-06, -3.03177694149781e-06, -2.456685251672752e-06, -1.8815935618476942e-06, -1.3065018720226362e-06, -7.314101821975783e-07, -1.5631849237252027e-07, 4.187731974525377e-07, 9.938648872775957e-07, 1.5689565771026537e-06, 2.1440482669277117e-06, 2.7191399567527696e-06, 3.2942316465778276e-06, 3.869323336402886e-06, 4.444415026227944e-06, 5.019506716053002e-06, 5.5945984058780596e-06, 6.169688276713714e-06, 6.744779966538772e-06, 7.31987165636383e-06, 7.894963346188888e-06, 8.470055036013946e-06, 9.045146725839004e-06, 9.620238415664062e-06, 1.019533010548912e-05, 1.0770421795314178e-05, 1.1345513485139236e-05, 1.1920605174964294e-05, 1.2495696864789352e-05, 1.307078855461441e-05, 1.3645880244439468e-05, 1.4220971934264526e-05, 1.4796063624089584e-05, 1.5371155313914642e-05, 1.59462470037397e-05, 1.6521338693564758e-05, 1.7096430383389816e-05, 1.7671522073214874e-05, 1.824661376303993e-05, 1.882170545286499e-05, 1.9396797142690048e-05, 1.9971888832515106e-05, 2.0546980522340164e-05, 2.112207221216522e-05, 2.169716390199028e-05, 2.2272255591815338e-05, 2.2847347281640396e-05, 2.3422438971465454e-05, 2.399753066129051e-05, 2.457262235111557e-05]}, "gradients/bert.encoder.layer.11.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 2.0, 2.0, 3.0, 8.0, 7.0, 3.0, 8.0, 9.0, 13.0, 20.0, 23.0, 28.0, 24.0, 41.0, 33.0, 50.0, 57.0, 45.0, 47.0, 63.0, 59.0, 48.0, 45.0, 42.0, 43.0, 35.0, 55.0, 35.0, 27.0, 18.0, 23.0, 21.0, 19.0, 11.0, 7.0, 9.0, 5.0, 7.0, 2.0, 4.0, 4.0, 3.0, 4.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.52836126089096e-06, -9.171179954137187e-06, -8.813998647383414e-06, -8.456817340629641e-06, -8.099636033875868e-06, -7.742453817627393e-06, -7.3852725108736195e-06, -7.028091204119846e-06, -6.670909897366073e-06, -6.3137285906123e-06, -5.9565472838585265e-06, -5.599365522357402e-06, -5.242184215603629e-06, -4.885002908849856e-06, -4.527821147348732e-06, -4.1706398405949585e-06, -3.8134585338411853e-06, -3.456277227087412e-06, -3.0990956929599633e-06, -2.7419141588325147e-06, -2.3847328520787414e-06, -2.027551545324968e-06, -1.6703700111975195e-06, -1.3131884770700708e-06, -9.560071703162976e-07, -5.988257498756866e-07, -2.4164432943507563e-07, 1.1553709100553533e-07, 4.727185114461463e-07, 8.298999318867573e-07, 1.1870813523273682e-06, 1.544262886454817e-06, 1.901445102703292e-06, 2.258626409457065e-06, 2.615807943584514e-06, 2.9729894777119625e-06, 3.3301707844657358e-06, 3.687352091219509e-06, 4.044533852720633e-06, 4.401715159474406e-06, 4.75889646622818e-06, 5.116077772981953e-06, 5.473259079735726e-06, 5.83044084123685e-06, 6.1876221479906235e-06, 6.544803454744397e-06, 6.901985216245521e-06, 7.259166522999294e-06, 7.616347829753067e-06, 7.97352913650684e-06, 8.330710443260614e-06, 8.687891750014387e-06, 9.045073966262862e-06, 9.402255273016635e-06, 9.759436579770409e-06, 1.0116617886524182e-05, 1.0473799193277955e-05, 1.0830980500031728e-05, 1.1188161806785502e-05, 1.1545343113539275e-05, 1.1902524420293048e-05, 1.2259706636541523e-05, 1.2616887943295296e-05, 1.297406925004907e-05, 1.3331250556802843e-05]}, "gradients/bert.encoder.layer.11.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 2.0, 2.0, 3.0, 4.0, 1.0, 3.0, 4.0, 5.0, 5.0, 4.0, 11.0, 20.0, 15.0, 18.0, 22.0, 32.0, 33.0, 64.0, 78.0, 165.0, 373.0, 845.0, 2168.0, 6851.0, 35888.0, 644300.0, 3280927.0, 198082.0, 17519.0, 4283.0, 1396.0, 523.0, 246.0, 114.0, 88.0, 51.0, 32.0, 22.0, 17.0, 13.0, 14.0, 13.0, 7.0, 7.0, 7.0, 5.0, 3.0, 4.0, 2.0, 3.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.1171819753362797e-05, -2.0473751646932214e-05, -1.9775681721512228e-05, -1.9077613615081646e-05, -1.837954368966166e-05, -1.7681475583231077e-05, -1.698340565781109e-05, -1.6285337551380508e-05, -1.5587269444949925e-05, -1.488920042902464e-05, -1.4191131413099356e-05, -1.3493063306668773e-05, -1.2794993381248787e-05, -1.2096925274818204e-05, -1.139885625889292e-05, -1.0700787242967635e-05, -1.0002717317547649e-05, -9.304648301622365e-06, -8.60657928569708e-06, -7.908511179266497e-06, -7.210441708593862e-06, -6.512372692668578e-06, -5.814304131490644e-06, -5.11623511556536e-06, -4.418166099640075e-06, -3.7200970837147906e-06, -3.0220282951631816e-06, -2.3239595066115726e-06, -1.625890490686288e-06, -9.278214747610036e-07, -2.2975291358307004e-07, 4.6831610234221444e-07, 1.1663832992780954e-06, 1.8644522015165421e-06, 2.562521103754989e-06, 3.260589892306598e-06, 3.958658908231882e-06, 4.656727924157167e-06, 5.3547964853351004e-06, 6.052865501260385e-06, 6.750934517185669e-06, 7.449003533110954e-06, 8.147072549036238e-06, 8.845141564961523e-06, 9.543209671392106e-06, 1.0241279596812092e-05, 1.0939347703242674e-05, 1.1637416719167959e-05, 1.2335485735093243e-05, 1.3033554751018528e-05, 1.3731623766943812e-05, 1.4429691873374395e-05, 1.5127761798794381e-05, 1.5825829905224964e-05, 1.652389983064495e-05, 1.7221967937075533e-05, 1.7920036043506116e-05, 1.86181041499367e-05, 1.9316174075356685e-05, 2.0014242181787267e-05, 2.0712312107207254e-05, 2.1410380213637836e-05, 2.210844832006842e-05, 2.2806518245488405e-05, 2.350458817090839e-05]}, "gradients/bert.encoder.layer.11.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 8.0, 0.0, 4.0, 9.0, 10.0, 19.0, 21.0, 34.0, 49.0, 85.0, 152.0, 322.0, 742.0, 1159.0, 759.0, 343.0, 157.0, 78.0, 44.0, 30.0, 16.0, 11.0, 12.0, 9.0, 6.0, 6.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.799705715820892e-06, -6.590811153728282e-06, -6.3819161368883215e-06, -6.173021574795712e-06, -5.964126557955751e-06, -5.7552319958631415e-06, -5.546336979023181e-06, -5.337442416930571e-06, -5.1285478548379615e-06, -4.919653292745352e-06, -4.710758275905391e-06, -4.5018637138127815e-06, -4.292968696972821e-06, -4.084074134880211e-06, -3.8751795727876015e-06, -3.666284555947641e-06, -3.4573895391076803e-06, -3.248494749641395e-06, -3.03959996017511e-06, -2.8307053980825003e-06, -2.6218103812425397e-06, -2.41291581914993e-06, -2.204021029683645e-06, -1.9951262402173597e-06, -1.7862314507510746e-06, -1.5773366612847894e-06, -1.3684418718185043e-06, -1.1595471960390569e-06, -9.506524065727717e-07, -7.417576171064866e-07, -5.328629413270392e-07, -3.23968151860754e-07, -1.1507290764711797e-07, 9.382185339745774e-08, 3.0271661444203346e-07, 5.116113470648997e-07, 7.205061365311849e-07, 9.2940092599747e-07, 1.1382956017769175e-06, 1.3471903912432026e-06, 1.5560851807094878e-06, 1.764979970175773e-06, 1.973874759642058e-06, 2.182769549108343e-06, 2.391664111200953e-06, 2.6005591280409135e-06, 2.809453690133523e-06, 3.0183484795998083e-06, 3.2272432690660935e-06, 3.4361380585323786e-06, 3.6450328479986638e-06, 3.8539274100912735e-06, 4.062822426931234e-06, 4.271716989023844e-06, 4.480612005863804e-06, 4.689506567956414e-06, 4.898401130049024e-06, 5.1072956921416335e-06, 5.316190708981594e-06, 5.525085271074204e-06, 5.733980287914164e-06, 5.942874850006774e-06, 6.151769412099384e-06, 6.360664428939344e-06, 6.569559445779305e-06]}, "gradients/bert.encoder.layer.11.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 3.0, 5.0, 9.0, 5.0, 8.0, 8.0, 7.0, 20.0, 26.0, 28.0, 71.0, 120.0, 228.0, 603.0, 10571.0, 4175226.0, 6232.0, 531.0, 243.0, 123.0, 56.0, 50.0, 34.0, 23.0, 12.0, 6.0, 12.0, 8.0, 6.0, 2.0, 6.0, 2.0, 4.0, 3.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-0.00015054442337714136, -0.00014604419993702322, -0.00014154396194498986, -0.00013704373850487173, -0.0001325435150647536, -0.00012804329162463546, -0.0001235430536326021, -0.00011904283019248396, -0.00011454260675236583, -0.00011004237603629008, -0.00010554215259617195, -0.0001010419218800962, -9.654169843997806e-05, -9.204146772390231e-05, -8.754123700782657e-05, -8.304101356770843e-05, -7.854078285163268e-05, -7.404055213555694e-05, -6.95403286954388e-05, -6.504009797936305e-05, -6.053987453924492e-05, -5.603964382316917e-05, -5.153941674507223e-05, -4.703918966697529e-05, -4.253896258887835e-05, -3.803873551078141e-05, -3.3538508432684466e-05, -2.903827953559812e-05, -2.453805245750118e-05, -2.003782537940424e-05, -1.5537596482317895e-05, -1.1037369404220954e-05, -6.5371423261240125e-06, -2.0369147932797205e-06, 2.4633127395645715e-06, 6.963540727156214e-06, 1.1463767805253156e-05, 1.5963994883350097e-05, 2.046422378043644e-05, 2.4964450858533382e-05, 2.9464677936630324e-05, 3.3964905014727265e-05, 3.8465132092824206e-05, 4.296535917092115e-05, 4.7465589886996895e-05, 5.196581332711503e-05, 5.646604404319078e-05, 6.096627112128772e-05, 6.546649819938466e-05, 6.996672891546041e-05, 7.446695235557854e-05, 7.896718307165429e-05, 8.346740651177242e-05, 8.796763722784817e-05, 9.24678606679663e-05, 9.696809138404205e-05, 0.0001014683221001178, 0.00010596855281619355, 0.00011046877625631168, 0.00011496900697238743, 0.00011946923041250557, 0.0001239694538526237, 0.00012846969184465706, 0.0001329699152847752, 0.00013747013872489333]}, "gradients/bert.encoder.layer.11.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 2.0, 4.0, 3.0, 7.0, 4.0, 13.0, 15.0, 13.0, 23.0, 24.0, 43.0, 46.0, 78.0, 84.0, 87.0, 106.0, 93.0, 71.0, 60.0, 55.0, 50.0, 31.0, 27.0, 20.0, 15.0, 13.0, 6.0, 8.0, 5.0, 5.0, 0.0, 4.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.199278792948462e-06, -8.810782674117945e-06, -8.422286555287428e-06, -8.033790436456911e-06, -7.645294317626394e-06, -7.2567977440485265e-06, -6.868301170470659e-06, -6.479805051640142e-06, -6.091308932809625e-06, -5.702812813979108e-06, -5.314316695148591e-06, -4.925820121570723e-06, -4.537324002740206e-06, -4.148827883909689e-06, -3.760331537705497e-06, -3.3718351915013045e-06, -2.9833390726707876e-06, -2.5948429538402706e-06, -2.2063466076360783e-06, -1.8178503751187236e-06, -1.429354142601369e-06, -1.040858023770852e-06, -6.523616775666596e-07, -2.6386533136246726e-07, 1.2463078746804968e-07, 5.131270199854043e-07, 9.01623252502759e-07, 1.2901194850201136e-06, 1.6786157175374683e-06, 2.0671118363679852e-06, 2.4556081825721776e-06, 2.84410452877637e-06, 3.232600647606887e-06, 3.621096766437404e-06, 4.009592885267921e-06, 4.398089458845789e-06, 4.7865855776763055e-06, 5.1750816965068225e-06, 5.56357827008469e-06, 5.952074388915207e-06, 6.340570507745724e-06, 6.729066626576241e-06, 7.117562745406758e-06, 7.506059318984626e-06, 7.894555892562494e-06, 8.28305201139301e-06, 8.671548130223528e-06, 9.060044249054044e-06, 9.448540367884561e-06, 9.837036486715078e-06, 1.0225532605545595e-05, 1.0614028724376112e-05, 1.100252484320663e-05, 1.1391020962037146e-05, 1.1779517990362365e-05, 1.2168014109192882e-05, 1.2556510228023399e-05, 1.2945006346853916e-05, 1.3333502465684433e-05, 1.372199858451495e-05, 1.4110495612840168e-05, 1.4498991731670685e-05, 1.4887487850501202e-05, 1.527598396933172e-05, 1.5664480088162236e-05]}, "gradients/bert.encoder.layer.11.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 6.0, 5.0, 3.0, 6.0, 7.0, 8.0, 14.0, 14.0, 21.0, 25.0, 26.0, 40.0, 28.0, 33.0, 37.0, 36.0, 51.0, 40.0, 52.0, 56.0, 45.0, 46.0, 50.0, 27.0, 50.0, 52.0, 37.0, 31.0, 22.0, 25.0, 19.0, 26.0, 17.0, 13.0, 13.0, 4.0, 5.0, 7.0, 2.0, 3.0, 2.0, 1.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0057242434413638e-05, -9.698193935037125e-06, -9.339145435660612e-06, -8.980096936284099e-06, -8.621048436907586e-06, -8.261999028036371e-06, -7.902950528659858e-06, -7.543902029283345e-06, -7.184853529906832e-06, -6.825805030530319e-06, -6.4667565311538056e-06, -6.1077080317772925e-06, -5.7486590776534285e-06, -5.3896105782769155e-06, -5.030562078900402e-06, -4.6715131247765385e-06, -4.312465080147376e-06, -3.953416580770863e-06, -3.5943678540206747e-06, -3.2353193546441616e-06, -2.876270627893973e-06, -2.51722212851746e-06, -2.158173629140947e-06, -1.7991249023907585e-06, -1.4400764030142454e-06, -1.0810277899508947e-06, -7.219792337309627e-07, -3.629306775110308e-07, -3.8820644476800226e-09, 3.5516654861567076e-07, 7.142150479921838e-07, 1.0732637747423723e-06, 1.4323122741188854e-06, 1.7913608871822362e-06, 2.150409500245587e-06, 2.5094579996221e-06, 2.8685067263722885e-06, 3.2275552257488016e-06, 3.5866037251253147e-06, 3.945652679249179e-06, 4.304701178625692e-06, 4.663749678002205e-06, 5.022798177378718e-06, 5.381846676755231e-06, 5.740895630879095e-06, 6.099944130255608e-06, 6.458992629632121e-06, 6.818041583755985e-06, 7.177089628385147e-06, 7.53613812776166e-06, 7.895187081885524e-06, 8.254235581262037e-06, 8.61328408063855e-06, 8.972332580015063e-06, 9.331381079391576e-06, 9.69042957876809e-06, 1.0049478078144602e-05, 1.0408526577521116e-05, 1.0767575076897629e-05, 1.1126623576274142e-05, 1.1485672075650655e-05, 1.1844720575027168e-05, 1.2203769074403681e-05, 1.2562818483274896e-05, 1.2921866982651409e-05]}, "gradients/bert.encoder.layer.11.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 1.0, 2.0, 3.0, 5.0, 8.0, 8.0, 6.0, 16.0, 12.0, 21.0, 27.0, 23.0, 28.0, 42.0, 51.0, 41.0, 67.0, 50.0, 51.0, 50.0, 69.0, 47.0, 50.0, 58.0, 46.0, 46.0, 31.0, 23.0, 33.0, 25.0, 22.0, 15.0, 11.0, 6.0, 5.0, 4.0, 3.0, 1.0, 2.0, 3.0, 2.0, 1.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1390244253561832e-05, -1.093284026865149e-05, -1.0475436283741146e-05, -1.0018032298830803e-05, -9.56062831392046e-06, -9.103223419515416e-06, -8.645820344099775e-06, -8.18841544969473e-06, -7.731011464784387e-06, -7.273607479874045e-06, -6.816203494963702e-06, -6.358799510053359e-06, -5.901395070395665e-06, -5.443991085485322e-06, -4.9865871005749796e-06, -4.529182660917286e-06, -4.071779130754294e-06, -3.614375145843951e-06, -3.1569709335599327e-06, -2.69956694864959e-06, -2.2421627363655716e-06, -1.7847587514552288e-06, -1.327354766544886e-06, -8.699505542608676e-07, -4.125465693505248e-07, 4.485750082494633e-08, 5.022615710004175e-07, 9.596656127541792e-07, 1.4170697113513597e-06, 1.8744738099485403e-06, 2.331877794858883e-06, 2.7892820071429014e-06, 3.2466859920532443e-06, 3.704089976963587e-06, 4.16149396187393e-06, 4.618897946784273e-06, 5.0763023864419665e-06, 5.533706371352309e-06, 5.991110356262652e-06, 6.448514795920346e-06, 6.905918780830689e-06, 7.363322765741032e-06, 7.820726750651374e-06, 8.278130735561717e-06, 8.73553472047206e-06, 9.192939614877105e-06, 9.650342690292746e-06, 1.010774758469779e-05, 1.0565150660113432e-05, 1.1022554645023774e-05, 1.1479958629934117e-05, 1.193736261484446e-05, 1.2394766599754803e-05, 1.2852171494159847e-05, 1.3309574569575489e-05, 1.3766979463980533e-05, 1.4224383448890876e-05, 1.4681787433801219e-05, 1.5139191418711562e-05, 1.5596595403621905e-05, 1.605400029802695e-05, 1.651140337344259e-05, 1.6968808267847635e-05, 1.7426211343263276e-05, 1.788361623766832e-05]}, "gradients/bert.encoder.layer.11.attention.output.dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 4.0, 7.0, 8.0, 11.0, 20.0, 20.0, 50.0, 53.0, 87.0, 175.0, 292.0, 580.0, 1400.0, 3550.0, 9838.0, 30547.0, 103993.0, 340701.0, 380737.0, 122376.0, 35656.0, 11427.0, 3954.0, 1590.0, 666.0, 341.0, 190.0, 96.0, 70.0, 37.0, 35.0, 19.0, 11.0, 8.0, 4.0, 3.0, 3.0, 2.0, 2.0, 1.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2410526323947124e-05, -1.193441312352661e-05, -1.1458299923106097e-05, -1.0982186722685583e-05, -1.0506072612770367e-05, -1.0029959412349854e-05, -9.55384621192934e-06, -9.077733011508826e-06, -8.601619811088312e-06, -8.125506610667799e-06, -7.649393410247285e-06, -7.17327975507942e-06, -6.6971665546589065e-06, -6.221052899491042e-06, -5.744939699070528e-06, -5.268826498650014e-06, -4.79271284348215e-06, -4.316599643061636e-06, -3.840485987893771e-06, -3.3643727874732576e-06, -2.888259587052744e-06, -2.4121461592585547e-06, -1.9360327314643655e-06, -1.4599195310438517e-06, -9.838061032496626e-07, -5.076927891423111e-07, -3.1579418191540753e-08, 4.445339527592296e-07, 9.20647266866581e-07, 1.3967605809739325e-06, 1.8728740087681217e-06, 2.3489872091886355e-06, 2.8251006369828247e-06, 3.301214064777014e-06, 3.7773272651975276e-06, 4.253440692991717e-06, 4.7295538934122305e-06, 5.205667548580095e-06, 5.681780749000609e-06, 6.157893949421123e-06, 6.634007149841636e-06, 7.11012035026215e-06, 7.586234005430015e-06, 8.062346751103178e-06, 8.538460861018393e-06, 9.014574061438907e-06, 9.49068726185942e-06, 9.966800462279934e-06, 1.044291457219515e-05, 1.0919027772615664e-05, 1.1395140973036177e-05, 1.1871254173456691e-05, 1.2347368283371907e-05, 1.282348148379242e-05, 1.3299594684212934e-05, 1.3775707884633448e-05, 1.4251821085053962e-05, 1.4727934285474475e-05, 1.520404748589499e-05, 1.5680161595810205e-05, 1.615627479623072e-05, 1.6632387996651232e-05, 1.7108501197071746e-05, 1.758461439749226e-05, 1.8060727597912773e-05]}, "gradients/bert.encoder.layer.11.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 7.0, 3.0, 6.0, 5.0, 7.0, 11.0, 13.0, 11.0, 21.0, 26.0, 18.0, 22.0, 25.0, 32.0, 33.0, 47.0, 47.0, 45.0, 47.0, 58.0, 61.0, 52.0, 58.0, 41.0, 46.0, 45.0, 42.0, 26.0, 20.0, 25.0, 18.0, 11.0, 21.0, 11.0, 15.0, 7.0, 8.0, 5.0, 6.0, 5.0, 1.0, 4.0, 2.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.1688335689541418e-05, -1.1319873920001555e-05, -1.0951413059956394e-05, -1.0582951290416531e-05, -1.0214489520876668e-05, -9.846027751336806e-06, -9.477565981796943e-06, -9.109105121751782e-06, -8.740643352211919e-06, -8.372181582672056e-06, -8.003720722626895e-06, -7.635258953087032e-06, -7.266797183547169e-06, -6.898335414007306e-06, -6.529874099214794e-06, -6.161412784422282e-06, -5.792951014882419e-06, -5.424489245342556e-06, -5.056027930550044e-06, -4.687566615757532e-06, -4.3191048462176695e-06, -3.950643076677807e-06, -3.5821817618852947e-06, -3.2137202197191073e-06, -2.84525867755292e-06, -2.4767971353867324e-06, -2.108335593220545e-06, -1.7398740510543576e-06, -1.3714125088881701e-06, -1.0029509667219827e-06, -6.344894245557953e-07, -2.6602788238960784e-07, 1.0243456927128136e-07, 4.708961114374688e-07, 8.393576536036562e-07, 1.2078191957698436e-06, 1.576280737936031e-06, 1.9447422801022185e-06, 2.313203822268406e-06, 2.6816653644345934e-06, 3.0501269066007808e-06, 3.4185884487669682e-06, 3.7870499909331556e-06, 4.155511305725668e-06, 4.5239730752655305e-06, 4.892434844805393e-06, 5.260896159597905e-06, 5.629357474390417e-06, 5.99781924393028e-06, 6.366281013470143e-06, 6.734742328262655e-06, 7.103203643055167e-06, 7.47166541259503e-06, 7.840127182134893e-06, 8.208588042180054e-06, 8.577049811719917e-06, 8.94551158125978e-06, 9.313973350799643e-06, 9.682435120339505e-06, 1.0050895980384666e-05, 1.041935774992453e-05, 1.0787819519464392e-05, 1.1156280379509553e-05, 1.1524742149049416e-05, 1.1893203918589279e-05]}, "gradients/bert.encoder.layer.11.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 2.0, 6.0, 2.0, 4.0, 4.0, 8.0, 8.0, 11.0, 10.0, 11.0, 14.0, 15.0, 19.0, 18.0, 24.0, 27.0, 44.0, 41.0, 78.0, 124.0, 330.0, 1350.0, 1044529.0, 1071.0, 319.0, 135.0, 64.0, 42.0, 43.0, 31.0, 18.0, 26.0, 23.0, 27.0, 17.0, 15.0, 13.0, 12.0, 9.0, 5.0, 7.0, 5.0, 4.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00019352944218553603, -0.0001879163464764133, -0.0001823032507672906, -0.0001766901696100831, -0.00017107707390096039, -0.00016546397819183767, -0.00015985088248271495, -0.00015423778677359223, -0.00014862470561638474, -0.00014301160990726203, -0.0001373985141981393, -0.00013178543304093182, -0.0001261723373318091, -0.00012055924162268639, -0.00011494614591356367, -0.00010933305748039857, -0.00010371996177127585, -9.810686606215313e-05, -9.249377762898803e-05, -8.688068191986531e-05, -8.126759348670021e-05, -7.565449777757749e-05, -7.004140934441239e-05, -6.442831363528967e-05, -5.881522156414576e-05, -5.320212949300185e-05, -4.758903742185794e-05, -4.197594535071403e-05, -3.636284964159131e-05, -3.074976120842621e-05, -2.513666549930349e-05, -1.952357342815958e-05, -1.391048135701567e-05, -8.297389285871759e-06, -2.684296305233147e-06, 2.928796675405465e-06, 8.541888746549375e-06, 1.4154980817693286e-05, 1.97680747078266e-05, 2.538116677897051e-05, 3.099425885011442e-05, 3.660735092125833e-05, 4.222044299240224e-05, 4.783353506354615e-05, 5.344663077266887e-05, 5.905971920583397e-05, 6.467281491495669e-05, 7.02859106240794e-05, 7.589899905724451e-05, 8.151209476636723e-05, 8.712518319953233e-05, 9.273827890865505e-05, 9.835136734182015e-05, 0.00010396446305094287, 0.00010957755148410797, 0.00011519064719323069, 0.0001208037429023534, 0.00012641683861147612, 0.00013202993432059884, 0.00013764301547780633, 0.00014325611118692905, 0.00014886920689605176, 0.00015448230260517448, 0.0001600953983142972, 0.0001657084794715047]}, "gradients/bert.encoder.layer.11.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 1.0, 3.0, 0.0, 0.0, 0.0, 1.0, 9.0, 4.0, 6.0, 0.0, 5.0, 19.0, 13.0, 38.0, 30.0, 10.0, 64.0, 58.0, 86.0, 81.0, 140.0, 36.0, 84.0, 86.0, 49.0, 61.0, 31.0, 35.0, 4.0, 9.0, 19.0, 2.0, 11.0, 1.0, 0.0, 5.0, 3.0, 1.0, 2.0, 5.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.694822225952521e-13, -3.574918139293004e-13, -3.455014052633487e-13, -3.33510996597397e-13, -3.2152058793144533e-13, -3.0953017926549364e-13, -2.9753977059954195e-13, -2.8554936193359026e-13, -2.7355895326763857e-13, -2.615685446016869e-13, -2.495781359357352e-13, -2.375877272697835e-13, -2.255973186038318e-13, -2.1360690993788012e-13, -2.0161650127192843e-13, -1.8962609260597674e-13, -1.7763568394002505e-13, -1.6564527527407336e-13, -1.5365486660812167e-13, -1.4166445794216997e-13, -1.2967404927621828e-13, -1.176836406102666e-13, -1.056932319443149e-13, -9.370282327836321e-14, -8.171241461241152e-14, -6.972200594645983e-14, -5.773159728050814e-14, -4.574118861455645e-14, -3.375077994860476e-14, -2.1760371282653068e-14, -9.769962616701378e-15, 2.220446049250313e-15, 1.4210854715202004e-14, 2.6201263381153694e-14, 3.8191672047105385e-14, 5.0182080713057076e-14, 6.217248937900877e-14, 7.416289804496046e-14, 8.615330671091215e-14, 9.814371537686384e-14, 1.1013412404281553e-13, 1.2212453270876722e-13, 1.341149413747189e-13, 1.461053500406706e-13, 1.580957587066223e-13, 1.7008616737257398e-13, 1.8207657603852567e-13, 1.9406698470447736e-13, 2.0605739337042905e-13, 2.1804780203638074e-13, 2.3003821070233244e-13, 2.4202861936828413e-13, 2.540190280342358e-13, 2.660094367001875e-13, 2.779998453661392e-13, 2.899902540320909e-13, 3.019806626980426e-13, 3.1397107136399427e-13, 3.2596148002994596e-13, 3.3795188869589765e-13, 3.4994229736184934e-13, 3.6193270602780103e-13, 3.739231146937527e-13, 3.859135233597044e-13, 3.979039320256561e-13]}, "gradients/bert.encoder.layer.11.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 5.0, 1.0, 2.0, 10.0, 5.0, 17.0, 18.0, 45.0, 72.0, 170.0, 519.0, 2086.0, 13980.0, 187537.0, 768250.0, 67437.0, 6563.0, 1211.0, 374.0, 126.0, 48.0, 26.0, 15.0, 13.0, 15.0, 4.0, 3.0, 1.0, 6.0, 2.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2532284017652273e-05, -1.2089816664229147e-05, -1.1647350220300723e-05, -1.1204883776372299e-05, -1.0762416422949173e-05, -1.0319949069526047e-05, -9.877482625597622e-06, -9.435016181669198e-06, -8.992548828246072e-06, -8.550081474822946e-06, -8.107615030894522e-06, -7.665148586966097e-06, -7.222681233542971e-06, -6.780214334867196e-06, -6.337747436191421e-06, -5.895280537515646e-06, -5.452813638839871e-06, -5.0103467401640955e-06, -4.56787984148832e-06, -4.125412942812545e-06, -3.68294604413677e-06, -3.240479145460995e-06, -2.7980122467852198e-06, -2.3555453481094446e-06, -1.9130784494336694e-06, -1.4706115507578943e-06, -1.0281446520821191e-06, -5.85677753406344e-07, -1.4321085473056883e-07, 2.9925604394520633e-07, 7.417229426209815e-07, 1.1841898412967566e-06, 1.6266567399725318e-06, 2.069123638648307e-06, 2.511590537324082e-06, 2.9540574359998573e-06, 3.3965243346756324e-06, 3.8389912333514076e-06, 4.281458132027183e-06, 4.723925030702958e-06, 5.166391929378733e-06, 5.608858828054508e-06, 6.051325726730283e-06, 6.4937926254060585e-06, 6.936259524081834e-06, 7.378726422757609e-06, 7.821193321433384e-06, 8.263659765361808e-06, 8.706127118784934e-06, 9.14859447220806e-06, 9.591060916136485e-06, 1.0033527360064909e-05, 1.0475994713488035e-05, 1.0918462066911161e-05, 1.1360928510839585e-05, 1.180339495476801e-05, 1.2245862308191136e-05, 1.2688329661614262e-05, 1.3130796105542686e-05, 1.357326254947111e-05, 1.4015729902894236e-05, 1.4458197256317362e-05, 1.4900663700245786e-05, 1.534313014417421e-05, 1.5785597497597337e-05]}, "gradients/bert.encoder.layer.11.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 4.0, 0.0, 3.0, 3.0, 0.0, 3.0, 4.0, 4.0, 2.0, 12.0, 19.0, 12.0, 20.0, 22.0, 22.0, 25.0, 45.0, 52.0, 72.0, 89.0, 89.0, 91.0, 91.0, 64.0, 59.0, 53.0, 36.0, 25.0, 29.0, 15.0, 5.0, 6.0, 6.0, 5.0, 9.0, 4.0, 3.0, 3.0, 2.0, 2.0, 4.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0], "bins": [-2.3776203761372017e-06, -2.3136674371926347e-06, -2.2497144982480677e-06, -2.1857615593035007e-06, -2.1218086203589337e-06, -2.0578556814143667e-06, -1.9939027424697997e-06, -1.9299495761515573e-06, -1.865996750893828e-06, -1.802043811949261e-06, -1.738090873004694e-06, -1.674137934060127e-06, -1.6101848814287223e-06, -1.5462319424841553e-06, -1.4822790035395883e-06, -1.4183260645950213e-06, -1.3543731256504543e-06, -1.2904201867058873e-06, -1.2264672477613203e-06, -1.1625143088167533e-06, -1.0985613698721863e-06, -1.0346084309276193e-06, -9.706553782962146e-07, -9.067024393516476e-07, -8.427495004070806e-07, -7.787965614625136e-07, -7.148436225179466e-07, -6.508906267299608e-07, -5.869376877853938e-07, -5.229847488408268e-07, -4.5903178147455037e-07, -3.9507881410827395e-07, -3.311256477900315e-07, -2.671727088454645e-07, -2.032197414791881e-07, -1.3926678832376638e-07, -7.531383516834467e-08, -1.1360896223777672e-08, 5.259207114249875e-08, 1.1654503850877518e-07, 1.8049797745334217e-07, 2.4445091639790917e-07, 3.084038837641856e-07, 3.72356851130462e-07, 4.36309790075029e-07, 5.00262729019596e-07, 5.642157248075819e-07, 6.281686637521489e-07, 6.921216026967159e-07, 7.560745416412828e-07, 8.200274805858498e-07, 8.839804763738357e-07, 9.479334153184027e-07, 1.0118862974195508e-06, 1.0758393500509555e-06, 1.1397922889955225e-06, 1.2037452279400895e-06, 1.2676981668846565e-06, 1.3316511058292235e-06, 1.3956040447737905e-06, 1.4595570974051952e-06, 1.5235100363497622e-06, 1.5874629752943292e-06, 1.6514159142388962e-06, 1.7153688531834632e-06]}, "gradients/bert.encoder.layer.11.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 1.0, 2.0, 2.0, 8.0, 10.0, 12.0, 16.0, 27.0, 39.0, 64.0, 97.0, 222.0, 1563.0, 38846.0, 947557.0, 57564.0, 1968.0, 275.0, 89.0, 63.0, 39.0, 30.0, 24.0, 16.0, 9.0, 5.0, 7.0, 2.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.7451846360927448e-05, -1.664184674154967e-05, -1.5831848941161297e-05, -1.502184932178352e-05, -1.4211850611900445e-05, -1.340185190201737e-05, -1.2591852282639593e-05, -1.1781853572756518e-05, -1.0971854862873442e-05, -1.0161856152990367e-05, -9.35185653361259e-06, -8.541857823729515e-06, -7.73185911384644e-06, -6.921859949216014e-06, -6.111860784585588e-06, -5.3018620747025125e-06, -4.4918624553247355e-06, -3.681863518067985e-06, -2.871864580811234e-06, -2.061865416180808e-06, -1.2518664789240574e-06, -4.418675416673068e-07, 3.681316229631193e-07, 1.1781303328461945e-06, 1.9881294974766206e-06, 2.7981284347333713e-06, 3.608127371990122e-06, 4.418126536620548e-06, 5.228125701250974e-06, 6.038124411134049e-06, 6.848123575764475e-06, 7.6581218309002e-06, 8.468121450277977e-06, 9.278120160161052e-06, 1.0088119779538829e-05, 1.0898118489421904e-05, 1.170811719930498e-05, 1.2518115909188055e-05, 1.3328115528565831e-05, 1.4138114238448907e-05, 1.4948112948331982e-05, 1.575811256770976e-05, 1.6568110368098132e-05, 1.737810998747591e-05, 1.8188109606853686e-05, 1.899810740724206e-05, 1.9808107026619837e-05, 2.0618106645997614e-05, 2.142810626537539e-05, 2.2238105884753168e-05, 2.304810368514154e-05, 2.3858103304519318e-05, 2.4668102923897095e-05, 2.547810072428547e-05, 2.6288100343663245e-05, 2.7098099963041022e-05, 2.7908097763429396e-05, 2.8718097382807173e-05, 2.9528095183195546e-05, 3.0338094802573323e-05, 3.11480944219511e-05, 3.195809404132888e-05, 3.276809002272785e-05, 3.3578089642105624e-05, 3.43880892614834e-05]}, "gradients/bert.encoder.layer.10.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 10.0, 47.0, 139.0, 372.0, 319.0, 89.0, 33.0, 7.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2005789358227048e-05, -1.02576996141579e-05, -8.509610779583454e-06, -6.761521035514306e-06, -5.013431746192509e-06, -3.2653424568707123e-06, -1.5172527128015645e-06, 2.308361217728816e-07, 1.9789258658420295e-06, 3.7270151551638264e-06, 5.475104444485623e-06, 7.223194188554771e-06, 8.971283023129217e-06, 1.0719372767198365e-05, 1.2467462511267513e-05, 1.4215551345841959e-05, 1.5963640180416405e-05, 1.771172901499085e-05, 1.94598196685547e-05, 2.1207908503129147e-05, 2.2955997337703593e-05, 2.4704087991267443e-05, 2.645217682584189e-05, 2.8200265660416335e-05, 2.9948356313980184e-05, 3.1696446967544034e-05, 3.344453580211848e-05, 3.5192624636692926e-05, 3.694071347126737e-05, 3.868880230584182e-05, 4.0436891140416265e-05, 4.218498361296952e-05, 4.3933072447543964e-05, 4.568116128211841e-05, 4.7429250116692856e-05, 4.91773389512673e-05, 5.0925431423820555e-05, 5.2673520258395e-05, 5.442160909296945e-05, 5.6169697927543893e-05, 5.791778676211834e-05, 5.9665875596692786e-05, 6.141396443126723e-05, 6.316205690382048e-05, 6.491014210041612e-05, 6.665823457296938e-05, 6.840632704552263e-05, 7.015441224211827e-05, 7.190250471467152e-05, 7.365059718722478e-05, 7.539868238382041e-05, 7.714677485637367e-05, 7.88948600529693e-05, 8.064295252552256e-05, 8.23910377221182e-05, 8.413913019467145e-05, 8.588721539126709e-05, 8.763530786382034e-05, 8.938339306041598e-05, 9.113148553296924e-05, 9.287957072956488e-05, 9.462766320211813e-05, 9.637574839871377e-05, 9.812384087126702e-05, 9.987193334382027e-05]}, "gradients/bert.encoder.layer.10.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 2.0, 2.0, 5.0, 1.0, 2.0, 7.0, 3.0, 2.0, 6.0, 8.0, 10.0, 21.0, 17.0, 18.0, 23.0, 39.0, 33.0, 32.0, 32.0, 37.0, 41.0, 43.0, 39.0, 46.0, 61.0, 43.0, 51.0, 45.0, 49.0, 53.0, 35.0, 35.0, 23.0, 23.0, 23.0, 24.0, 20.0, 12.0, 13.0, 8.0, 6.0, 8.0, 6.0, 4.0, 3.0, 1.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1458816516096704e-05, -1.1011539754690602e-05, -1.0564262993284501e-05, -1.01169862318784e-05, -9.669709470472299e-06, -9.222432709066197e-06, -8.775155947660096e-06, -8.327879186253995e-06, -7.880602424847893e-06, -7.433325663441792e-06, -6.986048902035691e-06, -6.5387721406295896e-06, -6.091495379223488e-06, -5.644218617817387e-06, -5.196941856411286e-06, -4.749665095005184e-06, -4.302387878851732e-06, -3.855111117445631e-06, -3.4078343560395297e-06, -2.9605575946334284e-06, -2.513280833227327e-06, -2.0660038444475504e-06, -1.618727083041449e-06, -1.1714503216353478e-06, -7.241735602292465e-07, -2.768967704014358e-07, 1.7038001942637493e-07, 6.176568376758951e-07, 1.0649335990819964e-06, 1.5122104741749354e-06, 1.9594872355810367e-06, 2.406763996987138e-06, 2.8540407583932392e-06, 3.3013175197993405e-06, 3.748594281205442e-06, 4.195871042611543e-06, 4.643147804017644e-06, 5.090424565423746e-06, 5.537701326829847e-06, 5.984978088235948e-06, 6.4322548496420495e-06, 6.879531611048151e-06, 7.326808372454252e-06, 7.774085133860353e-06, 8.221361895266455e-06, 8.668638656672556e-06, 9.115915418078657e-06, 9.563192179484759e-06, 1.0010469850385562e-05, 1.0457746611791663e-05, 1.0905023373197764e-05, 1.1352300134603865e-05, 1.1799576896009967e-05, 1.2246853657416068e-05, 1.269413041882217e-05, 1.314140718022827e-05, 1.3588683941634372e-05, 1.4035960703040473e-05, 1.4483237464446574e-05, 1.4930514225852676e-05, 1.5377790987258777e-05, 1.582506774866488e-05, 1.627234451007098e-05, 1.671962127147708e-05, 1.7166898032883182e-05]}, "gradients/bert.encoder.layer.10.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 3.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 1.0, 3.0, 1.0, 4.0, 4.0, 10.0, 6.0, 15.0, 9.0, 18.0, 24.0, 27.0, 25.0, 33.0, 33.0, 39.0, 25.0, 32.0, 38.0, 48.0, 46.0, 46.0, 41.0, 52.0, 54.0, 41.0, 35.0, 45.0, 46.0, 21.0, 24.0, 16.0, 20.0, 23.0, 11.0, 18.0, 10.0, 10.0, 13.0, 10.0, 5.0, 6.0, 6.0, 5.0, 1.0, 2.0, 1.0, 1.0, 2.0, 0.0, 1.0, 1.0, 2.0], "bins": [-9.707772733236197e-06, -9.415704880666453e-06, -9.12363702809671e-06, -8.831569175526965e-06, -8.53950041346252e-06, -8.247432560892776e-06, -7.955364708323032e-06, -7.663296855753288e-06, -7.371229003183544e-06, -7.0791611506138e-06, -6.787093298044056e-06, -6.495024990726961e-06, -6.202957138157217e-06, -5.910889285587473e-06, -5.618820978270378e-06, -5.326753125700634e-06, -5.03468527313089e-06, -4.742617420561146e-06, -4.450549567991402e-06, -4.158481260674307e-06, -3.866413408104563e-06, -3.574345555534819e-06, -3.2822774755913997e-06, -2.9902093956479803e-06, -2.6981415430782363e-06, -2.4060736905084923e-06, -2.114005610565073e-06, -1.8219376443084911e-06, -1.5298696780519094e-06, -1.2378017117953277e-06, -9.45733745538746e-07, -6.536656655953266e-07, -3.615969035308808e-07, -6.95289372742991e-08, 2.2253902898228262e-07, 5.146069952388643e-07, 8.06674961495446e-07, 1.0987429277520278e-06, 1.3908108940086095e-06, 1.682878973952029e-06, 1.974946826521773e-06, 2.267014679091517e-06, 2.5590827590349363e-06, 2.8511508389783558e-06, 3.1432186915480997e-06, 3.4352865441178437e-06, 3.727354624061263e-06, 4.019422704004683e-06, 4.311490556574427e-06, 4.603558409144171e-06, 4.8956262617139146e-06, 5.1876945690310095e-06, 5.4797624216007534e-06, 5.7718302741704974e-06, 6.063898581487592e-06, 6.355966434057336e-06, 6.64803428662708e-06, 6.940102139196824e-06, 7.232169991766568e-06, 7.524238299083663e-06, 7.816306606400758e-06, 8.108374458970502e-06, 8.400442311540246e-06, 8.69251016410999e-06, 8.984578016679734e-06]}, "gradients/bert.encoder.layer.10.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 4.0, 1.0, 2.0, 2.0, 7.0, 3.0, 10.0, 7.0, 7.0, 13.0, 27.0, 37.0, 45.0, 68.0, 120.0, 159.0, 302.0, 479.0, 912.0, 1776.0, 3956.0, 10143.0, 34838.0, 263888.0, 2397311.0, 1327821.0, 117537.0, 21517.0, 7280.0, 2876.0, 1376.0, 657.0, 420.0, 223.0, 147.0, 114.0, 66.0, 39.0, 29.0, 19.0, 16.0, 15.0, 5.0, 9.0, 4.0, 4.0, 4.0, 0.0, 2.0, 0.0, 3.0, 0.0, 1.0], "bins": [-1.7513541024527512e-05, -1.702470035525039e-05, -1.653585786698386e-05, -1.6047017197706737e-05, -1.5558176528429613e-05, -1.5069334040163085e-05, -1.458049337088596e-05, -1.4091651792114135e-05, -1.3602810213342309e-05, -1.3113968634570483e-05, -1.2625127965293359e-05, -1.2136286386521533e-05, -1.1647444807749707e-05, -1.1158603228977881e-05, -1.0669762559700757e-05, -1.0180920980928931e-05, -9.692080311651807e-06, -9.203238732879981e-06, -8.714398063602857e-06, -8.225556484831031e-06, -7.736714906059206e-06, -7.2478737820347305e-06, -6.7590326580102555e-06, -6.27019107923843e-06, -5.781349955213955e-06, -5.29250883118948e-06, -4.803667252417654e-06, -4.314826128393179e-06, -3.825985004368704e-06, -3.337143425596878e-06, -2.848302301572403e-06, -2.3594609501742525e-06, -1.8706205082708038e-06, -1.3817791568726534e-06, -8.929379191613407e-07, -4.0409668145002797e-07, 8.474466994812246e-08, 5.735860213462729e-07, 1.0624271453707479e-06, 1.5512684967688983e-06, 2.0401098481670488e-06, 2.528951199565199e-06, 3.0177925509633496e-06, 3.5066336749878246e-06, 3.9954747990123e-06, 4.4843163777841255e-06, 4.9731575018086005e-06, 5.4619986258330755e-06, 5.950840204604901e-06, 6.439681328629376e-06, 6.928522907401202e-06, 7.417364031425677e-06, 7.906205610197503e-06, 8.395047188969329e-06, 8.883887858246453e-06, 9.372729437018279e-06, 9.861571015790105e-06, 1.035041259456193e-05, 1.0839253263839055e-05, 1.132809484261088e-05, 1.1816936421382707e-05, 1.2305778000154532e-05, 1.2794618669431657e-05, 1.3283460248203482e-05, 1.3772300917480607e-05]}, "gradients/bert.encoder.layer.10.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 3.0, 1.0, 1.0, 3.0, 1.0, 0.0, 6.0, 7.0, 11.0, 9.0, 13.0, 20.0, 20.0, 30.0, 33.0, 52.0, 52.0, 85.0, 136.0, 242.0, 323.0, 501.0, 605.0, 542.0, 425.0, 268.0, 186.0, 126.0, 80.0, 63.0, 67.0, 35.0, 20.0, 18.0, 20.0, 13.0, 12.0, 11.0, 12.0, 6.0, 7.0, 5.0, 2.0, 2.0, 1.0, 5.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-3.7534969123953488e-06, -3.639232090790756e-06, -3.5249672691861633e-06, -3.4107024475815706e-06, -3.296437625976978e-06, -3.182172804372385e-06, -3.067908210141468e-06, -2.953643388536875e-06, -2.8393785669322824e-06, -2.7251137453276897e-06, -2.610848923723097e-06, -2.4965841021185042e-06, -2.382319507887587e-06, -2.2680546862829942e-06, -2.1537898646784015e-06, -2.0395250430738088e-06, -1.925260221469216e-06, -1.8109953998646233e-06, -1.6967305782600306e-06, -1.5824658703422756e-06, -1.4682010487376829e-06, -1.3539362271330901e-06, -1.2396715192153351e-06, -1.1254066976107424e-06, -1.0111418760061497e-06, -8.96877054401557e-07, -7.826122896403831e-07, -6.683475248792092e-07, -5.540827032746165e-07, -4.398178816700238e-07, -3.255531169088499e-07, -2.1128835214767605e-07, -9.702353054308333e-08, 1.724126263979997e-08, 1.3150605582268327e-07, 2.4577084900556656e-07, 3.6003564218844986e-07, 4.743004637930426e-07, 5.885652285542164e-07, 7.028299933153903e-07, 8.17094814919983e-07, 9.313596365245758e-07, 1.0456244581291685e-06, 1.1598891660469235e-06, 1.2741539876515162e-06, 1.388418809256109e-06, 1.502683517173864e-06, 1.6169483387784567e-06, 1.7312131603830494e-06, 1.8454779819876421e-06, 1.959742803592235e-06, 2.0740076251968276e-06, 2.1882724468014203e-06, 2.302537268406013e-06, 2.4168018626369303e-06, 2.531066684241523e-06, 2.6453315058461158e-06, 2.7595963274507085e-06, 2.8738611490553012e-06, 2.988125970659894e-06, 3.1023905648908112e-06, 3.216655386495404e-06, 3.3309202080999967e-06, 3.4451850297045894e-06, 3.559449851309182e-06]}, "gradients/bert.encoder.layer.10.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 3.0, 1.0, 1.0, 0.0, 3.0, 3.0, 4.0, 5.0, 5.0, 12.0, 10.0, 16.0, 17.0, 15.0, 29.0, 36.0, 59.0, 87.0, 120.0, 211.0, 388.0, 1075.0, 21655.0, 4151402.0, 16957.0, 1118.0, 409.0, 235.0, 124.0, 93.0, 58.0, 46.0, 15.0, 19.0, 12.0, 8.0, 6.0, 10.0, 2.0, 1.0, 5.0, 8.0, 3.0, 2.0, 1.0, 4.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0], "bins": [-9.80045078904368e-05, -9.467969357501715e-05, -9.135487925959751e-05, -8.803006494417787e-05, -8.470525790471584e-05, -8.138044358929619e-05, -7.805562927387655e-05, -7.47308149584569e-05, -7.140600064303726e-05, -6.808118632761762e-05, -6.475637201219797e-05, -6.143156497273594e-05, -5.81067506573163e-05, -5.478193634189665e-05, -5.145712202647701e-05, -4.8132307711057365e-05, -4.4807500671595335e-05, -4.148268635617569e-05, -3.8157875678734854e-05, -3.483306136331521e-05, -3.150825068587437e-05, -2.818343637045473e-05, -2.4858622055035084e-05, -2.1533809558604844e-05, -1.8208997062174603e-05, -1.4884184565744363e-05, -1.155937115981942e-05, -8.234557753894478e-06, -4.9097452574642375e-06, -1.584932761033997e-06, 1.7398815543856472e-06, 5.064694050815888e-06, 8.389499271288514e-06, 1.1714311767718755e-05, 1.5039125173643697e-05, 1.836393857956864e-05, 2.168875107599888e-05, 2.501356357242912e-05, 2.8338377887848765e-05, 3.166319220326841e-05, 3.4988002880709246e-05, 3.831281719612889e-05, 4.163762787356973e-05, 4.496244218898937e-05, 4.8287256504409015e-05, 5.161206718184985e-05, 5.4936881497269496e-05, 5.826169217471033e-05, 6.158650649012998e-05, 6.491132080554962e-05, 6.823613512096927e-05, 7.156094943638891e-05, 7.488575647585094e-05, 7.821057079127058e-05, 8.153538510669023e-05, 8.486019942210987e-05, 8.818501373752952e-05, 9.150982805294916e-05, 9.48346423683688e-05, 9.815944940783083e-05, 0.00010148426372325048, 0.00010480907803867012, 0.00010813389235408977, 0.00011145870666950941, 0.00011478351370897144]}, "gradients/bert.encoder.layer.10.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 3.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 4.0, 16.0, 7.0, 12.0, 27.0, 32.0, 31.0, 68.0, 73.0, 108.0, 105.0, 125.0, 100.0, 82.0, 64.0, 42.0, 36.0, 23.0, 18.0, 13.0, 10.0, 5.0, 4.0, 5.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0305211617378518e-05, -9.856918040895835e-06, -9.408625373907853e-06, -8.96033179742517e-06, -8.512038220942486e-06, -8.063745553954504e-06, -7.615451977471821e-06, -7.1671588557364885e-06, -6.718865734001156e-06, -6.270572612265823e-06, -5.82227903578314e-06, -5.3739859140478075e-06, -4.925692792312475e-06, -4.477399670577142e-06, -4.029106094094459e-06, -3.5808129723591264e-06, -3.132519395876443e-06, -2.684226046767435e-06, -2.2359329250321025e-06, -1.7876395759230945e-06, -1.3393463405009243e-06, -8.91053105078754e-07, -4.4275975596974604e-07, 5.533365765586495e-09, 4.5382671487459447e-07, 9.021199502967647e-07, 1.350413185718935e-06, 1.798706534827943e-06, 2.246999883936951e-06, 2.6952930056722835e-06, 3.1435863547812914e-06, 3.591879476516624e-06, 4.040172825625632e-06, 4.4884659473609645e-06, 4.936759523843648e-06, 5.3850526455789804e-06, 5.833345767314313e-06, 6.2816388890496455e-06, 6.729932465532329e-06, 7.1782255872676615e-06, 7.626518709002994e-06, 8.074812285485677e-06, 8.523104952473659e-06, 8.971398528956342e-06, 9.419692105439026e-06, 9.867984772427008e-06, 1.0316278348909691e-05, 1.0764571925392374e-05, 1.1212865501875058e-05, 1.1661159078357741e-05, 1.2109451745345723e-05, 1.2557745321828406e-05, 1.300603889831109e-05, 1.3454331565299071e-05, 1.3902625141781755e-05, 1.4350918718264438e-05, 1.479921138525242e-05, 1.5247504961735103e-05, 1.5695797628723085e-05, 1.614409120520577e-05, 1.6592384781688452e-05, 1.7040678358171135e-05, 1.748897193465382e-05, 1.79372636921471e-05, 1.8385557268629782e-05]}, "gradients/bert.encoder.layer.10.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 2.0, 2.0, 4.0, 2.0, 3.0, 5.0, 2.0, 3.0, 11.0, 7.0, 12.0, 19.0, 18.0, 31.0, 24.0, 29.0, 32.0, 41.0, 47.0, 37.0, 42.0, 40.0, 53.0, 46.0, 46.0, 45.0, 36.0, 46.0, 49.0, 39.0, 29.0, 29.0, 35.0, 25.0, 18.0, 20.0, 14.0, 18.0, 9.0, 12.0, 4.0, 9.0, 4.0, 5.0, 4.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.0123585525434464e-05, -9.796661288419273e-06, -9.469737960898783e-06, -9.142813723883592e-06, -8.8158894868684e-06, -8.488965249853209e-06, -8.162041922332719e-06, -7.835117685317528e-06, -7.508193903049687e-06, -7.181270120781846e-06, -6.854345883766655e-06, -6.527422101498814e-06, -6.200498319230974e-06, -5.873574082215782e-06, -5.546650299947942e-06, -5.219726517680101e-06, -4.89280228066491e-06, -4.565878498397069e-06, -4.238954261381878e-06, -3.912030479114037e-06, -3.585106469472521e-06, -3.258182459831005e-06, -2.9312586775631644e-06, -2.6043346679216484e-06, -2.2774106582801323e-06, -1.9504866486386163e-06, -1.623562752683938e-06, -1.2966388567292597e-06, -9.697148470877437e-07, -6.427908374462277e-07, -3.158670551783871e-07, 1.1056954463128932e-08, 3.3798096410464495e-07, 6.649049169027421e-07, 9.918288697008393e-07, 1.3187527656555176e-06, 1.6456767752970336e-06, 1.9726007849385496e-06, 2.29952456720639e-06, 2.6264485768479062e-06, 2.9533725864894222e-06, 3.2802965961309383e-06, 3.6072206057724543e-06, 3.934144388040295e-06, 4.2610681703081354e-06, 4.587992407323327e-06, 4.9149161895911675e-06, 5.241839971859008e-06, 5.5687642088741995e-06, 5.89568799114204e-06, 6.222612228157232e-06, 6.549536010425072e-06, 6.876460247440264e-06, 7.203384029708104e-06, 7.530307811975945e-06, 7.857232048991136e-06, 8.184155376511626e-06, 8.511079613526817e-06, 8.838002941047307e-06, 9.164927178062499e-06, 9.49185141507769e-06, 9.818775652092882e-06, 1.0145698979613371e-05, 1.0472623216628563e-05, 1.0799547453643754e-05]}, "gradients/bert.encoder.layer.10.attention.output.dense.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 3.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 2.0, 5.0, 1.0, 6.0, 2.0, 6.0, 5.0, 14.0, 12.0, 15.0, 18.0, 15.0, 32.0, 26.0, 26.0, 29.0, 50.0, 38.0, 32.0, 45.0, 51.0, 41.0, 61.0, 46.0, 45.0, 40.0, 47.0, 39.0, 34.0, 31.0, 27.0, 26.0, 22.0, 29.0, 18.0, 13.0, 12.0, 14.0, 9.0, 3.0, 6.0, 7.0, 2.0, 2.0, 2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 1.0], "bins": [-1.1987443940597586e-05, -1.1617069503699895e-05, -1.1246695976296905e-05, -1.0876321539399214e-05, -1.0505948011996225e-05, -1.0135573575098533e-05, -9.765199138200842e-06, -9.394825610797852e-06, -9.024451173900161e-06, -8.65407673700247e-06, -8.28370320959948e-06, -7.913328772701789e-06, -7.542954790551448e-06, -7.172580808401108e-06, -6.8022063715034164e-06, -6.431832389353076e-06, -6.0614584072027355e-06, -5.691084425052395e-06, -5.320710442902055e-06, -4.950336006004363e-06, -4.579962023854023e-06, -4.209588041703682e-06, -3.839213604805991e-06, -3.4688396226556506e-06, -3.09846564050531e-06, -2.7280916583549697e-06, -2.357717448830954e-06, -1.987343239306938e-06, -1.6169692571565975e-06, -1.2465951613194193e-06, -8.762210654822411e-07, -5.058468559582252e-07, -1.3547378330258653e-07, 2.3490031253459165e-07, 6.052744083717698e-07, 9.75648504208948e-07, 1.3460226000461262e-06, 1.7163966958833043e-06, 2.0867707917204825e-06, 2.4571450012444984e-06, 2.827518983394839e-06, 3.1978929655451793e-06, 3.5682671750691952e-06, 3.938641384593211e-06, 4.3090153667435516e-06, 4.679389348893892e-06, 5.049763785791583e-06, 5.420137767941924e-06, 5.790511750092264e-06, 6.160885732242605e-06, 6.531259714392945e-06, 6.9016341512906365e-06, 7.272008133440977e-06, 7.642382115591317e-06, 8.012756552489009e-06, 8.3831309893867e-06, 8.75350451678969e-06, 9.123878953687381e-06, 9.49425248109037e-06, 9.864626917988062e-06, 1.0235000445391051e-05, 1.0605374882288743e-05, 1.0975749319186434e-05, 1.1346122846589424e-05, 1.1716497283487115e-05]}, "gradients/bert.encoder.layer.10.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 1.0, 5.0, 3.0, 2.0, 9.0, 8.0, 17.0, 14.0, 32.0, 34.0, 43.0, 66.0, 80.0, 163.0, 202.0, 309.0, 484.0, 807.0, 1404.0, 2359.0, 4509.0, 9187.0, 21033.0, 53517.0, 147058.0, 340572.0, 284055.0, 109110.0, 40654.0, 16453.0, 7481.0, 3748.0, 2039.0, 1112.0, 680.0, 448.0, 277.0, 183.0, 119.0, 90.0, 75.0, 34.0, 25.0, 14.0, 20.0, 8.0, 6.0, 6.0, 3.0, 4.0, 4.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1383680430299137e-05, -1.1002391147485469e-05, -1.0621102774166502e-05, -1.0239813491352834e-05, -9.858525118033867e-06, -9.477235835220199e-06, -9.095947461901233e-06, -8.714658179087564e-06, -8.333368896273896e-06, -7.952079613460228e-06, -7.570791240141261e-06, -7.189501957327593e-06, -6.808213584008627e-06, -6.426924301194958e-06, -6.045635473128641e-06, -5.664346645062324e-06, -5.283058271743357e-06, -4.90176944367704e-06, -4.5204806156107225e-06, -4.139191332797054e-06, -3.7579027321044123e-06, -3.376613904038095e-06, -2.995324848598102e-06, -2.6140360205317847e-06, -2.2327471924654674e-06, -1.85145836439915e-06, -1.470169422645995e-06, -1.0888804808928398e-06, -7.075916528265225e-07, -3.263028247602051e-07, 5.4986230679787695e-08, 4.3627505874610506e-07, 8.175629773177207e-07, 1.198851805384038e-06, 1.580140747137193e-06, 1.961429688890348e-06, 2.3427185169566656e-06, 2.724007345022983e-06, 3.1052964004629757e-06, 3.486585228529293e-06, 3.8678740565956105e-06, 4.249162884661928e-06, 4.630451712728245e-06, 5.0117405407945625e-06, 5.393029823608231e-06, 5.774318196927197e-06, 6.1556074797408655e-06, 6.536896307807183e-06, 6.9181851358735e-06, 7.299473963939818e-06, 7.680762792006135e-06, 8.062052074819803e-06, 8.44334044813877e-06, 8.824629730952438e-06, 9.205918104271404e-06, 9.587207387085073e-06, 9.968496669898741e-06, 1.034978595271241e-05, 1.0731074326031376e-05, 1.1112363608845044e-05, 1.149365198216401e-05, 1.1874941264977679e-05, 1.2256230547791347e-05, 1.2637518921110313e-05, 1.301880729442928e-05]}, "gradients/bert.encoder.layer.10.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 5.0, 4.0, 6.0, 4.0, 8.0, 9.0, 13.0, 20.0, 16.0, 24.0, 34.0, 34.0, 52.0, 48.0, 49.0, 65.0, 53.0, 46.0, 50.0, 65.0, 61.0, 49.0, 43.0, 46.0, 48.0, 42.0, 35.0, 21.0, 19.0, 14.0, 11.0, 4.0, 7.0, 3.0, 2.0, 3.0, 3.0, 3.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-1.7251551980734803e-05, -1.6814927221275866e-05, -1.6378304280806333e-05, -1.5941679521347396e-05, -1.5505056580877863e-05, -1.5068432730913628e-05, -1.4631808880949393e-05, -1.4195185030985158e-05, -1.3758561181020923e-05, -1.3321937331056688e-05, -1.2885313481092453e-05, -1.2448689631128218e-05, -1.2012065781163983e-05, -1.1575441931199748e-05, -1.1138818081235513e-05, -1.0702194231271278e-05, -1.0265570381307043e-05, -9.828946531342808e-06, -9.392322681378573e-06, -8.955698831414338e-06, -8.519074981450103e-06, -8.082451131485868e-06, -7.645827281521633e-06, -7.209203431557398e-06, -6.7725786720984615e-06, -6.3359548221342266e-06, -5.899330972169992e-06, -5.462707122205757e-06, -5.026083272241522e-06, -4.589459422277287e-06, -4.152835572313052e-06, -3.7162114949751412e-06, -3.2795878723845817e-06, -2.8429640224203467e-06, -2.4063401724561118e-06, -1.9697163224918768e-06, -1.533092358840804e-06, -1.0964683951897314e-06, -6.598445452254964e-07, -2.2322069526126143e-07, 2.1340315470297355e-07, 6.500270046672085e-07, 1.0866508546314435e-06, 1.5232748182825162e-06, 1.959898781933589e-06, 2.396522631897824e-06, 2.833146481862059e-06, 3.269770331826294e-06, 3.706394181790529e-06, 4.143018031754764e-06, 4.579641881718999e-06, 5.016265731683234e-06, 5.452889581647469e-06, 5.889513886359055e-06, 6.3261377363232896e-06, 6.7627615862875246e-06, 7.1993854362517595e-06, 7.636009286215995e-06, 8.07263313618023e-06, 8.509256986144464e-06, 8.9458808361087e-06, 9.382504686072934e-06, 9.81912853603717e-06, 1.0255752386001404e-05, 1.069237623596564e-05]}, "gradients/bert.encoder.layer.10.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 1.0, 5.0, 5.0, 5.0, 4.0, 7.0, 11.0, 17.0, 24.0, 27.0, 39.0, 59.0, 80.0, 98.0, 129.0, 210.0, 1107.0, 1038008.0, 7885.0, 262.0, 155.0, 113.0, 76.0, 53.0, 54.0, 28.0, 34.0, 24.0, 7.0, 9.0, 6.0, 6.0, 6.0, 3.0, 8.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00014746596571058035, -0.0001414867292623967, -0.00013550749281421304, -0.00012952825636602938, -0.00012354903446976095, -0.0001175697980215773, -0.00011159056157339364, -0.00010561132512520999, -9.963209595298395e-05, -9.365285950480029e-05, -8.767363033257425e-05, -8.169439388439059e-05, -7.571515743620694e-05, -6.97359282639809e-05, -6.375669181579724e-05, -5.777745900559239e-05, -5.179822619538754e-05, -4.5818993385182694e-05, -3.9839760574977845e-05, -3.386052412679419e-05, -2.788129131658934e-05, -2.1902058506384492e-05, -1.5922822058200836e-05, -9.943589247995988e-06, -3.964356437791139e-06, 2.0148772819084115e-06, 7.994111001607962e-06, 1.3973345630802214e-05, 1.9952578441007063e-05, 2.593181125121191e-05, 3.191104769939557e-05, 3.7890280509600416e-05, 4.3869513319805264e-05, 4.984874613001011e-05, 5.582797894021496e-05, 6.180721538839862e-05, 6.778644456062466e-05, 7.376568100880831e-05, 7.974491745699197e-05, 8.572415390517563e-05, 9.170338307740167e-05, 9.768261952558532e-05, 0.00010366184869781137, 0.00010964108514599502, 0.00011562032159417868, 0.00012159955076640472, 0.000127578794490546, 0.00013355801638681442, 0.00013953725283499807, 0.00014551648928318173, 0.00015149572573136538, 0.0001574749476276338, 0.00016345418407581747, 0.00016943342052400112, 0.00017541265697218478, 0.00018139189342036843, 0.0001873711298685521, 0.00019335036631673574, 0.0001993296027649194, 0.00020530883921310306, 0.00021128806110937148, 0.00021726729755755514, 0.0002232465340057388, 0.00022922577045392245, 0.00023520499235019088]}, "gradients/bert.encoder.layer.10.attention.self.key.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 5.0, 1.0, 1.0, 4.0, 1.0, 2.0, 3.0, 3.0, 15.0, 10.0, 20.0, 15.0, 6.0, 33.0, 28.0, 54.0, 57.0, 25.0, 94.0, 57.0, 137.0, 100.0, 36.0, 81.0, 39.0, 52.0, 36.0, 5.0, 32.0, 7.0, 19.0, 9.0, 2.0, 7.0, 3.0, 5.0, 1.0, 0.0, 3.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.694822225952521e-13, -3.581579477440755e-13, -3.468336728928989e-13, -3.355093980417223e-13, -3.241851231905457e-13, -3.128608483393691e-13, -3.015365734881925e-13, -2.902122986370159e-13, -2.788880237858393e-13, -2.6756374893466273e-13, -2.5623947408348613e-13, -2.4491519923230953e-13, -2.3359092438113294e-13, -2.2226664952995634e-13, -2.1094237467877974e-13, -1.9961809982760315e-13, -1.8829382497642655e-13, -1.7696955012524995e-13, -1.6564527527407336e-13, -1.5432100042289676e-13, -1.4299672557172016e-13, -1.3167245072054357e-13, -1.2034817586936697e-13, -1.0902390101819037e-13, -9.769962616701378e-14, -8.637535131583718e-14, -7.505107646466058e-14, -6.372680161348399e-14, -5.240252676230739e-14, -4.107825191113079e-14, -2.9753977059954195e-14, -1.84297022087776e-14, -7.105427357601002e-15, 4.218847493575595e-15, 1.554312234475219e-14, 2.6867397195928788e-14, 3.8191672047105385e-14, 4.951594689828198e-14, 6.084022174945858e-14, 7.216449660063518e-14, 8.348877145181177e-14, 9.481304630298837e-14, 1.0613732115416497e-13, 1.1746159600534156e-13, 1.2878587085651816e-13, 1.4011014570769476e-13, 1.5143442055887135e-13, 1.6275869541004795e-13, 1.7408297026122455e-13, 1.8540724511240114e-13, 1.9673151996357774e-13, 2.0805579481475434e-13, 2.1938006966593093e-13, 2.3070434451710753e-13, 2.4202861936828413e-13, 2.533528942194607e-13, 2.646771690706373e-13, 2.760014439218139e-13, 2.873257187729905e-13, 2.986499936241671e-13, 3.099742684753437e-13, 3.212985433265203e-13, 3.326228181776969e-13, 3.439470930288735e-13, 3.552713678800501e-13]}, "gradients/bert.encoder.layer.10.attention.self.key.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 2.0, 0.0, 2.0, 0.0, 3.0, 3.0, 3.0, 3.0, 3.0, 11.0, 11.0, 14.0, 26.0, 29.0, 39.0, 65.0, 104.0, 192.0, 408.0, 951.0, 2844.0, 11125.0, 65241.0, 594600.0, 328536.0, 34019.0, 6916.0, 1974.0, 687.0, 323.0, 130.0, 96.0, 81.0, 35.0, 25.0, 16.0, 8.0, 12.0, 10.0, 6.0, 4.0, 3.0, 3.0, 0.0, 1.0, 1.0, 2.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.482801033300348e-06, -9.129472346103285e-06, -8.776143658906221e-06, -8.42281588120386e-06, -8.069487194006797e-06, -7.716158506809734e-06, -7.362829819612671e-06, -7.0095011324156076e-06, -6.6561724452185445e-06, -6.302843758021481e-06, -5.949515525571769e-06, -5.596186838374706e-06, -5.242858151177643e-06, -4.889529918727931e-06, -4.5362012315308675e-06, -4.182872544333804e-06, -3.829544311884092e-06, -3.4762158520607045e-06, -3.1228871648636414e-06, -2.7695587050402537e-06, -2.4162300178431906e-06, -2.062901558019803e-06, -1.7095730981964152e-06, -1.3562444109993521e-06, -1.0029159511759644e-06, -6.49587377665739e-07, -2.962588609989325e-07, 5.706965566787403e-08, 4.1039822917809943e-07, 7.637268026883248e-07, 1.1170552625117125e-06, 1.4703839497087756e-06, 1.8237124095321633e-06, 2.177040869355551e-06, 2.530369556552614e-06, 2.8836980163760018e-06, 3.237026703573065e-06, 3.5903551633964526e-06, 3.94368362321984e-06, 4.297012310416903e-06, 4.6503409976139665e-06, 5.00366968481103e-06, 5.356997917260742e-06, 5.710326604457805e-06, 6.063655291654868e-06, 6.41698352410458e-06, 6.770312211301643e-06, 7.1236408984987065e-06, 7.476969130948419e-06, 7.830297363398131e-06, 8.183626050595194e-06, 8.536954737792257e-06, 8.89028342498932e-06, 9.243612112186383e-06, 9.596940799383447e-06, 9.950268577085808e-06, 1.0303597264282871e-05, 1.0656925951479934e-05, 1.1010254638676997e-05, 1.136358332587406e-05, 1.1716911103576422e-05, 1.2070239790773485e-05, 1.2423568477970548e-05, 1.2776897165167611e-05, 1.3130225852364674e-05]}, "gradients/bert.encoder.layer.10.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 0.0, 4.0, 2.0, 1.0, 0.0, 2.0, 2.0, 6.0, 10.0, 2.0, 4.0, 15.0, 17.0, 12.0, 27.0, 22.0, 35.0, 41.0, 69.0, 62.0, 80.0, 87.0, 87.0, 81.0, 61.0, 68.0, 41.0, 40.0, 31.0, 20.0, 22.0, 11.0, 9.0, 2.0, 7.0, 2.0, 9.0, 5.0, 3.0, 2.0, 2.0, 1.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0], "bins": [-2.3036438960843952e-06, -2.2361305127560627e-06, -2.1686169020540547e-06, -2.101103518725722e-06, -2.0335901353973895e-06, -1.9660765246953815e-06, -1.898563141367049e-06, -1.8310497580387164e-06, -1.763536261023546e-06, -1.6960227640083758e-06, -1.6285093806800433e-06, -1.560995883664873e-06, -1.4934823866497027e-06, -1.4259690033213701e-06, -1.3584555063061998e-06, -1.2909420092910295e-06, -1.223428625962697e-06, -1.1559151289475267e-06, -1.0884017456191941e-06, -1.0208882486040238e-06, -9.533748084322724e-07, -8.85861368260521e-07, -8.183478712453507e-07, -7.508344310735993e-07, -6.833209909018478e-07, -6.158075507300964e-07, -5.48294110558345e-07, -4.807806135431747e-07, -4.1326717337142327e-07, -3.4575373319967184e-07, -2.78240264606211e-07, -2.1072679601275013e-07, -1.432133558409987e-07, -7.569990145839256e-08, -8.186447075786418e-09, 5.9327007306819723e-08, 1.2684046168942587e-07, 1.943539018611773e-07, 2.6186737045463815e-07, 3.29380839048099e-07, 3.9689427921985043e-07, 4.6440771939160186e-07, 5.319211595633533e-07, 5.994346565785236e-07, 6.66948096750275e-07, 7.344615369220264e-07, 8.019750339371967e-07, 8.694884741089481e-07, 9.370019142806996e-07, 1.0045154112958699e-06, 1.0720287946242024e-06, 1.1395422916393727e-06, 1.2070556749677053e-06, 1.2745691719828756e-06, 1.3420826689980458e-06, 1.4095960523263784e-06, 1.4771095493415487e-06, 1.544623046356719e-06, 1.6121364296850516e-06, 1.6796499267002218e-06, 1.7471634237153921e-06, 1.8146768070437247e-06, 1.882190304058895e-06, 1.9497038010740653e-06, 2.017217184402398e-06]}, "gradients/bert.encoder.layer.10.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 4.0, 1.0, 2.0, 4.0, 5.0, 5.0, 1.0, 4.0, 4.0, 5.0, 15.0, 16.0, 14.0, 11.0, 29.0, 28.0, 53.0, 62.0, 95.0, 225.0, 544.0, 2691.0, 19737.0, 437300.0, 559264.0, 24190.0, 3036.0, 650.0, 206.0, 99.0, 66.0, 41.0, 40.0, 21.0, 24.0, 12.0, 10.0, 10.0, 7.0, 8.0, 3.0, 2.0, 8.0, 3.0, 4.0, 0.0, 2.0, 3.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.8992835975950584e-05, -1.8417995306663215e-05, -1.7843152818386443e-05, -1.7268312149099074e-05, -1.6693469660822302e-05, -1.6118628991534933e-05, -1.554378650325816e-05, -1.4968945833970793e-05, -1.439410334569402e-05, -1.381926176691195e-05, -1.324442018812988e-05, -1.2669578609347809e-05, -1.2094737030565739e-05, -1.1519895451783668e-05, -1.0945053873001598e-05, -1.037021320371423e-05, -9.795371624932159e-06, -9.220530046150088e-06, -8.645688467368018e-06, -8.070846888585947e-06, -7.496005309803877e-06, -6.921163731021807e-06, -6.346322606987087e-06, -5.771481028205017e-06, -5.196639449422946e-06, -4.621797870640876e-06, -4.046956291858805e-06, -3.4721149404504104e-06, -2.89727336166834e-06, -2.3224317828862695e-06, -1.7475904314778745e-06, -1.172748852695804e-06, -5.979072739137337e-07, -2.3065751975082094e-08, 5.517757699635695e-07, 1.1266172350588022e-06, 1.7014588138408726e-06, 2.276300392622943e-06, 2.851141744031338e-06, 3.4259833228134084e-06, 4.000824901595479e-06, 4.575666480377549e-06, 5.15050805915962e-06, 5.725349183194339e-06, 6.30019076197641e-06, 6.87503234075848e-06, 7.4498739195405506e-06, 8.024715498322621e-06, 8.599557077104691e-06, 9.174398655886762e-06, 9.749240234668832e-06, 1.0324081813450903e-05, 1.0898923392232973e-05, 1.1473764971015044e-05, 1.2048605640302412e-05, 1.2623448128579184e-05, 1.3198288797866553e-05, 1.3773130376648623e-05, 1.4347971955430694e-05, 1.4922813534212764e-05, 1.5497655112994835e-05, 1.6072495782282203e-05, 1.6647338270558976e-05, 1.7222178939846344e-05, 1.7797021428123116e-05]}, "gradients/bert.encoder.layer.9.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 1.0, 4.0, 9.0, 31.0, 50.0, 123.0, 258.0, 258.0, 159.0, 77.0, 26.0, 15.0, 4.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0763831596705131e-05, -9.6970015874831e-06, -8.63017157826107e-06, -7.563341569039039e-06, -6.496511559817009e-06, -5.429681550594978e-06, -4.362851541372947e-06, -3.2960215321509168e-06, -2.229191522928886e-06, -1.1623615137068555e-06, -9.553150448482484e-08, 9.712985047372058e-07, 2.0381285139592364e-06, 3.104958523181267e-06, 4.171788532403298e-06, 5.238618541625328e-06, 6.305448550847359e-06, 7.37227856006939e-06, 8.43910856929142e-06, 9.505938578513451e-06, 1.0572768587735482e-05, 1.1639598596957512e-05, 1.2706428606179543e-05, 1.3773258615401573e-05, 1.4840088624623604e-05, 1.5906918633845635e-05, 1.6973748643067665e-05, 1.8040578652289696e-05, 1.9107408661511727e-05, 2.0174238670733757e-05, 2.1241068679955788e-05, 2.230789868917782e-05, 2.3374730517389253e-05, 2.4441560526611283e-05, 2.5508390535833314e-05, 2.6575220545055345e-05, 2.7642050554277375e-05, 2.8708880563499406e-05, 2.9775710572721437e-05, 3.084254058194347e-05, 3.19093705911655e-05, 3.297620060038753e-05, 3.404303060960956e-05, 3.510986061883159e-05, 3.617669062805362e-05, 3.724352063727565e-05, 3.831035064649768e-05, 3.937718065571971e-05, 4.044401066494174e-05, 4.1510840674163774e-05, 4.2577670683385804e-05, 4.3644500692607835e-05, 4.4711330701829866e-05, 4.5778160711051896e-05, 4.684499072027393e-05, 4.791182072949596e-05, 4.897865073871799e-05, 5.004548074794002e-05, 5.111231075716205e-05, 5.217914076638408e-05, 5.324597077560611e-05, 5.431280078482814e-05, 5.537963079405017e-05, 5.64464608032722e-05, 5.751329081249423e-05]}, "gradients/bert.encoder.layer.9.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 6.0, 2.0, 6.0, 8.0, 6.0, 6.0, 6.0, 7.0, 12.0, 9.0, 6.0, 26.0, 19.0, 21.0, 33.0, 22.0, 30.0, 40.0, 36.0, 41.0, 47.0, 43.0, 40.0, 32.0, 56.0, 46.0, 52.0, 36.0, 49.0, 28.0, 23.0, 37.0, 28.0, 25.0, 26.0, 24.0, 14.0, 14.0, 17.0, 8.0, 4.0, 9.0, 5.0, 6.0, 3.0, 1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-1.3223789210314862e-05, -1.2818613868148532e-05, -1.2413438525982201e-05, -1.2008262274321169e-05, -1.1603086932154838e-05, -1.1197911589988507e-05, -1.0792736247822177e-05, -1.0387560905655846e-05, -9.982384653994814e-06, -9.577209311828483e-06, -9.172033969662152e-06, -8.76685771800112e-06, -8.361682375834789e-06, -7.956507033668458e-06, -7.551331691502128e-06, -7.146155894588446e-06, -6.740980552422116e-06, -6.335805210255785e-06, -5.930629413342103e-06, -5.525454071175773e-06, -5.120278274262091e-06, -4.7151029320957605e-06, -4.309927135182079e-06, -3.904751793015748e-06, -3.499576223475742e-06, -3.094400653935736e-06, -2.68922508439573e-06, -2.284049514855724e-06, -1.8788740590025554e-06, -1.473698603149387e-06, -1.068523033609381e-06, -6.633474640693748e-07, -2.5817189452936873e-07, 1.4700364658892795e-07, 5.521791877072246e-07, 9.573547004038119e-07, 1.362530269943818e-06, 1.7677057257969864e-06, 2.1728812953369925e-06, 2.5780568648769986e-06, 2.9832324344170047e-06, 3.388408003957011e-06, 3.793583573497017e-06, 4.198759143037023e-06, 4.603934485203354e-06, 5.009110282117035e-06, 5.414285624283366e-06, 5.8194609664496966e-06, 6.224636763363378e-06, 6.629812105529709e-06, 7.03498790244339e-06, 7.440163244609721e-06, 7.845338586776052e-06, 8.250513928942382e-06, 8.655690180603415e-06, 9.060865522769745e-06, 9.466040864936076e-06, 9.871216207102407e-06, 1.0276391549268737e-05, 1.068156780092977e-05, 1.10867431430961e-05, 1.1491918485262431e-05, 1.1897093827428762e-05, 1.2302269169595093e-05, 1.2707445421256125e-05]}, "gradients/bert.encoder.layer.9.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 5.0, 3.0, 8.0, 7.0, 6.0, 8.0, 9.0, 13.0, 11.0, 12.0, 24.0, 20.0, 36.0, 36.0, 35.0, 47.0, 37.0, 55.0, 52.0, 48.0, 60.0, 50.0, 43.0, 48.0, 48.0, 48.0, 27.0, 27.0, 33.0, 28.0, 33.0, 27.0, 17.0, 11.0, 10.0, 5.0, 8.0, 5.0, 6.0, 3.0, 3.0, 1.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0241943527944386e-05, -9.928638974088244e-06, -9.615334420232102e-06, -9.30202986637596e-06, -8.988725312519819e-06, -8.675420758663677e-06, -8.362116204807535e-06, -8.048811650951393e-06, -7.735507097095251e-06, -7.422202543239109e-06, -7.108897989382967e-06, -6.7955934355268255e-06, -6.482288881670684e-06, -6.168984327814542e-06, -5.855679319211049e-06, -5.542374765354907e-06, -5.229069756751414e-06, -4.9157652028952725e-06, -4.602460649039131e-06, -4.289156095182989e-06, -3.975851541326847e-06, -3.6625467600970296e-06, -3.3492419788672123e-06, -3.0359374250110704e-06, -2.7226328711549286e-06, -2.4093283172987867e-06, -2.096023763442645e-06, -1.7827189822128275e-06, -1.4694144283566857e-06, -1.1561098745005438e-06, -8.428052069575642e-07, -5.295005394145846e-07, -2.1619598555844277e-07, 9.710862514111795e-08, 4.104132358406787e-07, 7.237178465402394e-07, 1.0370224572398001e-06, 1.350327011095942e-06, 1.6636316786389216e-06, 1.976936346181901e-06, 2.290240900038043e-06, 2.603545453894185e-06, 2.9168500077503268e-06, 3.230154788980144e-06, 3.543459342836286e-06, 3.856764124066103e-06, 4.170068677922245e-06, 4.483373231778387e-06, 4.796677785634529e-06, 5.109982339490671e-06, 5.4232868933468126e-06, 5.7365914472029544e-06, 6.049896001059096e-06, 6.363200554915238e-06, 6.676505563518731e-06, 6.989810117374873e-06, 7.303114671231015e-06, 7.6164192250871565e-06, 7.92972423369065e-06, 8.243028787546791e-06, 8.556333341402933e-06, 8.869637895259075e-06, 9.182942449115217e-06, 9.496247002971359e-06, 9.8095515568275e-06]}, "gradients/bert.encoder.layer.9.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 3.0, 1.0, 6.0, 4.0, 5.0, 12.0, 21.0, 23.0, 41.0, 56.0, 67.0, 118.0, 203.0, 335.0, 492.0, 855.0, 1649.0, 3214.0, 7024.0, 18147.0, 71171.0, 557876.0, 2564869.0, 832474.0, 97855.0, 22149.0, 7998.0, 3563.0, 1755.0, 911.0, 547.0, 321.0, 188.0, 101.0, 85.0, 53.0, 21.0, 29.0, 17.0, 12.0, 7.0, 3.0, 3.0, 3.0, 1.0, 5.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0], "bins": [-1.2701731975539587e-05, -1.2286468518141191e-05, -1.1871205060742795e-05, -1.14559416033444e-05, -1.1040678145946003e-05, -1.0625414688547608e-05, -1.0210151231149212e-05, -9.794887773750816e-06, -9.37962431635242e-06, -8.964360858954024e-06, -8.549097401555628e-06, -8.133833944157232e-06, -7.718570486758836e-06, -7.30330702936044e-06, -6.888043571962044e-06, -6.472780114563648e-06, -6.057516202417901e-06, -5.642252745019505e-06, -5.226989287621109e-06, -4.811725830222713e-06, -4.396462372824317e-06, -3.98119846067857e-06, -3.5659352306538494e-06, -3.1506717732554534e-06, -2.7354083158570575e-06, -2.3201448584586615e-06, -1.9048814010602655e-06, -1.4896178299750318e-06, -1.0743543725766358e-06, -6.590908014914021e-07, -2.438273440930061e-07, 1.7143611330538988e-07, 5.866995707037859e-07, 1.0019630281021819e-06, 1.4172264855005778e-06, 1.8324900565858115e-06, 2.24775340029737e-06, 2.6630170850694412e-06, 3.0782805424678372e-06, 3.493543999866233e-06, 3.908807229890954e-06, 4.32407068728935e-06, 4.739334144687746e-06, 5.154597602086142e-06, 5.569861059484538e-06, 5.985124516882934e-06, 6.40038797428133e-06, 6.815651431679726e-06, 7.2309153438254725e-06, 7.64617925597122e-06, 8.061442713369615e-06, 8.476706170768011e-06, 8.891969628166407e-06, 9.307233085564803e-06, 9.7224965429632e-06, 1.0137760000361595e-05, 1.0553023457759991e-05, 1.0968286915158387e-05, 1.1383550372556783e-05, 1.179881382995518e-05, 1.2214077287353575e-05, 1.2629340744751971e-05, 1.3044604202150367e-05, 1.3459867659548763e-05, 1.387513111694716e-05]}, "gradients/bert.encoder.layer.9.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 5.0, 3.0, 3.0, 2.0, 7.0, 10.0, 11.0, 13.0, 28.0, 20.0, 41.0, 66.0, 85.0, 132.0, 237.0, 408.0, 694.0, 825.0, 643.0, 331.0, 187.0, 111.0, 65.0, 37.0, 36.0, 20.0, 16.0, 10.0, 7.0, 4.0, 8.0, 3.0, 2.0, 2.0, 3.0, 4.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-4.175828962615924e-06, -4.017467745143222e-06, -3.85910698241787e-06, -3.700745764945168e-06, -3.5423845474724658e-06, -3.384023557373439e-06, -3.225662567274412e-06, -3.06730134980171e-06, -2.908940359702683e-06, -2.7505793696036562e-06, -2.592218152130954e-06, -2.433857162031927e-06, -2.2754961719329003e-06, -2.117134954460198e-06, -1.9587739643611712e-06, -1.8004128605753067e-06, -1.6420517567894422e-06, -1.4836906530035776e-06, -1.325329549217713e-06, -1.1669685591186862e-06, -1.0086074553328217e-06, -8.502463515469572e-07, -6.918853046045115e-07, -5.335242576620658e-07, -3.7516315387620125e-07, -2.1680207851204614e-07, -5.8441003147891024e-08, 9.992007221626409e-08, 2.582811475804192e-07, 4.1664225136628374e-07, 5.750032983087294e-07, 7.333643452511751e-07, 8.917249942896888e-07, 1.0500860980755533e-06, 1.2084472018614179e-06, 1.3668081919604447e-06, 1.5251692957463092e-06, 1.6835303995321738e-06, 1.8418913896312006e-06, 2.000252607103903e-06, 2.1586135972029297e-06, 2.3169745873019565e-06, 2.4753358047746588e-06, 2.6336967948736856e-06, 2.7920577849727124e-06, 2.9504190024454147e-06, 3.1087799925444415e-06, 3.2671409826434683e-06, 3.4255022001161706e-06, 3.5838631902151974e-06, 3.7422244076878997e-06, 3.9005853977869265e-06, 4.058946615259629e-06, 4.217307832732331e-06, 4.375668595457682e-06, 4.534029812930385e-06, 4.692390575655736e-06, 4.850751793128438e-06, 5.00911255585379e-06, 5.167473773326492e-06, 5.325834990799194e-06, 5.484195753524546e-06, 5.642556970997248e-06, 5.80091818846995e-06, 5.959279405942652e-06]}, "gradients/bert.encoder.layer.9.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 4.0, 0.0, 2.0, 2.0, 4.0, 3.0, 6.0, 7.0, 13.0, 17.0, 26.0, 32.0, 54.0, 85.0, 161.0, 326.0, 770.0, 11645.0, 4173585.0, 6148.0, 699.0, 299.0, 150.0, 88.0, 52.0, 26.0, 30.0, 9.0, 18.0, 12.0, 4.0, 4.0, 5.0, 1.0, 2.0, 3.0, 0.0, 3.0, 0.0, 2.0, 1.0], "bins": [-0.00019980854995083064, -0.00019498661276884377, -0.00019016469013877213, -0.00018534275295678526, -0.00018052083032671362, -0.00017569889314472675, -0.0001708769705146551, -0.00016605503333266824, -0.00016123309615068138, -0.0001564111589686945, -0.00015158923633862287, -0.000146767299156636, -0.00014194537652656436, -0.0001371234393445775, -0.00013230150216259062, -0.00012747957953251898, -0.00012265765690244734, -0.00011783572699641809, -0.00011301379709038883, -0.00010819185990840197, -0.00010336993000237271, -9.854800009634346e-05, -9.37260701903142e-05, -8.890414028428495e-05, -8.408220310229808e-05, -7.926027319626883e-05, -7.443834329023957e-05, -6.96164061082527e-05, -6.479447620222345e-05, -5.9972546296194196e-05, -5.515061639016494e-05, -5.032868284615688e-05, -4.550675657810643e-05, -4.068482667207718e-05, -3.586289312806912e-05, -3.1040963222039863e-05, -2.6219031497021206e-05, -2.1397099772002548e-05, -1.6575169865973294e-05, -1.1753236321965232e-05, -6.931306415935978e-06, -2.1093751456646714e-06, 2.7125561246066354e-06, 7.534486940130591e-06, 1.2356418665149249e-05, 1.7178350390167907e-05, 2.200028029619716e-05, 2.6822213840205222e-05, 3.1644143746234477e-05, 3.646607365226373e-05, 4.128800719627179e-05, 4.6109937102301046e-05, 5.093187064630911e-05, 5.575380055233836e-05, 6.0575730458367616e-05, 6.539766036439687e-05, 7.021959754638374e-05, 7.504152745241299e-05, 7.986345735844225e-05, 8.468539454042912e-05, 8.950732444645837e-05, 9.432925435248762e-05, 9.915118425851688e-05, 0.00010397311416454613, 0.00010879504407057539]}, "gradients/bert.encoder.layer.9.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 3.0, 3.0, 5.0, 4.0, 9.0, 7.0, 7.0, 19.0, 25.0, 33.0, 42.0, 68.0, 88.0, 117.0, 116.0, 103.0, 87.0, 69.0, 58.0, 50.0, 34.0, 30.0, 11.0, 11.0, 7.0, 4.0, 1.0, 5.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.9338773250347e-06, -8.523345968569629e-06, -8.112814612104557e-06, -7.702283255639486e-06, -7.2917523539217655e-06, -6.881220997456694e-06, -6.470689640991623e-06, -6.060158739273902e-06, -5.649627382808831e-06, -5.239096026343759e-06, -4.828564669878688e-06, -4.418033313413616e-06, -4.007502411695896e-06, -3.5969710552308243e-06, -3.186439698765753e-06, -2.775908569674357e-06, -2.36537698583561e-06, -1.9548456293705385e-06, -1.5443145002791425e-06, -1.133783143814071e-06, -7.232519010358374e-07, -3.1272065825760365e-07, 9.78106982074678e-08, 5.083418272988638e-07, 9.188731837639352e-07, 1.329404426542169e-06, 1.7399356693204027e-06, 2.150467025785474e-06, 2.5609983822505455e-06, 2.9715295113419415e-06, 3.382060867807013e-06, 3.792591996898409e-06, 4.20312335336348e-06, 4.613654709828552e-06, 5.024186066293623e-06, 5.434717422758695e-06, 5.845248324476415e-06, 6.255779680941487e-06, 6.666311037406558e-06, 7.076841939124279e-06, 7.48737329558935e-06, 7.897904652054422e-06, 8.308436008519493e-06, 8.718967364984564e-06, 9.129498721449636e-06, 9.540030077914707e-06, 9.950561434379779e-06, 1.0361091881350148e-05, 1.0771624147309922e-05, 1.1182155503774993e-05, 1.1592686860240065e-05, 1.2003218216705136e-05, 1.2413749573170207e-05, 1.2824280929635279e-05, 1.323481228610035e-05, 1.364534273307072e-05, 1.4055874089535791e-05, 1.4466405446000863e-05, 1.4876936802465934e-05, 1.5287467249436304e-05, 1.5697998605901375e-05, 1.6108529962366447e-05, 1.6519061318831518e-05, 1.692959267529659e-05, 1.734012403176166e-05]}, "gradients/bert.encoder.layer.9.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 2.0, 2.0, 5.0, 6.0, 4.0, 9.0, 5.0, 10.0, 12.0, 23.0, 21.0, 21.0, 27.0, 32.0, 40.0, 41.0, 40.0, 51.0, 64.0, 47.0, 48.0, 50.0, 57.0, 57.0, 57.0, 39.0, 36.0, 30.0, 22.0, 38.0, 28.0, 27.0, 18.0, 12.0, 13.0, 5.0, 6.0, 2.0, 5.0, 2.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.1148276826133952e-05, -1.0798089533636812e-05, -1.0447901331644971e-05, -1.0097714039147831e-05, -9.74752583715599e-06, -9.397338544658851e-06, -9.047151252161711e-06, -8.69696305016987e-06, -8.34677575767273e-06, -7.996588465175591e-06, -7.64640026318375e-06, -7.296212970686611e-06, -6.9460252234421205e-06, -6.59583747619763e-06, -6.245650183700491e-06, -5.8954624364560004e-06, -5.54527468921151e-06, -5.19508694196702e-06, -4.8448991947225295e-06, -4.49471190222539e-06, -4.1445241549809e-06, -3.7943364077364095e-06, -3.4441488878655946e-06, -3.0939613679947797e-06, -2.7437736207502894e-06, -2.393585873505799e-06, -2.0433983536349842e-06, -1.6932107200773316e-06, -1.343023086519679e-06, -9.928354529620265e-07, -6.426478194043739e-07, -2.92460299533559e-07, 5.77274477109313e-08, 4.079150812685839e-07, 7.581027148262365e-07, 1.108290348383889e-06, 1.4584779819415417e-06, 1.8086656154991942e-06, 2.158853249056847e-06, 2.5090407689276617e-06, 2.859228516172152e-06, 3.2094162634166423e-06, 3.559603783287457e-06, 3.909791303158272e-06, 4.259979050402762e-06, 4.610166797647253e-06, 4.960354090144392e-06, 5.310541837388882e-06, 5.660729584633373e-06, 6.010917331877863e-06, 6.361105079122353e-06, 6.711292371619493e-06, 7.061480118863983e-06, 7.411667866108473e-06, 7.761855158605613e-06, 8.112043360597454e-06, 8.462230653094593e-06, 8.812417945591733e-06, 9.162606147583574e-06, 9.512793440080713e-06, 9.862980732577853e-06, 1.0213168934569694e-05, 1.0563356227066834e-05, 1.0913543519563973e-05, 1.1263731721555814e-05]}, "gradients/bert.encoder.layer.9.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 5.0, 5.0, 6.0, 2.0, 5.0, 7.0, 7.0, 11.0, 16.0, 11.0, 21.0, 19.0, 25.0, 26.0, 28.0, 35.0, 40.0, 45.0, 41.0, 59.0, 52.0, 47.0, 45.0, 45.0, 45.0, 48.0, 50.0, 44.0, 35.0, 32.0, 31.0, 24.0, 19.0, 20.0, 12.0, 14.0, 9.0, 12.0, 6.0, 6.0, 3.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2044908544339705e-05, -1.1668053957691882e-05, -1.1291199371044058e-05, -1.0914344784396235e-05, -1.053748928825371e-05, -1.0160634701605886e-05, -9.783780114958063e-06, -9.40692552831024e-06, -9.030070941662416e-06, -8.653216355014592e-06, -8.276361768366769e-06, -7.899507181718946e-06, -7.522652140323771e-06, -7.145797553675948e-06, -6.768942512280773e-06, -6.39208792563295e-06, -6.0152333389851265e-06, -5.638378752337303e-06, -5.2615241656894796e-06, -4.884669124294305e-06, -4.507814537646482e-06, -4.130959950998658e-06, -3.7541051369771594e-06, -3.3772503229556605e-06, -3.000395736307837e-06, -2.6235411496600136e-06, -2.2466863356385147e-06, -1.8698316353038535e-06, -1.4929769349691924e-06, -1.1161222346345312e-06, -7.3926753429987e-07, -3.624127202783711e-07, 1.4440956874750555e-08, 3.9129565720941173e-07, 7.681503575440729e-07, 1.145005057878734e-06, 1.5218597582133953e-06, 1.8987144585480564e-06, 2.2755691588827176e-06, 2.6524239729042165e-06, 3.02927855955204e-06, 3.4061331461998634e-06, 3.7829879602213623e-06, 4.159842774242861e-06, 4.536697360890685e-06, 4.913551947538508e-06, 5.2904069889336824e-06, 5.667261575581506e-06, 6.044116162229329e-06, 6.420970748877153e-06, 6.797825335524976e-06, 7.174680376920151e-06, 7.551534963567974e-06, 7.928390004963148e-06, 8.305244591610972e-06, 8.682099178258795e-06, 9.058953764906619e-06, 9.435808351554442e-06, 9.812662938202266e-06, 1.0189517524850089e-05, 1.0566373020992614e-05, 1.0943227607640438e-05, 1.1320082194288261e-05, 1.1696936780936085e-05, 1.2073791367583908e-05]}, "gradients/bert.encoder.layer.9.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 2.0, 3.0, 3.0, 2.0, 9.0, 8.0, 10.0, 14.0, 18.0, 29.0, 43.0, 56.0, 99.0, 183.0, 231.0, 417.0, 666.0, 1380.0, 2653.0, 5581.0, 13819.0, 37991.0, 117958.0, 359909.0, 340065.0, 108485.0, 35132.0, 13014.0, 5245.0, 2428.0, 1217.0, 682.0, 416.0, 268.0, 166.0, 110.0, 72.0, 61.0, 37.0, 29.0, 16.0, 13.0, 8.0, 12.0, 5.0, 2.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-1.3805368325847667e-05, -1.3431900697469246e-05, -1.3058433978585526e-05, -1.2684966350207105e-05, -1.2311498721828684e-05, -1.1938032002944965e-05, -1.1564564374566544e-05, -1.1191097655682825e-05, -1.0817630027304403e-05, -1.0444162398925982e-05, -1.0070695680042263e-05, -9.697228051663842e-06, -9.323761332780123e-06, -8.950293704401702e-06, -8.57682607602328e-06, -8.20335844764486e-06, -7.82989172876114e-06, -7.45642455513007e-06, -7.082957381499e-06, -6.709489753120579e-06, -6.336022579489509e-06, -5.9625554058584385e-06, -5.589087777480017e-06, -5.215620603848947e-06, -4.842153430217877e-06, -4.468686256586807e-06, -4.095219082955737e-06, -3.7217514545773156e-06, -3.3482842809462454e-06, -2.9748171073151752e-06, -2.6013497063104296e-06, -2.227882305305684e-06, -1.8544151316746138e-06, -1.480947844356706e-06, -1.107480557038798e-06, -7.340132697208901e-07, -3.605459824029822e-07, 1.2921304914925713e-08, 3.863885922328336e-07, 7.598559932375792e-07, 1.1333231668686494e-06, 1.5067904541865573e-06, 1.8802577415044652e-06, 2.253725142509211e-06, 2.627192316140281e-06, 3.0006594897713512e-06, 3.374126890776097e-06, 3.7475942917808425e-06, 4.121061465411913e-06, 4.494528639042983e-06, 4.867995812674053e-06, 5.241463441052474e-06, 5.614930614683544e-06, 5.9883977883146144e-06, 6.3618654166930355e-06, 6.735332590324106e-06, 7.108799763955176e-06, 7.482266937586246e-06, 7.855734111217316e-06, 8.229201739595737e-06, 8.602668458479457e-06, 8.976136086857878e-06, 9.349603715236299e-06, 9.72307134361472e-06, 1.0096538062498439e-05]}, "gradients/bert.encoder.layer.9.attention.self.value.bias": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 3.0, 1.0, 6.0, 12.0, 10.0, 19.0, 18.0, 18.0, 23.0, 35.0, 49.0, 40.0, 46.0, 47.0, 57.0, 76.0, 68.0, 75.0, 56.0, 58.0, 56.0, 51.0, 50.0, 34.0, 31.0, 19.0, 16.0, 13.0, 13.0, 5.0, 2.0, 0.0, 1.0, 1.0, 3.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.914571819535922e-06, -9.440647772862576e-06, -8.966724635683931e-06, -8.492800589010585e-06, -8.018876542337239e-06, -7.544953405158594e-06, -7.071029358485248e-06, -6.5971057665592525e-06, -6.123182174633257e-06, -5.649258582707262e-06, -5.175334990781266e-06, -4.70141094410792e-06, -4.2274873521819245e-06, -3.753563760255929e-06, -3.2796399409562582e-06, -2.8057161216565873e-06, -2.331792529730592e-06, -1.8578688241177588e-06, -1.3839451185049256e-06, -9.100214128920925e-07, -4.3609770727925934e-07, 3.7825884646736085e-08, 5.11749703946407e-07, 9.856735232460778e-07, 1.4595971151720732e-06, 1.9335207070980687e-06, 2.4074445263977395e-06, 2.8813683456974104e-06, 3.355291937623406e-06, 3.829215529549401e-06, 4.3031395762227476e-06, 4.777063168148743e-06, 5.250985850580037e-06, 5.724909442506032e-06, 6.1988330344320275e-06, 6.672757081105374e-06, 7.146680673031369e-06, 7.620604264957365e-06, 8.094528311630711e-06, 8.568451448809355e-06, 9.042375495482702e-06, 9.516299542156048e-06, 9.990222679334693e-06, 1.0464146726008039e-05, 1.0938070772681385e-05, 1.141199390986003e-05, 1.1885917956533376e-05, 1.2359842003206722e-05, 1.2833765140385367e-05, 1.3307689187058713e-05, 1.3781612324237358e-05, 1.4255536370910704e-05, 1.4729459508089349e-05, 1.5203383554762695e-05, 1.567730760143604e-05, 1.6151230738614686e-05, 1.6625155694782734e-05, 1.709907883196138e-05, 1.7573003788129427e-05, 1.804692692530807e-05, 1.8520850062486716e-05, 1.8994775018654764e-05, 1.9468698155833408e-05, 1.9942621293012053e-05, 2.0416544430190697e-05]}, "gradients/bert.encoder.layer.9.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 2.0, 1.0, 0.0, 5.0, 1.0, 15.0, 23.0, 21.0, 33.0, 64.0, 90.0, 101.0, 129.0, 135.0, 196.0, 7933.0, 1038717.0, 389.0, 194.0, 112.0, 114.0, 75.0, 59.0, 43.0, 30.0, 20.0, 15.0, 13.0, 15.0, 10.0, 3.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00024772784672677517, -0.00024107749050017446, -0.00023442714882548898, -0.00022777679259888828, -0.0002211264509242028, -0.0002144760946976021, -0.0002078257384710014, -0.0002011753967963159, -0.0001945250405697152, -0.0001878746843431145, -0.00018122434266842902, -0.0001745739864418283, -0.0001679236302152276, -0.00016127328854054213, -0.00015462293231394142, -0.0001479725760873407, -0.00014132223441265523, -0.00013467187818605453, -0.00012802153651136905, -0.00012137118028476834, -0.00011472083133412525, -0.00010807048238348216, -0.00010142012615688145, -9.476977720623836e-05, -8.811942825559527e-05, -8.146907930495217e-05, -7.481873035430908e-05, -6.816837412770838e-05, -6.151802517706528e-05, -5.486767622642219e-05, -4.821732363780029e-05, -4.156697104917839e-05, -3.49166220985353e-05, -2.8266271328902803e-05, -2.1615920559270307e-05, -1.4965569789637811e-05, -8.315219020005316e-06, -1.6648700693622231e-06, 4.985482519259676e-06, 1.1635835107881576e-05, 1.8286184058524668e-05, 2.4936534828157164e-05, 3.158688559778966e-05, 3.823723818641156e-05, 4.488758713705465e-05, 5.1537936087697744e-05, 5.8188288676319644e-05, 6.483864126494154e-05, 7.148899021558464e-05, 7.813933916622773e-05, 8.478968811687082e-05, 9.144004434347153e-05, 9.809039329411462e-05, 0.00010474074224475771, 0.00011139109847135842, 0.00011804144742200151, 0.0001246917963726446, 0.0001313421525992453, 0.0001379924942739308, 0.0001446428505005315, 0.0001512932067271322, 0.00015794354840181768, 0.00016459390462841839, 0.0001712442608550191, 0.00017789460252970457]}, "gradients/bert.encoder.layer.9.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 3.0, 0.0, 2.0, 2.0, 3.0, 5.0, 1.0, 7.0, 8.0, 21.0, 13.0, 42.0, 84.0, 211.0, 203.0, 187.0, 113.0, 47.0, 19.0, 5.0, 7.0, 6.0, 4.0, 4.0, 1.0, 3.0, 0.0, 1.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.105427357601002e-13, -6.855627177060342e-13, -6.605826996519681e-13, -6.356026815979021e-13, -6.106226635438361e-13, -5.856426454897701e-13, -5.606626274357041e-13, -5.35682609381638e-13, -5.10702591327572e-13, -4.85722573273506e-13, -4.6074255521944e-13, -4.3576253716537394e-13, -4.107825191113079e-13, -3.858025010572419e-13, -3.608224830031759e-13, -3.3584246494910985e-13, -3.1086244689504383e-13, -2.858824288409778e-13, -2.609024107869118e-13, -2.3592239273284576e-13, -2.1094237467877974e-13, -1.8596235662471372e-13, -1.609823385706477e-13, -1.3600232051658168e-13, -1.1102230246251565e-13, -8.604228440844963e-14, -6.106226635438361e-14, -3.608224830031759e-14, -1.1102230246251565e-14, 1.3877787807814457e-14, 3.885780586188048e-14, 6.38378239159465e-14, 8.881784197001252e-14, 1.1379786002407855e-13, 1.3877787807814457e-13, 1.637578961322106e-13, 1.887379141862766e-13, 2.1371793224034263e-13, 2.3869795029440866e-13, 2.636779683484747e-13, 2.886579864025407e-13, 3.136380044566067e-13, 3.3861802251067274e-13, 3.6359804056473877e-13, 3.885780586188048e-13, 4.135580766728708e-13, 4.3853809472693683e-13, 4.635181127810029e-13, 4.884981308350689e-13, 5.134781488891349e-13, 5.384581669432009e-13, 5.634381849972669e-13, 5.88418203051333e-13, 6.13398221105399e-13, 6.38378239159465e-13, 6.63358257213531e-13, 6.883382752675971e-13, 7.133182933216631e-13, 7.382983113757291e-13, 7.632783294297951e-13, 7.882583474838611e-13, 8.132383655379272e-13, 8.382183835919932e-13, 8.631984016460592e-13, 8.881784197001252e-13]}, "gradients/bert.encoder.layer.9.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 1.0, 7.0, 4.0, 11.0, 3.0, 16.0, 24.0, 45.0, 103.0, 246.0, 704.0, 3053.0, 27617.0, 877912.0, 130095.0, 6779.0, 1263.0, 354.0, 157.0, 68.0, 33.0, 20.0, 12.0, 10.0, 9.0, 4.0, 5.0, 2.0, 2.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 1.0, 1.0], "bins": [-2.688092899916228e-05, -2.6204072128166445e-05, -2.5527217076160014e-05, -2.485036020516418e-05, -2.4173503334168345e-05, -2.349664646317251e-05, -2.281979141116608e-05, -2.2142934540170245e-05, -2.146607766917441e-05, -2.0789220798178576e-05, -2.0112365746172145e-05, -1.943550887517631e-05, -1.8758652004180476e-05, -1.808179513318464e-05, -1.740494008117821e-05, -1.6728083210182376e-05, -1.6051228158175945e-05, -1.537437128718011e-05, -1.4697515325678978e-05, -1.4020659364177845e-05, -1.3343802493182011e-05, -1.2666946531680878e-05, -1.1990090570179746e-05, -1.1313233699183911e-05, -1.0636376828188077e-05, -9.959520866686944e-06, -9.28266399569111e-06, -8.605808034189977e-06, -7.928951163194142e-06, -7.25209520169301e-06, -6.575238785444526e-06, -5.898382369196042e-06, -5.221525498200208e-06, -4.544669081951724e-06, -3.867812665703241e-06, -3.1909564768284326e-06, -2.514100060579949e-06, -1.8372436443314655e-06, -1.1603874554566573e-06, -4.835310392081738e-07, 1.9332537704030983e-07, 8.701817364453746e-07, 1.5470380958504393e-06, 2.223894398412085e-06, 2.9007508146605687e-06, 3.5776072309090523e-06, 4.2544634197838604e-06, 4.931319836032344e-06, 5.608176252280828e-06, 6.285032668529311e-06, 6.961889084777795e-06, 7.638745046278927e-06, 8.315601917274762e-06, 8.992457878775895e-06, 9.669314749771729e-06, 1.0346170711272862e-05, 1.1023026672773995e-05, 1.1699882634275127e-05, 1.2376739505270962e-05, 1.3053595466772094e-05, 1.3730452337767929e-05, 1.4407308299269062e-05, 1.5084164260770194e-05, 1.576102113176603e-05, 1.6437878002761863e-05]}, "gradients/bert.encoder.layer.9.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 6.0, 3.0, 5.0, 10.0, 4.0, 9.0, 8.0, 11.0, 18.0, 31.0, 36.0, 57.0, 78.0, 83.0, 110.0, 117.0, 110.0, 91.0, 66.0, 47.0, 32.0, 20.0, 12.0, 10.0, 8.0, 4.0, 4.0, 5.0, 3.0, 2.0, 2.0, 4.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-2.8905062663397985e-06, -2.7944458906858927e-06, -2.6983857424056623e-06, -2.6023253667517565e-06, -2.506265218471526e-06, -2.4102048428176204e-06, -2.31414469453739e-06, -2.2180843188834842e-06, -2.1220239432295784e-06, -2.0259635675756726e-06, -1.9299034192954423e-06, -1.8338430436415365e-06, -1.7377827816744684e-06, -1.6417225197074004e-06, -1.5456622577403323e-06, -1.4496019957732642e-06, -1.3535417338061961e-06, -1.257481471839128e-06, -1.16142120987206e-06, -1.065360947904992e-06, -9.693005722510861e-07, -8.73240310284018e-07, -7.7718004831695e-07, -6.81119729506463e-07, -5.85059467539395e-07, -4.889992055723269e-07, -3.9293888676183997e-07, -2.968786247947719e-07, -2.008183344059944e-07, -1.0475804401721689e-07, -8.697782050148817e-09, 8.736253676033812e-08, 1.834227987274062e-07, 2.794830891161837e-07, 3.755433795049612e-07, 4.7160364147202927e-07, 5.676639602825162e-07, 6.637242222495843e-07, 7.597844842166523e-07, 8.558448030271393e-07, 9.519050649942074e-07, 1.0479653838046943e-06, 1.1440256457717624e-06, 1.2400859077388304e-06, 1.3361461697058985e-06, 1.4322065453598043e-06, 1.5282666936400346e-06, 1.6243270692939404e-06, 1.7203873312610085e-06, 1.8164475932280766e-06, 1.9125079688819824e-06, 2.0085681171622127e-06, 2.1046284928161185e-06, 2.2006888684700243e-06, 2.2967490167502547e-06, 2.3928093924041605e-06, 2.488869540684391e-06, 2.5849299163382966e-06, 2.680990064618527e-06, 2.7770504402724328e-06, 2.873110588552663e-06, 2.969170964206569e-06, 3.0652313398604747e-06, 3.161291488140705e-06, 3.257351863794611e-06]}, "gradients/bert.encoder.layer.9.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 2.0, 0.0, 1.0, 0.0, 3.0, 6.0, 3.0, 5.0, 12.0, 8.0, 14.0, 14.0, 24.0, 29.0, 57.0, 132.0, 320.0, 1103.0, 8274.0, 867160.0, 166617.0, 3537.0, 742.0, 239.0, 93.0, 55.0, 31.0, 20.0, 17.0, 7.0, 9.0, 6.0, 5.0, 5.0, 2.0, 5.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-3.343395655974746e-05, -3.234968608012423e-05, -3.1265411962522194e-05, -3.0181141482898965e-05, -2.9096869184286334e-05, -2.8012596885673702e-05, -2.6928326406050473e-05, -2.584405410743784e-05, -2.475978180882521e-05, -2.3675509510212578e-05, -2.2591237211599946e-05, -2.1506966731976718e-05, -2.0422694433364086e-05, -1.9338422134751454e-05, -1.8254151655128226e-05, -1.7169879356515594e-05, -1.6085607057902962e-05, -1.500133475929033e-05, -1.39170633701724e-05, -1.283279198105447e-05, -1.1748519682441838e-05, -1.0664247383829206e-05, -9.579975994711276e-06, -8.495704605593346e-06, -7.411432306980714e-06, -6.327160463115433e-06, -5.242888619250152e-06, -4.158616775384871e-06, -3.0743449315195903e-06, -1.9900730876543093e-06, -9.058012437890284e-07, 1.784706000762526e-07, 1.2627424439415336e-06, 2.3470142878068145e-06, 3.4312861316720955e-06, 4.5155579755373765e-06, 5.5998298194026574e-06, 6.684101663267938e-06, 7.76837350713322e-06, 8.85264489625115e-06, 9.936917194863781e-06, 1.1021189493476413e-05, 1.2105460882594343e-05, 1.3189732271712273e-05, 1.4274004570324905e-05, 1.5358276868937537e-05, 1.6442547348560765e-05, 1.7526819647173397e-05, 1.861109194578603e-05, 1.969536424439866e-05, 2.0779636543011293e-05, 2.186390702263452e-05, 2.2948179321247153e-05, 2.4032451619859785e-05, 2.5116722099483013e-05, 2.6200994398095645e-05, 2.7285266696708277e-05, 2.836953899532091e-05, 2.945381129393354e-05, 3.053808177355677e-05, 3.162235225318e-05, 3.270662637078203e-05, 3.379089685040526e-05, 3.4875170968007296e-05, 3.5959441447630525e-05]}, "gradients/bert.encoder.layer.8.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 16.0, 56.0, 416.0, 423.0, 98.0, 10.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.680243238108233e-06, -7.279162673512474e-06, -4.878082563664066e-06, -2.4770024538156576e-06, -7.592188921989873e-08, 2.32515867537586e-06, 4.726238330476917e-06, 7.127318895072676e-06, 9.528399459668435e-06, 1.1929480024264194e-05, 1.4330560588859953e-05, 1.673163933446631e-05, 1.9132719899062067e-05, 2.1533800463657826e-05, 2.3934881028253585e-05, 2.6335961592849344e-05, 2.8737042157445103e-05, 3.113812272204086e-05, 3.353920328663662e-05, 3.594028385123238e-05, 3.834136441582814e-05, 4.07424449804239e-05, 4.3143525545019656e-05, 4.5544606109615415e-05, 4.7945686674211174e-05, 5.034676723880693e-05, 5.274784780340269e-05, 5.514892836799845e-05, 5.755000893259421e-05, 5.995108949718997e-05, 6.235217006178573e-05, 6.475325062638149e-05, 6.715433119097725e-05, 6.9555411755573e-05, 7.195649232016876e-05, 7.435757288476452e-05, 7.675865344936028e-05, 7.915973401395604e-05, 8.15608145785518e-05, 8.396189514314756e-05, 8.636297570774332e-05, 8.876405627233908e-05, 9.116513683693483e-05, 9.35662174015306e-05, 9.596729796612635e-05, 9.836837853072211e-05, 0.00010076945909531787, 0.00010317053965991363, 0.00010557161294855177, 0.00010797269351314753, 0.00011037377407774329, 0.00011277485464233905, 0.00011517593520693481, 0.00011757701577153057, 0.00011997809633612633, 0.00012237917690072209, 0.00012478025746531785, 0.0001271813380299136, 0.00012958241859450936, 0.00013198349915910512, 0.00013438457972370088, 0.00013678566028829664, 0.0001391867408528924, 0.00014158782141748816, 0.00014398890198208392]}, "gradients/bert.encoder.layer.8.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 3.0, 1.0, 3.0, 9.0, 6.0, 5.0, 7.0, 9.0, 11.0, 13.0, 15.0, 21.0, 20.0, 24.0, 27.0, 29.0, 37.0, 33.0, 31.0, 41.0, 48.0, 52.0, 31.0, 48.0, 38.0, 37.0, 38.0, 39.0, 44.0, 35.0, 48.0, 29.0, 34.0, 23.0, 21.0, 25.0, 17.0, 14.0, 11.0, 8.0, 9.0, 4.0, 3.0, 5.0, 6.0, 3.0, 3.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0390756870037876e-05, -1.0024803486885503e-05, -9.658849194238428e-06, -9.292895811086055e-06, -8.92694151843898e-06, -8.560988135286607e-06, -8.195034752134234e-06, -7.829080459487159e-06, -7.463126621587435e-06, -7.097172783687711e-06, -6.731218945787987e-06, -6.365265107888263e-06, -5.99931172473589e-06, -5.633357432088815e-06, -5.2674040489364415e-06, -4.9014502110367175e-06, -4.5354963731369935e-06, -4.1695425352372695e-06, -3.8035886973375455e-06, -3.437635086811497e-06, -3.071681248911773e-06, -2.705727411012049e-06, -2.3397738004860003e-06, -1.9738199625862762e-06, -1.6078661246865522e-06, -1.2419122867868282e-06, -8.759585625739419e-07, -5.100048383610556e-07, -1.4405100046133157e-07, 2.2190283743839245e-07, 5.87856447964441e-07, 9.53810285864165e-07, 1.319764123763889e-06, 1.685717961663613e-06, 2.051671799563337e-06, 2.4176254100893857e-06, 2.7835792479891097e-06, 3.1495330858888337e-06, 3.5154866964148823e-06, 3.881440534314606e-06, 4.24739437221433e-06, 4.613348210114054e-06, 4.979302048013778e-06, 5.3452558859135024e-06, 5.7112092690658756e-06, 6.0771635617129505e-06, 6.443116944865324e-06, 6.809070782765048e-06, 7.175024620664772e-06, 7.540978458564496e-06, 7.90693229646422e-06, 8.272885679616593e-06, 8.638839972263668e-06, 9.004793355416041e-06, 9.370747648063116e-06, 9.736701031215489e-06, 1.0102654414367862e-05, 1.0468607797520235e-05, 1.083456209016731e-05, 1.1200515473319683e-05, 1.1566469765966758e-05, 1.1932423149119131e-05, 1.2298376532271504e-05, 1.266433082491858e-05, 1.3030285117565654e-05]}, "gradients/bert.encoder.layer.8.output.dense.bias": {"_type": "histogram", "values": [2.0, 1.0, 3.0, 0.0, 3.0, 2.0, 3.0, 6.0, 8.0, 6.0, 7.0, 6.0, 8.0, 13.0, 15.0, 31.0, 28.0, 28.0, 25.0, 38.0, 38.0, 42.0, 39.0, 49.0, 56.0, 48.0, 48.0, 47.0, 46.0, 46.0, 56.0, 37.0, 30.0, 31.0, 32.0, 24.0, 21.0, 23.0, 16.0, 18.0, 9.0, 5.0, 7.0, 4.0, 4.0, 4.0, 2.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.438269221893279e-06, -7.154340892157052e-06, -6.8704125624208245e-06, -6.586484232684597e-06, -6.302555448201019e-06, -6.018627118464792e-06, -5.734698788728565e-06, -5.450770004244987e-06, -5.166842129256111e-06, -4.8829137995198835e-06, -4.598985469783656e-06, -4.315056685300078e-06, -4.031128355563851e-06, -3.747200025827624e-06, -3.4632716960913967e-06, -3.179343138981494e-06, -2.8954145818715915e-06, -2.6114862521353643e-06, -2.3275576950254617e-06, -2.0436293652892346e-06, -1.7597009218661697e-06, -1.4757724784431048e-06, -1.1918441487068776e-06, -9.07915591596975e-07, -6.239872618607478e-07, -3.4005884685939236e-07, -5.61304318580369e-08, 2.2779795472160913e-07, 5.11726398144674e-07, 7.956548415677389e-07, 1.079583171303966e-06, 1.3635117284138687e-06, 1.647439603402745e-06, 1.931367933138972e-06, 2.2152964902488748e-06, 2.499224819985102e-06, 2.7831533770950045e-06, 3.0670817068312317e-06, 3.351010036567459e-06, 3.6349385936773615e-06, 3.918867150787264e-06, 4.202795480523491e-06, 4.4867238102597184e-06, 4.7706525947432965e-06, 5.054580924479524e-06, 5.338509254215751e-06, 5.622437583951978e-06, 5.906365913688205e-06, 6.190294243424432e-06, 6.4742225731606595e-06, 6.758150902896887e-06, 7.042079232633114e-06, 7.326008017116692e-06, 7.609936346852919e-06, 7.893864676589146e-06, 8.177793461072724e-06, 8.4617213360616e-06, 8.745650120545179e-06, 9.029577995534055e-06, 9.313506780017633e-06, 9.59743465500651e-06, 9.881363439490087e-06, 1.0165291314478964e-05, 1.0449220098962542e-05, 1.073314888344612e-05]}, "gradients/bert.encoder.layer.8.output.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 4.0, 1.0, 3.0, 4.0, 12.0, 9.0, 15.0, 30.0, 46.0, 54.0, 92.0, 130.0, 204.0, 266.0, 484.0, 823.0, 1466.0, 2998.0, 6326.0, 16811.0, 63494.0, 503947.0, 2600229.0, 863545.0, 97282.0, 21409.0, 7587.0, 3319.0, 1594.0, 838.0, 506.0, 261.0, 176.0, 122.0, 69.0, 45.0, 35.0, 16.0, 11.0, 10.0, 5.0, 6.0, 5.0, 2.0, 1.0, 4.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.869082532532047e-06, -9.48377692111535e-06, -9.098471309698652e-06, -8.713166607776657e-06, -8.32786099635996e-06, -7.942555384943262e-06, -7.557249773526564e-06, -7.171944162109867e-06, -6.78663900544052e-06, -6.401333394023823e-06, -6.016028237354476e-06, -5.6307226259377785e-06, -5.245417014521081e-06, -4.860111857851734e-06, -4.474806246435037e-06, -4.08950108976569e-06, -3.7041954783489928e-06, -3.3188900943059707e-06, -2.9335847102629486e-06, -2.548279098846251e-06, -2.162973714803229e-06, -1.777668330760207e-06, -1.3923627193435095e-06, -1.0070573353004875e-06, -6.217519512574654e-07, -2.364465103710245e-07, 1.4885893051541643e-07, 5.341644282452762e-07, 9.194698122882983e-07, 1.3047751963313203e-06, 1.6900808077480178e-06, 2.07538619179104e-06, 2.460691575834062e-06, 2.845996959877084e-06, 3.231302343920106e-06, 3.6166079553368036e-06, 4.00191311200615e-06, 4.387218723422848e-06, 4.772524334839545e-06, 5.157829946256243e-06, 5.543135102925589e-06, 5.928440714342287e-06, 6.3137458710116334e-06, 6.699051482428331e-06, 7.0843570938450284e-06, 7.469662250514375e-06, 7.854967407183722e-06, 8.24027301860042e-06, 8.625578630017117e-06, 9.010884241433814e-06, 9.396189852850512e-06, 9.78149546426721e-06, 1.0166800166189205e-05, 1.0552105777605902e-05, 1.09374113890226e-05, 1.1322717000439297e-05, 1.1708021702361293e-05, 1.209332731377799e-05, 1.2478632925194688e-05, 1.2863938536611386e-05, 1.3249243238533381e-05, 1.3634548849950079e-05, 1.4019854461366776e-05, 1.4405160072783474e-05, 1.4790465684200171e-05]}, "gradients/bert.encoder.layer.8.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 3.0, 1.0, 0.0, 0.0, 1.0, 3.0, 1.0, 1.0, 4.0, 3.0, 8.0, 3.0, 15.0, 13.0, 15.0, 36.0, 35.0, 73.0, 114.0, 211.0, 489.0, 840.0, 922.0, 562.0, 319.0, 156.0, 82.0, 65.0, 33.0, 21.0, 17.0, 11.0, 11.0, 4.0, 4.0, 5.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0], "bins": [-5.787740974483313e-06, -5.623436209134525e-06, -5.459131443785736e-06, -5.294826678436948e-06, -5.13052191308816e-06, -4.96621669299202e-06, -4.801911927643232e-06, -4.637607162294444e-06, -4.473302396945655e-06, -4.308997631596867e-06, -4.144692866248079e-06, -3.98038810089929e-06, -3.816083335550502e-06, -3.651778342828038e-06, -3.48747357747925e-06, -3.323168584756786e-06, -3.158864046781673e-06, -2.9945592814328847e-06, -2.8302545160840964e-06, -2.6659495233616326e-06, -2.5016447580128442e-06, -2.337339992664056e-06, -2.1730352273152675e-06, -2.008730461966479e-06, -1.8444255829308531e-06, -1.6801208175820648e-06, -1.5158159385464387e-06, -1.3515111731976504e-06, -1.187206407848862e-06, -1.022901528813236e-06, -8.585967634644476e-07, -6.942918844288215e-07, -5.299871190800332e-07, -3.6568229688782594e-07, -2.0137750311732816e-07, -3.707270934683038e-08, 1.2723211284537683e-07, 2.9153693503758404e-07, 4.558417003863724e-07, 6.201465794219985e-07, 7.844513447707868e-07, 9.48756166962994e-07, 1.1130609891552012e-06, 1.2773657545039896e-06, 1.441670519852778e-06, 1.605975398888404e-06, 1.7702801642371924e-06, 1.9345850432728184e-06, 2.098889808621607e-06, 2.263194573970395e-06, 2.4274993393191835e-06, 2.5918043320416473e-06, 2.7561090973904356e-06, 2.920413862739224e-06, 3.0847186280880123e-06, 3.2490233934368007e-06, 3.413328158785589e-06, 3.5776329241343774e-06, 3.7419376894831657e-06, 3.906242454831954e-06, 4.0705472201807424e-06, 4.234851985529531e-06, 4.399156750878319e-06, 4.563461970974458e-06, 4.727766736323247e-06]}, "gradients/bert.encoder.layer.8.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 3.0, 4.0, 7.0, 8.0, 8.0, 33.0, 72.0, 142.0, 387.0, 2738.0, 4187161.0, 3029.0, 419.0, 155.0, 56.0, 36.0, 16.0, 5.0, 8.0, 2.0, 1.0, 3.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00014972794451750815, -0.00014242908218875527, -0.0001351302198600024, -0.00012783135753124952, -0.00012053250247845426, -0.00011323364014970139, -0.00010593477782094851, -9.863592276815325e-05, -9.133706043940037e-05, -8.40381981106475e-05, -7.673933578189462e-05, -6.944047345314175e-05, -6.214161840034649e-05, -5.484275607159361e-05, -4.754389374284074e-05, -4.024503505206667e-05, -3.2946169085334986e-05, -2.5647308575571515e-05, -1.8348448065808043e-05, -1.1049585737055168e-05, -3.7507252272916958e-06, 3.548135282471776e-06, 1.0846997611224651e-05, 1.814585630199872e-05, 2.5444718630751595e-05, 3.274358095950447e-05, 4.004243965027854e-05, 4.7341301979031414e-05, 5.464016430778429e-05, 6.193901936057955e-05, 6.923788168933243e-05, 7.65367440180853e-05, 8.383560634683818e-05, 9.113446867559105e-05, 9.843333100434393e-05, 0.0001057321933330968, 0.00011303104838589206, 0.00012032991071464494, 0.0001276287657674402, 0.00013492762809619308, 0.00014222649042494595, 0.00014952535275369883, 0.0001568242150824517, 0.00016412307741120458, 0.00017142193973995745, 0.00017872080206871033, 0.0001860196643974632, 0.00019331851217430085, 0.00020061738905496895, 0.00020791625138372183, 0.0002152151137124747, 0.00022251397604122758, 0.00022981283836998045, 0.00023711170069873333, 0.0002444105630274862, 0.0002517094253562391, 0.0002590082585811615, 0.0002663071209099144, 0.00027360598323866725, 0.0002809048455674201, 0.000288203707896173, 0.0002955025702249259, 0.00030280143255367875, 0.0003101002948824316, 0.0003173991572111845]}, "gradients/bert.encoder.layer.8.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 1.0, 3.0, 3.0, 6.0, 6.0, 6.0, 10.0, 13.0, 14.0, 22.0, 36.0, 36.0, 31.0, 47.0, 59.0, 70.0, 87.0, 82.0, 78.0, 74.0, 65.0, 39.0, 42.0, 41.0, 27.0, 20.0, 27.0, 16.0, 7.0, 9.0, 10.0, 8.0, 3.0, 5.0, 1.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.668172424426302e-06, -9.380538358527701e-06, -9.0929042926291e-06, -8.8052702267305e-06, -8.517636160831898e-06, -8.230001185438596e-06, -7.942367119539995e-06, -7.654733053641394e-06, -7.367098987742793e-06, -7.079464921844192e-06, -6.791830855945591e-06, -6.504196335299639e-06, -6.216562269401038e-06, -5.928928203502437e-06, -5.641293682856485e-06, -5.353659616957884e-06, -5.066025551059283e-06, -4.778391485160682e-06, -4.490757419262081e-06, -4.2031228986161295e-06, -3.9154888327175286e-06, -3.6278547668189276e-06, -3.340220473546651e-06, -3.0525861802743748e-06, -2.764952114375774e-06, -2.477318048477173e-06, -2.1896837552048964e-06, -1.9020495756194578e-06, -1.614415396034019e-06, -1.3267812164485804e-06, -1.0391470368631417e-06, -7.515127435908653e-07, -4.638795871869661e-07, -1.762454076015274e-07, 1.1138877198391128e-07, 3.9902295156934997e-07, 6.866571311547887e-07, 9.742913107402273e-07, 1.261925490325666e-06, 1.5495597835979424e-06, 1.8371938494965434e-06, 2.1248279153951444e-06, 2.4124622086674208e-06, 2.700096501939697e-06, 2.987730567838298e-06, 3.275364633736899e-06, 3.5629989270091755e-06, 3.850633220281452e-06, 4.138267286180053e-06, 4.425901352078654e-06, 4.713535417977255e-06, 5.001169938623207e-06, 5.288804004521808e-06, 5.576438070420409e-06, 5.8640725910663605e-06, 6.1517066569649614e-06, 6.439340722863562e-06, 6.726974788762163e-06, 7.014608854660764e-06, 7.302243375306716e-06, 7.589877441205317e-06, 7.877511961851269e-06, 8.16514602774987e-06, 8.452780093648471e-06, 8.740414159547072e-06]}, "gradients/bert.encoder.layer.8.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 2.0, 3.0, 2.0, 6.0, 3.0, 3.0, 4.0, 8.0, 10.0, 11.0, 14.0, 15.0, 21.0, 21.0, 30.0, 19.0, 28.0, 39.0, 40.0, 44.0, 30.0, 47.0, 48.0, 64.0, 41.0, 55.0, 54.0, 40.0, 41.0, 24.0, 33.0, 37.0, 33.0, 20.0, 16.0, 17.0, 14.0, 16.0, 13.0, 10.0, 9.0, 10.0, 7.0, 3.0, 2.0, 3.0, 1.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.957870366226416e-06, -7.674492735532112e-06, -7.3911160143325105e-06, -7.107738838385558e-06, -6.824361662438605e-06, -6.540984486491652e-06, -6.2576073105446994e-06, -5.974230134597747e-06, -5.690852958650794e-06, -5.407475782703841e-06, -5.124098606756888e-06, -4.8407214308099356e-06, -4.557344254862983e-06, -4.27396707891603e-06, -3.990589902969077e-06, -3.7072127270221245e-06, -3.4238355510751717e-06, -3.140458375128219e-06, -2.857081199181266e-06, -2.5737040232343134e-06, -2.2903268472873606e-06, -2.006949671340408e-06, -1.723572495393455e-06, -1.4401953194465023e-06, -1.1568181434995495e-06, -8.734409675525967e-07, -5.900637916056439e-07, -3.0668661565869115e-07, -2.3309439711738378e-08, 2.600677362352144e-07, 5.434449121821672e-07, 8.2682208812912e-07, 1.1101992640760727e-06, 1.3935764400230255e-06, 1.6769536159699783e-06, 1.960330791916931e-06, 2.243707967863884e-06, 2.5270851438108366e-06, 2.8104623197577894e-06, 3.093839495704742e-06, 3.377216671651695e-06, 3.6605938475986477e-06, 3.9439710235456005e-06, 4.227348199492553e-06, 4.510725375439506e-06, 4.794102551386459e-06, 5.0774797273334116e-06, 5.360856903280364e-06, 5.644234079227317e-06, 5.92761125517427e-06, 6.210988431121223e-06, 6.4943656070681754e-06, 6.777742783015128e-06, 7.061119958962081e-06, 7.344497134909034e-06, 7.6278743108559866e-06, 7.91125148680294e-06, 8.194629117497243e-06, 8.478005838696845e-06, 8.761382559896447e-06, 9.04476019059075e-06, 9.328137821285054e-06, 9.611514542484656e-06, 9.894891263684258e-06, 1.0178268894378562e-05]}, "gradients/bert.encoder.layer.8.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 1.0, 2.0, 3.0, 3.0, 10.0, 7.0, 12.0, 6.0, 11.0, 11.0, 28.0, 22.0, 28.0, 29.0, 31.0, 49.0, 44.0, 31.0, 52.0, 54.0, 56.0, 50.0, 49.0, 73.0, 38.0, 45.0, 43.0, 34.0, 28.0, 31.0, 25.0, 23.0, 18.0, 18.0, 8.0, 6.0, 7.0, 11.0, 6.0, 4.0, 2.0, 2.0, 3.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0635004400683101e-05, -1.0272271538269706e-05, -9.909539585351013e-06, -9.546806722937617e-06, -9.184073860524222e-06, -8.821341907605529e-06, -8.458609045192134e-06, -8.095876182778738e-06, -7.733144229860045e-06, -7.370411822194001e-06, -7.0076789597806055e-06, -6.644946552114561e-06, -6.282213689701166e-06, -5.919481282035122e-06, -5.556748874369077e-06, -5.194016011955682e-06, -4.831283149542287e-06, -4.468550741876243e-06, -4.1058178794628475e-06, -3.743085471796803e-06, -3.3803528367570834e-06, -3.0176202017173637e-06, -2.6548877940513194e-06, -2.2921551590115996e-06, -1.92942252397188e-06, -1.56668988893216e-06, -1.203957367579278e-06, -8.41224846226396e-07, -4.784922111866763e-07, -1.1575957614695653e-07, 2.469728315190878e-07, 6.097054665588075e-07, 9.72439011093229e-07, 1.3351716461329488e-06, 1.6979041674858308e-06, 2.060636688838713e-06, 2.4233693238784326e-06, 2.7861019589181524e-06, 3.1488343665841967e-06, 3.5115670016239164e-06, 3.874299636663636e-06, 4.2370320443296805e-06, 4.599764906743076e-06, 4.96249731440912e-06, 5.325229722075164e-06, 5.6879625844885595e-06, 6.050694992154604e-06, 6.413427399820648e-06, 6.776160262234043e-06, 7.138892669900088e-06, 7.501625532313483e-06, 7.864357939979527e-06, 8.227090802392922e-06, 8.589822755311616e-06, 8.952555617725011e-06, 9.315288480138406e-06, 9.6780204330571e-06, 1.0040753295470495e-05, 1.0403485248389188e-05, 1.0766218110802583e-05, 1.1128950973215979e-05, 1.1491683835629374e-05, 1.1854415788548067e-05, 1.2217148650961462e-05, 1.2579881513374858e-05]}, "gradients/bert.encoder.layer.8.attention.output.dense.weight": {"_type": "histogram", "values": [2.0, 1.0, 0.0, 2.0, 1.0, 3.0, 3.0, 5.0, 4.0, 10.0, 12.0, 13.0, 25.0, 35.0, 66.0, 96.0, 153.0, 230.0, 360.0, 645.0, 1051.0, 2078.0, 3884.0, 7611.0, 16368.0, 37963.0, 93853.0, 238794.0, 343804.0, 178679.0, 68762.0, 28364.0, 12592.0, 5988.0, 3109.0, 1619.0, 966.0, 529.0, 319.0, 200.0, 118.0, 82.0, 47.0, 45.0, 21.0, 26.0, 10.0, 12.0, 5.0, 3.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.043231678631855e-06, -5.829949714097893e-06, -5.6166677495639306e-06, -5.403385785029968e-06, -5.190103820496006e-06, -4.976821855962044e-06, -4.763540346175432e-06, -4.55025838164147e-06, -4.336976417107508e-06, -4.123694452573545e-06, -3.910412488039583e-06, -3.6971305235056207e-06, -3.4838485589716583e-06, -3.270566594437696e-06, -3.057284857277409e-06, -2.844002892743447e-06, -2.630720700835809e-06, -2.417438736301847e-06, -2.2041567717678845e-06, -1.990874807233922e-06, -1.7775929563867976e-06, -1.5643109918528353e-06, -1.3510291410057107e-06, -1.1377471764717484e-06, -9.244652119377861e-07, -7.111832474038238e-07, -4.979013397132803e-07, -2.8461943202273687e-07, -7.133746748877456e-08, 1.4194449704518775e-07, 3.5522634789231233e-07, 5.685083124262746e-07, 7.81790276960237e-07, 9.950722414941993e-07, 1.2083542060281616e-06, 1.4216360568752862e-06, 1.6349180214092485e-06, 1.8481999859432108e-06, 2.0614818367903354e-06, 2.2747638013242977e-06, 2.48804576585826e-06, 2.7013277303922223e-06, 2.9146096949261846e-06, 3.1278914320864715e-06, 3.3411733966204338e-06, 3.554455361154396e-06, 3.7677373256883584e-06, 3.981019290222321e-06, 4.194301254756283e-06, 4.407583219290245e-06, 4.620865183824208e-06, 4.83414714835817e-06, 5.047429112892132e-06, 5.2607110774260946e-06, 5.473993041960057e-06, 5.687275006494019e-06, 5.9005569710279815e-06, 6.113838935561944e-06, 6.327120900095906e-06, 6.540402864629868e-06, 6.753684829163831e-06, 6.966966793697793e-06, 7.180248758231755e-06, 7.393530722765718e-06, 7.606812232552329e-06]}, "gradients/bert.encoder.layer.8.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 3.0, 4.0, 3.0, 4.0, 2.0, 10.0, 15.0, 12.0, 15.0, 13.0, 25.0, 35.0, 21.0, 32.0, 44.0, 40.0, 40.0, 30.0, 44.0, 50.0, 51.0, 52.0, 66.0, 47.0, 38.0, 48.0, 43.0, 28.0, 33.0, 28.0, 22.0, 24.0, 18.0, 19.0, 7.0, 12.0, 10.0, 4.0, 7.0, 4.0, 3.0, 4.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.310043085657526e-06, -8.009049452084582e-06, -7.70805672800634e-06, -7.407063094433397e-06, -7.1060699156078044e-06, -6.805076736782212e-06, -6.504083557956619e-06, -6.2030903791310266e-06, -5.902096745558083e-06, -5.6011035667324904e-06, -5.300110387906898e-06, -4.999116754333954e-06, -4.698123575508362e-06, -4.397130396682769e-06, -4.0961372178571764e-06, -3.7951438116579084e-06, -3.494150860205991e-06, -3.1931576813803986e-06, -2.8921642751811305e-06, -2.591171096355538e-06, -2.29017769015627e-06, -1.989184511330677e-06, -1.6881913325050846e-06, -1.3871979263058165e-06, -1.0862047474802239e-06, -7.852114549677935e-07, -4.842182192987821e-07, -1.8322498362977058e-07, 1.1776830888265977e-07, 4.187616013950901e-07, 7.197547802206827e-07, 1.0207481864199508e-06, 1.3217413652455434e-06, 1.6227346577579738e-06, 1.923727950270404e-06, 2.2247211290959967e-06, 2.525714535295265e-06, 2.8267077141208574e-06, 3.12770089294645e-06, 3.428694299145718e-06, 3.7296874779713107e-06, 4.030680884170579e-06, 4.331674062996171e-06, 4.632667241821764e-06, 4.933660420647357e-06, 5.2346540542203e-06, 5.535646778298542e-06, 5.836640411871485e-06, 6.137633590697078e-06, 6.438626769522671e-06, 6.739619948348263e-06, 7.040613127173856e-06, 7.341606760746799e-06, 7.642600394319743e-06, 7.943593118397985e-06, 8.244586751970928e-06, 8.54557947604917e-06, 8.846573109622113e-06, 9.147565833700355e-06, 9.448559467273299e-06, 9.74955219135154e-06, 1.0050545824924484e-05, 1.0351539458497427e-05, 1.0652532182575669e-05, 1.0953525816148613e-05]}, "gradients/bert.encoder.layer.8.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 2.0, 5.0, 6.0, 4.0, 10.0, 12.0, 19.0, 18.0, 16.0, 35.0, 37.0, 44.0, 53.0, 63.0, 78.0, 88.0, 87.0, 114.0, 157.0, 279.0, 463748.0, 582527.0, 325.0, 147.0, 100.0, 92.0, 80.0, 69.0, 77.0, 58.0, 35.0, 39.0, 32.0, 27.0, 11.0, 16.0, 18.0, 9.0, 7.0, 7.0, 4.0, 2.0, 2.0, 3.0, 1.0, 2.0, 1.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.0001428585237590596, -0.0001386578514939174, -0.0001344571792287752, -0.000130256506963633, -0.00012605582014657557, -0.00012185515515739098, -0.00011765447561629117, -0.00011345380335114896, -0.00010925313108600676, -0.00010505245882086456, -0.00010085178655572236, -9.665110701462254e-05, -9.245043474948034e-05, -8.824976248433813e-05, -8.404908294323832e-05, -7.984841067809612e-05, -7.564773841295391e-05, -7.144706614781171e-05, -6.724639388266951e-05, -6.304571434156969e-05, -5.884504207642749e-05, -5.464436981128529e-05, -5.044369390816428e-05, -4.624301800504327e-05, -4.2042345739901066e-05, -3.7841673474758863e-05, -3.3640997571637854e-05, -2.9440323487506248e-05, -2.5239649403374642e-05, -2.1038975319243036e-05, -1.683830123511143e-05, -1.2637627150979824e-05, -8.436967618763447e-06, -4.236293534631841e-06, -3.561945050023496e-08, 4.165054633631371e-06, 8.365728717762977e-06, 1.2566402801894583e-05, 1.676707688602619e-05, 2.0967750970157795e-05, 2.51684250542894e-05, 2.9369099138421007e-05, 3.356977322255261e-05, 3.777044912567362e-05, 4.1971121390815824e-05, 4.617179365595803e-05, 5.0372469559079036e-05, 5.4573145462200046e-05, 5.877381772734225e-05, 6.297448999248445e-05, 6.717516225762665e-05, 7.137584179872647e-05, 7.557651406386867e-05, 7.977718632901087e-05, 8.397786587011069e-05, 8.817853813525289e-05, 9.23792104003951e-05, 9.65798826655373e-05, 0.0001007805549306795, 0.00010498123447177932, 0.00010918190673692152, 0.00011338257900206372, 0.00011758325854316354, 0.00012178393080830574, 0.00012598460307344794]}, "gradients/bert.encoder.layer.8.attention.self.key.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 4.0, 0.0, 0.0, 1.0, 1.0, 4.0, 8.0, 1.0, 3.0, 17.0, 6.0, 11.0, 36.0, 46.0, 23.0, 103.0, 109.0, 85.0, 138.0, 125.0, 53.0, 98.0, 35.0, 15.0, 39.0, 10.0, 4.0, 15.0, 5.0, 10.0, 1.0, 1.0, 6.0, 0.0, 0.0, 4.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-2.2737367544323206e-13, -2.1760371282653068e-13, -2.078337502098293e-13, -1.9806378759312793e-13, -1.8829382497642655e-13, -1.7852386235972517e-13, -1.687538997430238e-13, -1.5898393712632242e-13, -1.4921397450962104e-13, -1.3944401189291966e-13, -1.2967404927621828e-13, -1.199040866595169e-13, -1.1013412404281553e-13, -1.0036416142611415e-13, -9.059419880941277e-14, -8.08242361927114e-14, -7.105427357601002e-14, -6.128431095930864e-14, -5.1514348342607263e-14, -4.1744385725905886e-14, -3.197442310920451e-14, -2.220446049250313e-14, -1.2434497875801753e-14, -2.6645352591003757e-15, 7.105427357601002e-15, 1.687538997430238e-14, 2.6645352591003757e-14, 3.6415315207705135e-14, 4.618527782440651e-14, 5.595524044110789e-14, 6.572520305780927e-14, 7.549516567451064e-14, 8.526512829121202e-14, 9.50350909079134e-14, 1.0480505352461478e-13, 1.1457501614131615e-13, 1.2434497875801753e-13, 1.341149413747189e-13, 1.438849039914203e-13, 1.5365486660812167e-13, 1.6342482922482304e-13, 1.7319479184152442e-13, 1.829647544582258e-13, 1.9273471707492718e-13, 2.0250467969162855e-13, 2.1227464230832993e-13, 2.220446049250313e-13, 2.318145675417327e-13, 2.4158453015843406e-13, 2.5135449277513544e-13, 2.611244553918368e-13, 2.708944180085382e-13, 2.8066438062523957e-13, 2.9043434324194095e-13, 3.0020430585864233e-13, 3.099742684753437e-13, 3.197442310920451e-13, 3.2951419370874646e-13, 3.3928415632544784e-13, 3.490541189421492e-13, 3.588240815588506e-13, 3.6859404417555197e-13, 3.7836400679225335e-13, 3.8813396940895473e-13, 3.979039320256561e-13]}, "gradients/bert.encoder.layer.8.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 1.0, 1.0, 2.0, 3.0, 7.0, 9.0, 17.0, 20.0, 27.0, 55.0, 102.0, 352.0, 2054.0, 52587.0, 971313.0, 20388.0, 1192.0, 235.0, 91.0, 38.0, 20.0, 12.0, 7.0, 15.0, 7.0, 1.0, 3.0, 4.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.442115353711415e-05, -1.3853015843778849e-05, -1.3284878150443546e-05, -1.2716740457108244e-05, -1.2148602763772942e-05, -1.158046507043764e-05, -1.1012327377102338e-05, -1.0444189683767036e-05, -9.876051990431733e-06, -9.307914297096431e-06, -8.739776603761129e-06, -8.171638910425827e-06, -7.603501217090525e-06, -7.0353635237552226e-06, -6.46722583041992e-06, -5.899088137084618e-06, -5.330950443749316e-06, -4.762812750414014e-06, -4.194675057078712e-06, -3.6265373637434095e-06, -3.0583996704081073e-06, -2.490261977072805e-06, -1.922124283737503e-06, -1.3539865904022008e-06, -7.858488970668986e-07, -2.1771120373159647e-07, 3.504264896037057e-07, 9.185641829390079e-07, 1.48670187627431e-06, 2.0548395696096122e-06, 2.6229772629449144e-06, 3.1911149562802166e-06, 3.7592544686049223e-06, 4.3273921619402245e-06, 4.895529855275527e-06, 5.463667548610829e-06, 6.031805241946131e-06, 6.599942935281433e-06, 7.168080628616735e-06, 7.736218321952038e-06, 8.30435601528734e-06, 8.872493708622642e-06, 9.440631401957944e-06, 1.0008769095293246e-05, 1.0576906788628548e-05, 1.114504448196385e-05, 1.1713182175299153e-05, 1.2281319868634455e-05, 1.2849457561969757e-05, 1.341759525530506e-05, 1.3985732948640361e-05, 1.4553870641975664e-05, 1.5122008335310966e-05, 1.5690146028646268e-05, 1.625828372198157e-05, 1.6826421415316872e-05, 1.7394559108652174e-05, 1.7962696801987477e-05, 1.853083449532278e-05, 1.909897218865808e-05, 1.9667109881993383e-05, 2.0235247575328685e-05, 2.0803385268663988e-05, 2.137152296199929e-05, 2.1939660655334592e-05]}, "gradients/bert.encoder.layer.8.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 2.0, 5.0, 5.0, 4.0, 7.0, 13.0, 22.0, 21.0, 35.0, 64.0, 101.0, 155.0, 166.0, 166.0, 99.0, 55.0, 32.0, 20.0, 11.0, 11.0, 5.0, 3.0, 4.0, 3.0, 0.0, 3.0, 0.0, 2.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.7941800908592995e-06, -2.7213473003939725e-06, -2.6485145099286456e-06, -2.5756817194633186e-06, -2.5028489289979916e-06, -2.4300161385326646e-06, -2.3571833480673376e-06, -2.2843505576020107e-06, -2.2115177671366837e-06, -2.1386849766713567e-06, -2.0658521862060297e-06, -1.9930193957407027e-06, -1.9201866052753758e-06, -1.8473538148100488e-06, -1.7745211380315595e-06, -1.7016883475662326e-06, -1.6288556707877433e-06, -1.5560228803224163e-06, -1.4831900898570893e-06, -1.4103572993917624e-06, -1.3375245089264354e-06, -1.2646917184611084e-06, -1.1918590416826191e-06, -1.1190262512172922e-06, -1.0461934607519652e-06, -9.733606702866382e-07, -9.005278798213112e-07, -8.276951461994031e-07, -7.548623557340761e-07, -6.820295652687491e-07, -6.09196831646841e-07, -5.36364041181514e-07, -4.635313644030248e-07, -3.906985739376978e-07, -3.1786581189408025e-07, -2.450330498504627e-07, -1.7220025938513572e-07, -9.936746891980874e-08, -2.6534706876191194e-08, 4.6298055167426355e-08, 1.1913084563275333e-07, 1.919636218872256e-07, 2.6479639814169786e-07, 3.376291601853154e-07, 4.104619506506424e-07, 4.832947411159694e-07, 5.561274747378775e-07, 6.289602652032045e-07, 7.017930556685315e-07, 7.746258461338584e-07, 8.474586365991854e-07, 9.202913702210935e-07, 9.931241038430016e-07, 1.0659568943083286e-06, 1.1387896847736556e-06, 1.2116224752389826e-06, 1.2844552657043096e-06, 1.3572880561696365e-06, 1.4301208466349635e-06, 1.5029536371002905e-06, 1.5757864275656175e-06, 1.6486192180309445e-06, 1.7214518948094337e-06, 1.7942846852747607e-06, 1.8671174757400877e-06]}, "gradients/bert.encoder.layer.8.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 1.0, 5.0, 5.0, 7.0, 4.0, 16.0, 28.0, 30.0, 68.0, 202.0, 842.0, 19271.0, 1012227.0, 14734.0, 759.0, 194.0, 77.0, 32.0, 21.0, 9.0, 10.0, 8.0, 2.0, 2.0, 3.0, 3.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0], "bins": [-3.39218822773546e-05, -3.30401562678162e-05, -3.2158430258277804e-05, -3.12767006107606e-05, -3.0394976420211606e-05, -2.9513248591683805e-05, -2.8631522582145408e-05, -2.774979657260701e-05, -2.686806874407921e-05, -2.5986342734540813e-05, -2.5104614906013012e-05, -2.4222888896474615e-05, -2.3341162886936218e-05, -2.2459435058408417e-05, -2.157770904887002e-05, -2.069598122034222e-05, -1.981425521080382e-05, -1.8932529201265424e-05, -1.8050801372737624e-05, -1.7169075363199227e-05, -1.628734935366083e-05, -1.540562152513303e-05, -1.4523895515594631e-05, -1.3642168596561532e-05, -1.2760443496517837e-05, -1.1878716577484738e-05, -1.0996990567946341e-05, -1.0115263648913242e-05, -9.233536729880143e-06, -8.351809810847044e-06, -7.470083801308647e-06, -6.588356882275548e-06, -5.706629963242449e-06, -4.824903498956701e-06, -3.943176579923602e-06, -3.0614501156378537e-06, -2.1797234239784302e-06, -1.2979967323190067e-06, -4.162702680332586e-07, 4.6545665099984035e-07, 1.3471831152855884e-06, 2.228909806945012e-06, 3.1106364986044355e-06, 3.9923629628901836e-06, 4.874089427175932e-06, 5.755816346209031e-06, 6.637542810494779e-06, 7.519269729527878e-06, 8.400996193813626e-06, 9.282723112846725e-06, 1.0164449122385122e-05, 1.1046176041418221e-05, 1.192790296045132e-05, 1.2809628969989717e-05, 1.3691355889022816e-05, 1.4573082808055915e-05, 1.5454808817594312e-05, 1.633653482713271e-05, 1.721826265566051e-05, 1.8099988665198907e-05, 1.8981714674737304e-05, 1.9863442503265105e-05, 2.0745168512803502e-05, 2.1626896341331303e-05, 2.25086223508697e-05]}, "gradients/bert.encoder.layer.7.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 9.0, 37.0, 194.0, 456.0, 250.0, 59.0, 13.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001007268438115716, -9.881134610623121e-05, -9.689584840089083e-05, -9.498035069555044e-05, -9.306485299021006e-05, -9.114935528486967e-05, -8.923385757952929e-05, -8.73183598741889e-05, -8.540286216884851e-05, -8.348736446350813e-05, -8.157186675816774e-05, -7.965636905282736e-05, -7.774087134748697e-05, -7.582537364214659e-05, -7.39098759368062e-05, -7.199437823146582e-05, -7.007888052612543e-05, -6.816338282078505e-05, -6.624788511544466e-05, -6.433238741010427e-05, -6.241688970476389e-05, -6.0501391999423504e-05, -5.858589429408312e-05, -5.667039658874273e-05, -5.475489888340235e-05, -5.283940117806196e-05, -5.092390347272158e-05, -4.900840576738119e-05, -4.7092908062040806e-05, -4.517741035670042e-05, -4.3261912651360035e-05, -4.134641494601965e-05, -3.943090996472165e-05, -3.7515412259381264e-05, -3.559991455404088e-05, -3.3684416848700494e-05, -3.176891914336011e-05, -2.9853421438019723e-05, -2.7937923732679337e-05, -2.6022426027338952e-05, -2.4106928321998566e-05, -2.219143061665818e-05, -2.0275932911317796e-05, -1.836043520597741e-05, -1.6444937500637025e-05, -1.452943979529664e-05, -1.2613942089956254e-05, -1.0698444384615868e-05, -8.782946679275483e-06, -6.8674489739350975e-06, -4.951951268594712e-06, -3.0364535632543266e-06, -1.1209558579139411e-06, 7.945418474264443e-07, 2.7100395527668297e-06, 4.625537258107215e-06, 6.541034963447601e-06, 8.456532668787986e-06, 1.0372030374128371e-05, 1.2287528079468757e-05, 1.4203025784809142e-05, 1.6118523490149528e-05, 1.8034021195489913e-05, 1.99495189008303e-05, 2.1865016606170684e-05]}, "gradients/bert.encoder.layer.7.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 3.0, 2.0, 2.0, 6.0, 6.0, 5.0, 9.0, 7.0, 9.0, 13.0, 20.0, 11.0, 15.0, 16.0, 23.0, 16.0, 42.0, 29.0, 20.0, 36.0, 37.0, 39.0, 40.0, 36.0, 49.0, 33.0, 45.0, 47.0, 29.0, 35.0, 35.0, 33.0, 41.0, 34.0, 26.0, 17.0, 13.0, 22.0, 12.0, 16.0, 21.0, 11.0, 9.0, 11.0, 6.0, 9.0, 1.0, 3.0, 3.0, 2.0, 2.0, 3.0, 3.0, 1.0, 2.0, 0.0, 3.0], "bins": [-1.0018483408202883e-05, -9.719898116600234e-06, -9.421312824997585e-06, -9.122727533394936e-06, -8.824142241792288e-06, -8.525556950189639e-06, -8.22697165858699e-06, -7.928387276479043e-06, -7.629801984876394e-06, -7.3312166932737455e-06, -7.032631401671097e-06, -6.734046110068448e-06, -6.435460818465799e-06, -6.13687552686315e-06, -5.838290690007852e-06, -5.539705398405204e-06, -5.241119652055204e-06, -4.942534360452555e-06, -4.643949068849906e-06, -4.3453637772472575e-06, -4.046778485644609e-06, -3.7481934214156354e-06, -3.449608357186662e-06, -3.1510230655840132e-06, -2.8524377739813644e-06, -2.5538524823787156e-06, -2.255267190776067e-06, -1.9566821265470935e-06, -1.6580968349444447e-06, -1.359511543341796e-06, -1.0609263654259848e-06, -7.623411875101738e-07, -4.6375589590752497e-07, -1.6517066114829504e-07, 1.334145736109349e-07, 4.3199980837016483e-07, 7.305850431293948e-07, 1.0291703347320436e-06, 1.3277555126478546e-06, 1.6263406905636657e-06, 1.9249259821663145e-06, 2.2235112737689633e-06, 2.522096565371612e-06, 2.8206816296005854e-06, 3.1192669212032342e-06, 3.417852212805883e-06, 3.7164372770348564e-06, 4.015022568637505e-06, 4.313607860240154e-06, 4.612193151842803e-06, 4.9107784434454516e-06, 5.2093637350481e-06, 5.507949026650749e-06, 5.806534318253398e-06, 6.105119155108696e-06, 6.403704446711345e-06, 6.7022897383139934e-06, 7.000875029916642e-06, 7.299460321519291e-06, 7.59804561312194e-06, 7.896630449977238e-06, 8.195215741579887e-06, 8.493801033182535e-06, 8.792386324785184e-06, 9.090971616387833e-06]}, "gradients/bert.encoder.layer.7.output.dense.bias": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 2.0, 4.0, 1.0, 3.0, 3.0, 5.0, 6.0, 3.0, 8.0, 10.0, 13.0, 17.0, 22.0, 15.0, 21.0, 19.0, 29.0, 30.0, 36.0, 35.0, 26.0, 46.0, 38.0, 41.0, 42.0, 41.0, 29.0, 44.0, 47.0, 40.0, 38.0, 33.0, 38.0, 28.0, 34.0, 16.0, 13.0, 26.0, 17.0, 16.0, 15.0, 15.0, 12.0, 5.0, 5.0, 8.0, 4.0, 4.0, 3.0, 4.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-6.523875526909251e-06, -6.29823125564144e-06, -6.072586984373629e-06, -5.846942713105818e-06, -5.621298441838007e-06, -5.395653715822846e-06, -5.170009899302386e-06, -4.944365173287224e-06, -4.718720902019413e-06, -4.493076630751602e-06, -4.2674323594837915e-06, -4.041788088215981e-06, -3.81614381694817e-06, -3.5904993183066836e-06, -3.3648550470388727e-06, -3.1392105483973864e-06, -2.913566504503251e-06, -2.6879222332354402e-06, -2.4622779619676294e-06, -2.236633463326143e-06, -2.0109891920583323e-06, -1.7853449207905214e-06, -1.5597006495227106e-06, -1.334056264568062e-06, -1.1084119933002512e-06, -8.827676651890215e-07, -6.571233370777918e-07, -4.3147906580998097e-07, -2.0583473769875127e-07, 1.9809590412478428e-08, 2.4545386168028926e-07, 4.710982466349378e-07, 6.967425179027487e-07, 9.223868460139784e-07, 1.148031174125208e-06, 1.3736754453930189e-06, 1.5993198303476674e-06, 1.8249641016154783e-06, 2.050608372883289e-06, 2.2762528715247754e-06, 2.5018971427925862e-06, 2.727541414060397e-06, 2.953185685328208e-06, 3.1788299565960187e-06, 3.404474455237505e-06, 3.630118726505316e-06, 3.855762770399451e-06, 4.081407496414613e-06, 4.307051312935073e-06, 4.532695584202884e-06, 4.758339855470695e-06, 4.9839841267385054e-06, 5.209628398006316e-06, 5.435273124021478e-06, 5.660916940541938e-06, 5.8865616665571e-06, 6.1122059378249105e-06, 6.337850209092721e-06, 6.563494480360532e-06, 6.789138751628343e-06, 7.014783022896154e-06, 7.240427294163965e-06, 7.466072020179126e-06, 7.691715836699586e-06, 7.917360562714748e-06]}, "gradients/bert.encoder.layer.7.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 3.0, 1.0, 5.0, 3.0, 5.0, 6.0, 16.0, 13.0, 21.0, 43.0, 65.0, 110.0, 169.0, 307.0, 532.0, 1036.0, 2424.0, 6312.0, 21758.0, 150778.0, 2276011.0, 1607566.0, 101314.0, 16626.0, 5248.0, 1981.0, 902.0, 443.0, 232.0, 127.0, 77.0, 62.0, 32.0, 22.0, 14.0, 10.0, 9.0, 2.0, 5.0, 2.0, 1.0, 2.0, 1.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.127708765125135e-05, -1.0805585588968825e-05, -1.0334082617191598e-05, -9.862580554909073e-06, -9.391078492626548e-06, -8.919575520849321e-06, -8.448073458566796e-06, -7.97657048678957e-06, -7.505068424507044e-06, -7.033565907477168e-06, -6.5620633904472925e-06, -6.0905613281647675e-06, -5.619058811134892e-06, -5.147556294105016e-06, -4.676054231822491e-06, -4.204551714792615e-06, -3.733049197762739e-06, -3.261546680732863e-06, -2.7900443910766626e-06, -2.318542101420462e-06, -1.8470395843905862e-06, -1.3755370673607104e-06, -9.040347777045099e-07, -4.3253248804830946e-07, 3.897002898156643e-08, 5.104724323246046e-07, 9.819748356676428e-07, 1.453477239010681e-06, 1.924979642353719e-06, 2.396482159383595e-06, 2.8679844490397954e-06, 3.339486738695996e-06, 3.81098834623117e-06, 4.282490863261046e-06, 4.753993380290922e-06, 5.225495442573447e-06, 5.696997959603323e-06, 6.1685004766331986e-06, 6.6400025389157236e-06, 7.1115050559455995e-06, 7.583007572975475e-06, 8.054509635258e-06, 8.526012607035227e-06, 8.997514669317752e-06, 9.469016731600277e-06, 9.940519703377504e-06, 1.0412021765660029e-05, 1.0883524737437256e-05, 1.135502679971978e-05, 1.1826528862002306e-05, 1.2298031833779532e-05, 1.2769533896062057e-05, 1.3241036867839284e-05, 1.371253893012181e-05, 1.4184040992404334e-05, 1.465554305468686e-05, 1.5127046026464086e-05, 1.5598548998241313e-05, 1.6070051060523838e-05, 1.6541553122806363e-05, 1.7013055185088888e-05, 1.7484559066360816e-05, 1.795606112864334e-05, 1.8427563190925866e-05, 1.889906525320839e-05]}, "gradients/bert.encoder.layer.7.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 3.0, 0.0, 1.0, 1.0, 3.0, 1.0, 7.0, 0.0, 11.0, 13.0, 17.0, 25.0, 34.0, 43.0, 93.0, 166.0, 380.0, 740.0, 1017.0, 714.0, 348.0, 182.0, 101.0, 62.0, 35.0, 24.0, 19.0, 15.0, 7.0, 5.0, 5.0, 3.0, 3.0, 3.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-4.350437393441098e-06, -4.1797879930527415e-06, -4.009139047411736e-06, -3.83848964702338e-06, -3.6678402466350235e-06, -3.4971910736203426e-06, -3.326541900605662e-06, -3.1558925002173055e-06, -2.9852433272026246e-06, -2.8145941541879438e-06, -2.6439447537995875e-06, -2.4732955807849066e-06, -2.3026464077702258e-06, -2.1319970073818695e-06, -1.9613478343671886e-06, -1.79069854766567e-06, -1.6200492609641515e-06, -1.449399974262633e-06, -1.2787506875611143e-06, -1.1081015145464335e-06, -9.374522278449149e-07, -7.668029411433963e-07, -5.961537681287155e-07, -4.255044814271969e-07, -2.548551947256783e-07, -8.420593644586916e-08, 8.644332183393999e-08, 2.570925516920397e-07, 4.277418383935583e-07, 5.983911250950769e-07, 7.690402981097577e-07, 9.396895848112763e-07, 1.1103393262601458e-06, 1.2809886129616643e-06, 1.451637899663183e-06, 1.6222870726778638e-06, 1.7929363593793823e-06, 1.963585646080901e-06, 2.1342348190955818e-06, 2.304884219483938e-06, 2.475533392498619e-06, 2.6461825655132998e-06, 2.816831965901656e-06, 2.987481138916337e-06, 3.1581303119310178e-06, 3.328779712319374e-06, 3.499428885334055e-06, 3.670078058348736e-06, 3.840727458737092e-06, 4.011376859125448e-06, 4.182025804766454e-06, 4.35267520515481e-06, 4.523324605543166e-06, 4.693974005931523e-06, 4.864622951572528e-06, 5.035272351960884e-06, 5.20592129760189e-06, 5.376570697990246e-06, 5.5472196436312515e-06, 5.717869044019608e-06, 5.888518444407964e-06, 6.0591673900489695e-06, 6.229816790437326e-06, 6.400466190825682e-06, 6.5711155912140384e-06]}, "gradients/bert.encoder.layer.7.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0, 3.0, 3.0, 1.0, 2.0, 3.0, 5.0, 8.0, 5.0, 10.0, 19.0, 19.0, 26.0, 52.0, 51.0, 124.0, 264.0, 698.0, 4798.0, 4150349.0, 35919.0, 1119.0, 380.0, 174.0, 87.0, 62.0, 32.0, 23.0, 16.0, 7.0, 9.0, 4.0, 5.0, 4.0, 1.0, 3.0, 1.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0], "bins": [-0.00011238238948863, -0.00010832541738636792, -0.00010426845256006345, -0.00010021148045780137, -9.61545156314969e-05, -9.209754352923483e-05, -8.804057142697275e-05, -8.398360660066828e-05, -7.992664177436382e-05, -7.586966967210174e-05, -7.181270484579727e-05, -6.775573274353519e-05, -6.369876791723073e-05, -5.9641795814968646e-05, -5.558482735068537e-05, -5.15278588864021e-05, -4.747088678414002e-05, -4.341391831985675e-05, -3.9356949855573475e-05, -3.5299977753311396e-05, -3.124301292700693e-05, -2.7186042643734254e-05, -2.3129072360461578e-05, -1.9072103896178305e-05, -1.5015135431895033e-05, -1.095816696761176e-05, -6.9011975938337855e-06, -2.844228220055811e-06, 1.2127402442274615e-06, 5.269708708510734e-06, 9.32667899178341e-06, 1.3383647456066683e-05, 1.7440615920349956e-05, 2.1497584384633228e-05, 2.55545528489165e-05, 2.9611523132189177e-05, 3.3668489777483046e-05, 3.7725461879745126e-05, 4.17824303440284e-05, 4.583939880831167e-05, 4.9896367272594944e-05, 5.3953335736878216e-05, 5.801030420116149e-05, 6.206727266544476e-05, 6.612424476770684e-05, 7.01812095940113e-05, 7.423818169627339e-05, 7.829515379853547e-05, 8.235211862483993e-05, 8.640909072710201e-05, 9.046605555340648e-05, 9.452302765566856e-05, 9.857999248197302e-05, 0.0001026369645842351, 0.00010669392941053957, 0.00011075090151280165, 0.00011480787361506373, 0.0001188648457173258, 0.00012292181781958789, 0.00012697877536993474, 0.00013103574747219682, 0.0001350927195744589, 0.00013914969167672098, 0.00014320664922706783, 0.0001472636213293299]}, "gradients/bert.encoder.layer.7.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 4.0, 1.0, 3.0, 2.0, 4.0, 4.0, 1.0, 2.0, 9.0, 4.0, 9.0, 13.0, 16.0, 13.0, 14.0, 29.0, 19.0, 33.0, 41.0, 57.0, 61.0, 59.0, 51.0, 66.0, 68.0, 63.0, 53.0, 55.0, 46.0, 41.0, 33.0, 28.0, 21.0, 14.0, 12.0, 19.0, 14.0, 6.0, 2.0, 8.0, 6.0, 3.0, 3.0, 3.0, 3.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-8.974204320111312e-06, -8.728446118766442e-06, -8.482687917421572e-06, -8.236928806582e-06, -7.99117060523713e-06, -7.74541240389226e-06, -7.49965420254739e-06, -7.25389600120252e-06, -7.008137345110299e-06, -6.762379143765429e-06, -6.516620487673208e-06, -6.270862286328338e-06, -6.025104084983468e-06, -5.779345428891247e-06, -5.533587227546377e-06, -5.287828571454156e-06, -5.042070370109286e-06, -4.796312168764416e-06, -4.550553512672195e-06, -4.304795311327325e-06, -4.059036655235104e-06, -3.8132784538902342e-06, -3.567520252545364e-06, -3.3217618238268187e-06, -3.0760033951082733e-06, -2.8302449663897278e-06, -2.5844865376711823e-06, -2.3387283363263123e-06, -2.092969907607767e-06, -1.8472114788892213e-06, -1.6014531638575136e-06, -1.3556948488258058e-06, -1.1099355106125586e-06, -8.64177138737432e-07, -6.184187668623053e-07, -3.7266039498717873e-07, -1.2690202311205212e-07, 1.1885640560649335e-07, 3.646147206382011e-07, 6.103730356699089e-07, 8.561314643884543e-07, 1.1018898931069998e-06, 1.3476482081387076e-06, 1.5934065231704153e-06, 1.8391649518889608e-06, 2.0849233806075063e-06, 2.3306815819523763e-06, 2.5764400106709218e-06, 2.8221984393894672e-06, 3.0679568681080127e-06, 3.313715296826558e-06, 3.5594734981714282e-06, 3.8052319268899737e-06, 4.050990355608519e-06, 4.296748556953389e-06, 4.542506758298259e-06, 4.78826541439048e-06, 5.03402361573535e-06, 5.279782271827571e-06, 5.525540473172441e-06, 5.771298674517311e-06, 6.017057330609532e-06, 6.262815531954402e-06, 6.508574188046623e-06, 6.754332389391493e-06]}, "gradients/bert.encoder.layer.7.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 2.0, 2.0, 0.0, 1.0, 2.0, 3.0, 4.0, 6.0, 2.0, 5.0, 5.0, 9.0, 5.0, 10.0, 12.0, 12.0, 11.0, 21.0, 22.0, 26.0, 23.0, 28.0, 37.0, 36.0, 50.0, 47.0, 38.0, 34.0, 44.0, 41.0, 39.0, 32.0, 36.0, 45.0, 37.0, 39.0, 19.0, 26.0, 30.0, 23.0, 17.0, 18.0, 22.0, 21.0, 13.0, 11.0, 8.0, 11.0, 8.0, 3.0, 4.0, 3.0, 3.0, 2.0, 1.0, 2.0, 3.0, 3.0, 1.0, 3.0, 1.0, 0.0, 1.0], "bins": [-7.4095969466725364e-06, -7.16759041097248e-06, -6.925583875272423e-06, -6.683577339572366e-06, -6.441570349124959e-06, -6.199563813424902e-06, -5.957557277724845e-06, -5.715550742024789e-06, -5.473543751577381e-06, -5.231537215877324e-06, -4.989530680177268e-06, -4.747524144477211e-06, -4.505517154029803e-06, -4.263510618329747e-06, -4.02150408262969e-06, -3.7794975469296332e-06, -3.5374910112295765e-06, -3.29548447552952e-06, -3.0534777124557877e-06, -2.811471176755731e-06, -2.569464413681999e-06, -2.327457877981942e-06, -2.0854513422818854e-06, -1.843444692894991e-06, -1.6014380435080966e-06, -1.3594313941212022e-06, -1.1174247447343078e-06, -8.75418209034251e-07, -6.334115596473566e-07, -3.914049102604622e-07, -1.493983745604055e-07, 9.260827482648892e-08, 3.3461492421338335e-07, 5.766215736002778e-07, 8.186281661437533e-07, 1.060634758687229e-06, 1.3026414080741233e-06, 1.5446480574610177e-06, 1.7866545931610744e-06, 2.028661128861131e-06, 2.2706678919348633e-06, 2.51267442763492e-06, 2.754681190708652e-06, 2.996687726408709e-06, 3.2386942621087655e-06, 3.4807010251824977e-06, 3.7227075608825544e-06, 3.9647143239562865e-06, 4.206720859656343e-06, 4.4487273953564e-06, 4.690733931056457e-06, 4.932740921503864e-06, 5.174747457203921e-06, 5.416753992903978e-06, 5.658760528604034e-06, 5.900767064304091e-06, 6.142773600004148e-06, 6.3847801357042044e-06, 6.626786671404261e-06, 6.868793207104318e-06, 7.1108001975517254e-06, 7.352806733251782e-06, 7.594813268951839e-06, 7.836820259399246e-06, 8.078826795099303e-06]}, "gradients/bert.encoder.layer.7.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 2.0, 0.0, 2.0, 6.0, 3.0, 3.0, 3.0, 4.0, 3.0, 12.0, 7.0, 12.0, 10.0, 15.0, 13.0, 24.0, 13.0, 27.0, 26.0, 29.0, 25.0, 36.0, 40.0, 39.0, 46.0, 41.0, 47.0, 47.0, 45.0, 47.0, 34.0, 35.0, 37.0, 34.0, 27.0, 33.0, 33.0, 20.0, 21.0, 10.0, 24.0, 12.0, 14.0, 11.0, 9.0, 5.0, 4.0, 6.0, 2.0, 2.0, 5.0, 2.0, 2.0, 4.0, 4.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-9.611358109395951e-06, -9.308666449214797e-06, -9.005974789033644e-06, -8.70328312885249e-06, -8.400591468671337e-06, -8.097900717984885e-06, -7.795209057803731e-06, -7.492517397622578e-06, -7.189825737441424e-06, -6.887134077260271e-06, -6.584442417079117e-06, -6.2817512116453145e-06, -5.979059551464161e-06, -5.676367891283007e-06, -5.373676685849205e-06, -5.070985025668051e-06, -4.7682933654868975e-06, -4.465601705305744e-06, -4.16291004512459e-06, -3.860218839690788e-06, -3.557527179509634e-06, -3.2548355193284806e-06, -2.9521440865210025e-06, -2.6494526537135243e-06, -2.3467609935323708e-06, -2.044069333351217e-06, -1.741377900543739e-06, -1.4386863540494232e-06, -1.1359948075551074e-06, -8.333032610607916e-07, -5.306117145664757e-07, -2.279202817589976e-07, 7.477137842215598e-08, 3.774629249164718e-07, 6.801544714107877e-07, 9.828460179051035e-07, 1.2855375643994194e-06, 1.5882291108937352e-06, 1.890920657388051e-06, 2.193612090195529e-06, 2.4963037503766827e-06, 2.7989954105578363e-06, 3.1016868433653144e-06, 3.4043782761727925e-06, 3.707069936353946e-06, 4.0097615965351e-06, 4.312452801968902e-06, 4.615144462150056e-06, 4.9178361223312095e-06, 5.220527782512363e-06, 5.523219442693517e-06, 5.825910648127319e-06, 6.128602308308473e-06, 6.431293968489626e-06, 6.733985173923429e-06, 7.036676834104583e-06, 7.339368494285736e-06, 7.64206015446689e-06, 7.944751814648043e-06, 8.247443474829197e-06, 8.550134225515649e-06, 8.852825885696802e-06, 9.155517545877956e-06, 9.45820920605911e-06, 9.760900866240263e-06]}, "gradients/bert.encoder.layer.7.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 1.0, 2.0, 3.0, 5.0, 5.0, 12.0, 11.0, 24.0, 33.0, 36.0, 59.0, 93.0, 158.0, 269.0, 388.0, 663.0, 1248.0, 2257.0, 4393.0, 9164.0, 19561.0, 46263.0, 117647.0, 282057.0, 318611.0, 144450.0, 56080.0, 23543.0, 10457.0, 5030.0, 2643.0, 1414.0, 821.0, 440.0, 274.0, 161.0, 108.0, 59.0, 35.0, 26.0, 21.0, 14.0, 9.0, 8.0, 5.0, 3.0, 5.0, 1.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.794538421672769e-06, -6.56110796626308e-06, -6.327677510853391e-06, -6.094247510191053e-06, -5.860817054781364e-06, -5.627386599371675e-06, -5.3939561439619865e-06, -5.160525688552298e-06, -4.92709568788996e-06, -4.693665232480271e-06, -4.460234777070582e-06, -4.226804776408244e-06, -3.993374320998555e-06, -3.759943865588866e-06, -3.5265134101791773e-06, -3.293083182143164e-06, -3.059652726733475e-06, -2.826222271323786e-06, -2.5927920432877727e-06, -2.359361587878084e-06, -2.1259313598420704e-06, -1.8925009044323815e-06, -1.6590705627095303e-06, -1.4256402209866792e-06, -1.192209879263828e-06, -9.587795375409769e-07, -7.253491958181257e-07, -4.919187972518557e-07, -2.5848845552900457e-07, -2.5058056962734554e-08, 2.083722847601166e-07, 4.4180262648296775e-07, 6.752329682058189e-07, 9.086633099286701e-07, 1.1420936516515212e-06, 1.37552410706121e-06, 1.6089543350972235e-06, 1.8423847905069124e-06, 2.0758152459166013e-06, 2.3092454739526147e-06, 2.542675701988628e-06, 2.776106157398317e-06, 3.0095363854343304e-06, 3.2429668408440193e-06, 3.4763970688800327e-06, 3.7098275242897216e-06, 3.9432579796994105e-06, 4.1766879803617485e-06, 4.410118890518788e-06, 4.643549345928477e-06, 4.876979801338166e-06, 5.110409802000504e-06, 5.343840257410193e-06, 5.577270712819882e-06, 5.810701168229571e-06, 6.0441316236392595e-06, 6.2775616243015975e-06, 6.510992079711286e-06, 6.744422535120975e-06, 6.977852535783313e-06, 7.211282991193002e-06, 7.444713446602691e-06, 7.678143447265029e-06, 7.911574357422069e-06, 8.145004358084407e-06]}, "gradients/bert.encoder.layer.7.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 2.0, 3.0, 3.0, 4.0, 1.0, 6.0, 8.0, 7.0, 7.0, 9.0, 11.0, 9.0, 22.0, 26.0, 32.0, 45.0, 39.0, 41.0, 47.0, 59.0, 50.0, 34.0, 56.0, 49.0, 62.0, 38.0, 56.0, 42.0, 34.0, 41.0, 41.0, 22.0, 23.0, 29.0, 9.0, 13.0, 9.0, 8.0, 6.0, 3.0, 3.0, 1.0, 3.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.725000952836126e-06, -8.397656529268716e-06, -8.070311196206603e-06, -7.742966772639193e-06, -7.415622349071782e-06, -7.088277470757021e-06, -6.760932592442259e-06, -6.433588168874849e-06, -6.106243290560087e-06, -5.778898412245326e-06, -5.451553988677915e-06, -5.124209110363154e-06, -4.796864232048392e-06, -4.469519808480982e-06, -4.14217493016622e-06, -3.814830051851459e-06, -3.4874856282840483e-06, -3.1601409773429623e-06, -2.8327963264018763e-06, -2.505451448087115e-06, -2.178106797146029e-06, -1.8507621462049428e-06, -1.5234172678901814e-06, -1.1960726169490954e-06, -8.687279660080094e-07, -5.413832582235045e-07, -2.1403855043899966e-07, 1.1330621418892406e-07, 4.4065086513001006e-07, 7.679955160710961e-07, 1.0953403943858575e-06, 1.4226850453269435e-06, 1.7500287867733277e-06, 2.0773734377144137e-06, 2.4047180886554997e-06, 2.732062966970261e-06, 3.059407617911347e-06, 3.386752268852433e-06, 3.7140971471671946e-06, 4.041441570734605e-06, 4.368786449049367e-06, 4.696131327364128e-06, 5.023475750931539e-06, 5.3508206292463e-06, 5.6781655075610615e-06, 6.005509931128472e-06, 6.3328548094432335e-06, 6.660199687757995e-06, 6.9875441113254055e-06, 7.314888989640167e-06, 7.642233867954928e-06, 7.969578291522339e-06, 8.29692271508975e-06, 8.62426713865716e-06, 8.951612471719272e-06, 9.278956895286683e-06, 9.606301318854094e-06, 9.933645742421504e-06, 1.0260991075483616e-05, 1.0588335499051027e-05, 1.0915679922618438e-05, 1.1243024346185848e-05, 1.157036967924796e-05, 1.1897714102815371e-05, 1.2225059435877483e-05]}, "gradients/bert.encoder.layer.7.attention.self.value.weight": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 2.0, 2.0, 3.0, 5.0, 5.0, 4.0, 9.0, 13.0, 11.0, 19.0, 11.0, 23.0, 30.0, 41.0, 50.0, 63.0, 66.0, 93.0, 91.0, 101.0, 125.0, 189.0, 1205.0, 1043890.0, 1555.0, 197.0, 121.0, 91.0, 99.0, 71.0, 80.0, 77.0, 47.0, 32.0, 37.0, 26.0, 17.0, 16.0, 16.0, 7.0, 8.0, 5.0, 4.0, 5.0, 0.0, 1.0, 0.0, 2.0, 2.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001154022102127783, -0.00011120872659375891, -0.00010701524297473952, -0.00010282175207976252, -9.862826846074313e-05, -9.443478484172374e-05, -9.024130122270435e-05, -8.604781760368496e-05, -8.185433398466557e-05, -7.766085036564618e-05, -7.34673667466268e-05, -6.92738831276074e-05, -6.50803922326304e-05, -6.088690861361101e-05, -5.6693424994591624e-05, -5.2499941375572234e-05, -4.830645048059523e-05, -4.411296686157584e-05, -3.9919479604577646e-05, -3.5725995985558257e-05, -3.153250872856006e-05, -2.733902510954067e-05, -2.3145541490521282e-05, -1.895205605251249e-05, -1.4758570614503697e-05, -1.0565085176494904e-05, -6.371600647980813e-06, -2.178116119466722e-06, 2.0153693185420707e-06, 6.208854756550863e-06, 1.0402338375570253e-05, 1.4595823813579045e-05, 1.8789316527545452e-05, 2.2982801965554245e-05, 2.7176287403563038e-05, 3.136977102258243e-05, 3.556325827958062e-05, 3.975674189860001e-05, 4.39502255176194e-05, 4.814370913663879e-05, 5.233719639363699e-05, 5.6530680012656376e-05, 6.072416726965457e-05, 6.491765088867396e-05, 6.911113450769335e-05, 7.330461812671274e-05, 7.749810174573213e-05, 8.169159264070913e-05, 8.588507625972852e-05, 9.007855987874791e-05, 9.42720434977673e-05, 9.84655343927443e-05, 0.00010265901801176369, 0.00010685250163078308, 0.00011104598524980247, 0.00011523946886882186, 0.00011943295248784125, 0.00012362643610686064, 0.00012781991972588003, 0.00013201340334489942, 0.0001362068869639188, 0.0001404003705829382, 0.00014459385420195758, 0.0001487873523728922, 0.0001529808359919116]}, "gradients/bert.encoder.layer.7.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 1.0, 7.0, 3.0, 8.0, 0.0, 12.0, 9.0, 15.0, 14.0, 33.0, 38.0, 96.0, 65.0, 129.0, 144.0, 128.0, 57.0, 94.0, 41.0, 46.0, 8.0, 15.0, 11.0, 8.0, 1.0, 6.0, 4.0, 4.0, 2.0, 6.0, 4.0, 0.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.126388037344441e-13, -3.019806626980426e-13, -2.913225216616411e-13, -2.8066438062523957e-13, -2.7000623958883807e-13, -2.5934809855243657e-13, -2.4868995751603507e-13, -2.3803181647963356e-13, -2.2737367544323206e-13, -2.1671553440683056e-13, -2.0605739337042905e-13, -1.9539925233402755e-13, -1.8474111129762605e-13, -1.7408297026122455e-13, -1.6342482922482304e-13, -1.5276668818842154e-13, -1.4210854715202004e-13, -1.3145040611561853e-13, -1.2079226507921703e-13, -1.1013412404281553e-13, -9.947598300641403e-14, -8.881784197001252e-14, -7.815970093361102e-14, -6.750155989720952e-14, -5.684341886080802e-14, -4.618527782440651e-14, -3.552713678800501e-14, -2.4868995751603507e-14, -1.4210854715202004e-14, -3.552713678800501e-15, 7.105427357601002e-15, 1.7763568394002505e-14, 2.842170943040401e-14, 3.907985046680551e-14, 4.973799150320701e-14, 6.039613253960852e-14, 7.105427357601002e-14, 8.171241461241152e-14, 9.237055564881302e-14, 1.0302869668521453e-13, 1.1368683772161603e-13, 1.2434497875801753e-13, 1.3500311979441904e-13, 1.4566126083082054e-13, 1.5631940186722204e-13, 1.6697754290362354e-13, 1.7763568394002505e-13, 1.8829382497642655e-13, 1.9895196601282805e-13, 2.0961010704922955e-13, 2.2026824808563106e-13, 2.3092638912203256e-13, 2.4158453015843406e-13, 2.5224267119483557e-13, 2.6290081223123707e-13, 2.7355895326763857e-13, 2.8421709430404007e-13, 2.948752353404416e-13, 3.055333763768431e-13, 3.161915174132446e-13, 3.268496584496461e-13, 3.375077994860476e-13, 3.481659405224491e-13, 3.588240815588506e-13, 3.694822225952521e-13]}, "gradients/bert.encoder.layer.7.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 3.0, 2.0, 2.0, 0.0, 1.0, 0.0, 2.0, 2.0, 1.0, 3.0, 4.0, 7.0, 5.0, 11.0, 14.0, 16.0, 49.0, 196.0, 1125.0, 20201.0, 1014339.0, 11466.0, 901.0, 125.0, 41.0, 20.0, 7.0, 6.0, 4.0, 6.0, 2.0, 2.0, 1.0, 4.0, 0.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.264955037389882e-05, -2.1722220481024124e-05, -2.079489058814943e-05, -1.9867560695274733e-05, -1.8940230802400038e-05, -1.8012900909525342e-05, -1.7085571016650647e-05, -1.615824112377595e-05, -1.5230911230901256e-05, -1.430358133802656e-05, -1.3376251445151865e-05, -1.244892155227717e-05, -1.1521591659402475e-05, -1.059426176652778e-05, -9.666931873653084e-06, -8.739601980778389e-06, -7.812271178408992e-06, -6.884941285534296e-06, -5.957611392659601e-06, -5.0302814997849055e-06, -4.10295160691021e-06, -3.175621259288164e-06, -2.2482913664134685e-06, -1.3209614735387731e-06, -3.936315806640778e-07, 5.336983690540364e-07, 1.4610283187721507e-06, 2.3883583253336838e-06, 3.315688218208379e-06, 4.24301833845675e-06, 5.170348231331445e-06, 6.097678124206141e-06, 7.025008017080836e-06, 7.952337909955531e-06, 8.879667802830227e-06, 9.806997695704922e-06, 1.0734327588579617e-05, 1.1661657481454313e-05, 1.2588987374329008e-05, 1.3516317267203704e-05, 1.4443647160078399e-05, 1.5370977052953094e-05, 1.629830694582779e-05, 1.7225636838702485e-05, 1.815296673157718e-05, 1.9080296624451876e-05, 2.000762651732657e-05, 2.0934956410201266e-05, 2.1862288122065365e-05, 2.278961801494006e-05, 2.3716947907814756e-05, 2.464427780068945e-05, 2.5571607693564147e-05, 2.6498937586438842e-05, 2.7426267479313537e-05, 2.8353597372188233e-05, 2.9280927265062928e-05, 3.0208257157937624e-05, 3.113558705081232e-05, 3.206291876267642e-05, 3.299024683656171e-05, 3.391757854842581e-05, 3.48449066223111e-05, 3.57722383341752e-05, 3.669956640806049e-05]}, "gradients/bert.encoder.layer.7.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 6.0, 5.0, 10.0, 11.0, 23.0, 30.0, 142.0, 373.0, 257.0, 80.0, 23.0, 10.0, 13.0, 6.0, 2.0, 6.0, 3.0, 3.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 4.0, 1.0, 0.0, 0.0, 1.0], "bins": [-6.839686648163479e-06, -6.675687473034486e-06, -6.5116882979054935e-06, -6.347689122776501e-06, -6.183689947647508e-06, -6.019690772518516e-06, -5.855691597389523e-06, -5.69169242226053e-06, -5.527693247131538e-06, -5.363694072002545e-06, -5.199694896873552e-06, -5.03569572174456e-06, -4.871696546615567e-06, -4.707697371486574e-06, -4.543698196357582e-06, -4.379699021228589e-06, -4.215699391352246e-06, -4.051700216223253e-06, -3.88770104109426e-06, -3.7237018659652676e-06, -3.559702690836275e-06, -3.3957035157072823e-06, -3.2317041132046143e-06, -3.0677049380756216e-06, -2.903705762946629e-06, -2.7397065878176363e-06, -2.5757074126886437e-06, -2.4117080101859756e-06, -2.247708835056983e-06, -2.0837096599279903e-06, -1.9197104847989976e-06, -1.755711309670005e-06, -1.591711907167337e-06, -1.4277127320383443e-06, -1.2637135569093516e-06, -1.0997142680935212e-06, -9.357150929645286e-07, -7.71715917835536e-07, -6.077166290197056e-07, -4.4371745389071293e-07, -2.797182787617203e-07, -1.1571907521101821e-07, 4.828012833968387e-08, 2.1227936031209538e-07, 3.76278535441088e-07, 5.402777105700807e-07, 7.04276999385911e-07, 8.682761745149037e-07, 1.0322753496438963e-06, 1.196274524772889e-06, 1.3602736999018816e-06, 1.524272988717712e-06, 1.6882721638467046e-06, 1.8522713389756973e-06, 2.0162706277915277e-06, 2.1802698029205203e-06, 2.344268978049513e-06, 2.5082681531785056e-06, 2.6722673283074982e-06, 2.836266503436491e-06, 3.0002656785654835e-06, 3.164264853694476e-06, 3.3282642561971443e-06, 3.492263431326137e-06, 3.6562626064551296e-06]}, "gradients/bert.encoder.layer.7.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 3.0, 8.0, 3.0, 12.0, 22.0, 64.0, 281.0, 6475.0, 1037943.0, 3411.0, 223.0, 63.0, 17.0, 13.0, 4.0, 2.0, 7.0, 2.0, 1.0, 3.0, 1.0, 0.0, 1.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 0.0, 1.0], "bins": [-8.061851258389652e-05, -7.867238309700042e-05, -7.672625361010432e-05, -7.478012412320822e-05, -7.283399463631213e-05, -7.088786514941603e-05, -6.894173566251993e-05, -6.699560617562383e-05, -6.504947668872774e-05, -6.310334720183164e-05, -6.115721771493554e-05, -5.9211088228039443e-05, -5.7264958741143346e-05, -5.531882925424725e-05, -5.337269976735115e-05, -5.142657028045505e-05, -4.948044443153776e-05, -4.7534314944641665e-05, -4.558818545774557e-05, -4.364205597084947e-05, -4.169592648395337e-05, -3.9749796997057274e-05, -3.7803671148139983e-05, -3.5857541661243886e-05, -3.391141217434779e-05, -3.196528268745169e-05, -3.0019153200555593e-05, -2.8073023713659495e-05, -2.6126894226763397e-05, -2.41807647398673e-05, -2.2234637071960606e-05, -2.0288507585064508e-05, -1.8342379917157814e-05, -1.6396250430261716e-05, -1.4450120943365619e-05, -1.2503992365964223e-05, -1.0557862879068125e-05, -8.611733392172027e-06, -6.6656048147706315e-06, -4.719475327874534e-06, -2.773345840978436e-06, -8.27216581456014e-07, 1.1189126780664083e-06, 3.065041710215155e-06, 5.011171197111253e-06, 6.95730068400735e-06, 8.903429261408746e-06, 1.0849558748304844e-05, 1.2795688235200942e-05, 1.474181772209704e-05, 1.6687947208993137e-05, 1.8634076695889235e-05, 2.0580206182785332e-05, 2.252633566968143e-05, 2.4472463337588124e-05, 2.641859282448422e-05, 2.836472231138032e-05, 3.0310851798276417e-05, 3.225697946618311e-05, 3.420310895307921e-05, 3.6149238439975306e-05, 3.8095367926871404e-05, 4.00414974137675e-05, 4.19876269006636e-05, 4.39337563875597e-05]}, "gradients/bert.encoder.layer.6.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 1.0, 1.0, 1.0, 4.0, 7.0, 7.0, 14.0, 29.0, 38.0, 56.0, 87.0, 111.0, 125.0, 141.0, 112.0, 95.0, 68.0, 53.0, 28.0, 17.0, 8.0, 8.0, 5.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.816557055979501e-06, -8.269527825177647e-06, -7.722498594375793e-06, -7.175469363573939e-06, -6.628440132772084e-06, -6.08141090197023e-06, -5.534382125915727e-06, -4.987352895113872e-06, -4.440323664312018e-06, -3.893294433510164e-06, -3.3462652027083095e-06, -2.7992361992801307e-06, -2.2522069684782764e-06, -1.7051777376764221e-06, -1.1581487342482433e-06, -6.11119503446389e-07, -6.409027264453471e-08, 4.829389013139007e-07, 1.0299680752723361e-06, 1.5769971923873527e-06, 2.124026423189207e-06, 2.6710556539910613e-06, 3.21808465741924e-06, 3.7651138882210944e-06, 4.312143119022949e-06, 4.859172349824803e-06, 5.406201580626657e-06, 5.953230356681161e-06, 6.500259587483015e-06, 7.047288818284869e-06, 7.5943180490867235e-06, 8.141347279888578e-06, 8.688377420185134e-06, 9.235406650986988e-06, 9.782435881788842e-06, 1.0329465112590697e-05, 1.0876494343392551e-05, 1.1423523574194405e-05, 1.197055280499626e-05, 1.2517581126303412e-05, 1.3064611266599968e-05, 1.3611640497401822e-05, 1.4158669728203677e-05, 1.4705698959005531e-05, 1.5252728189807385e-05, 1.5799756511114538e-05, 1.6346786651411094e-05, 1.6893814972718246e-05, 1.7440845113014802e-05, 1.7987873434321955e-05, 1.853490357461851e-05, 1.9081931895925663e-05, 1.962896203622222e-05, 2.0175990357529372e-05, 2.0723020497825928e-05, 2.127004881913308e-05, 2.1817077140440233e-05, 2.2364105461747386e-05, 2.291113560204394e-05, 2.3458163923351094e-05, 2.400519406364765e-05, 2.4552222384954803e-05, 2.509925252525136e-05, 2.564628084655851e-05, 2.6193310986855067e-05]}, "gradients/bert.encoder.layer.6.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0, 1.0, 2.0, 3.0, 3.0, 3.0, 5.0, 6.0, 2.0, 8.0, 14.0, 11.0, 14.0, 15.0, 20.0, 24.0, 20.0, 31.0, 25.0, 36.0, 40.0, 41.0, 41.0, 46.0, 43.0, 35.0, 39.0, 50.0, 41.0, 33.0, 32.0, 41.0, 31.0, 30.0, 32.0, 31.0, 27.0, 19.0, 21.0, 17.0, 17.0, 12.0, 10.0, 10.0, 8.0, 7.0, 6.0, 5.0, 3.0, 4.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0], "bins": [-1.1162217560922727e-05, -1.0833955457201228e-05, -1.050569426297443e-05, -1.017743215925293e-05, -9.849170965026133e-06, -9.520908861304633e-06, -9.192647667077836e-06, -8.864385563356336e-06, -8.536124369129539e-06, -8.207862265408039e-06, -7.879601071181241e-06, -7.551339422207093e-06, -7.223077773232944e-06, -6.894816124258796e-06, -6.566554475284647e-06, -6.238292371563148e-06, -5.910030722588999e-06, -5.581769073614851e-06, -5.253507424640702e-06, -4.9252457756665535e-06, -4.596984126692405e-06, -4.268722477718256e-06, -3.940460373996757e-06, -3.612198952396284e-06, -3.2839373034221353e-06, -2.9556756544479867e-06, -2.627414005473838e-06, -2.299152129126014e-06, -1.9708904801518656e-06, -1.6426289448645548e-06, -1.3143671822035685e-06, -9.8610553322942e-07, -6.578438842552714e-07, -3.295822068594134e-07, -1.320529463555431e-09, 3.26941176354012e-07, 6.552028253281605e-07, 9.83464474302309e-07, 1.3117262369632954e-06, 1.639987885937444e-06, 1.9682495349115925e-06, 2.296511183885741e-06, 2.6247728328598896e-06, 2.9530347092077136e-06, 3.281296358181862e-06, 3.6095580071560107e-06, 3.937819656130159e-06, 4.266081305104308e-06, 4.594342954078456e-06, 4.922604603052605e-06, 5.2508662520267535e-06, 5.579127901000902e-06, 5.907389549975051e-06, 6.235651198949199e-06, 6.563913302670699e-06, 6.892174496897496e-06, 7.220436600618996e-06, 7.548698249593144e-06, 7.876959898567293e-06, 8.205222002288792e-06, 8.53348319651559e-06, 8.86174530023709e-06, 9.190006494463887e-06, 9.518268598185387e-06, 9.846529792412184e-06]}, "gradients/bert.encoder.layer.6.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 4.0, 6.0, 1.0, 2.0, 5.0, 5.0, 4.0, 10.0, 7.0, 6.0, 17.0, 15.0, 18.0, 24.0, 22.0, 24.0, 28.0, 23.0, 30.0, 48.0, 42.0, 44.0, 45.0, 44.0, 35.0, 39.0, 38.0, 46.0, 35.0, 42.0, 31.0, 35.0, 29.0, 22.0, 25.0, 23.0, 23.0, 21.0, 13.0, 16.0, 19.0, 7.0, 8.0, 8.0, 7.0, 1.0, 5.0, 6.0, 2.0, 1.0, 3.0, 2.0, 1.0, 0.0, 2.0], "bins": [-7.810342140146531e-06, -7.582373200420989e-06, -7.354404260695446e-06, -7.126435320969904e-06, -6.898466381244361e-06, -6.67049789626617e-06, -6.442528956540627e-06, -6.214560016815085e-06, -5.9865910770895425e-06, -5.758622137364e-06, -5.530653197638458e-06, -5.302684257912915e-06, -5.074715772934724e-06, -4.84674637846183e-06, -4.618777893483639e-06, -4.390808953758096e-06, -4.162840014032554e-06, -3.9348710743070114e-06, -3.706902134581469e-06, -3.478933422229602e-06, -3.2509644825040596e-06, -3.022995542778517e-06, -2.79502683042665e-06, -2.5670578907011077e-06, -2.3390889509755652e-06, -2.111120011250023e-06, -1.883151185211318e-06, -1.6551823591726134e-06, -1.427213419447071e-06, -1.1992444797215285e-06, -9.712756536828238e-07, -7.43306827644119e-07, -5.153378879185766e-07, -2.87369005036453e-07, -5.940012215432944e-08, 1.6856876072779414e-07, 3.965376436099177e-07, 6.245065833354602e-07, 8.524754093741649e-07, 1.0804442354128696e-06, 1.308413175138412e-06, 1.5363821148639545e-06, 1.7643509409026592e-06, 1.992319766941364e-06, 2.2202887066669064e-06, 2.448257646392449e-06, 2.676226358744316e-06, 2.9041952984698582e-06, 3.1321642381954007e-06, 3.360133177920943e-06, 3.5881021176464856e-06, 3.816071057372028e-06, 4.0440399970975704e-06, 4.272008482075762e-06, 4.4999774218013044e-06, 4.727946361526847e-06, 4.955915301252389e-06, 5.183884240977932e-06, 5.411853180703474e-06, 5.639822120429017e-06, 5.867790605407208e-06, 6.0957599998801015e-06, 6.323728484858293e-06, 6.5516974245838355e-06, 6.779666364309378e-06]}, "gradients/bert.encoder.layer.6.output.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 6.0, 6.0, 5.0, 8.0, 29.0, 27.0, 49.0, 84.0, 116.0, 175.0, 333.0, 582.0, 1026.0, 1823.0, 3675.0, 7637.0, 19912.0, 88293.0, 1005285.0, 2701446.0, 301624.0, 39777.0, 11775.0, 5065.0, 2505.0, 1314.0, 661.0, 388.0, 264.0, 151.0, 88.0, 62.0, 31.0, 24.0, 9.0, 7.0, 8.0, 7.0, 2.0, 8.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2245909601915628e-05, -1.1812679076683708e-05, -1.1379448551451787e-05, -1.0946218026219867e-05, -1.0512988410482649e-05, -1.0079757885250729e-05, -9.646527360018808e-06, -9.213296834786888e-06, -8.780066309554968e-06, -8.346835784323048e-06, -7.913605259091128e-06, -7.480375188606558e-06, -7.047144663374638e-06, -6.613914592890069e-06, -6.180684067658149e-06, -5.7474535424262285e-06, -5.314223471941659e-06, -4.880992946709739e-06, -4.44776287622517e-06, -4.0145323509932496e-06, -3.5813018257613294e-06, -3.1480715279030846e-06, -2.71484123004484e-06, -2.2816107048129197e-06, -1.848380406954675e-06, -1.4151499954095925e-06, -9.8191958386451e-07, -5.486892860062653e-07, -1.1545887446118286e-07, 3.177715370838996e-07, 7.510018349421443e-07, 1.1842323601740645e-06, 1.6174626580323093e-06, 2.050692955890554e-06, 2.483923481122474e-06, 2.917153778980719e-06, 3.350384304212639e-06, 3.783614602070884e-06, 4.216844899929129e-06, 4.650075425161049e-06, 5.083305950392969e-06, 5.516536475624889e-06, 5.9497665461094584e-06, 6.382997071341379e-06, 6.816227596573299e-06, 7.249457667057868e-06, 7.682688192289788e-06, 8.115918717521708e-06, 8.549148333258927e-06, 8.982378858490847e-06, 9.415609383722767e-06, 9.848839908954687e-06, 1.0282069524691906e-05, 1.0715300049923826e-05, 1.1148530575155746e-05, 1.1581761100387666e-05, 1.2014991625619587e-05, 1.2448222150851507e-05, 1.2881452676083427e-05, 1.3314682291820645e-05, 1.3747912817052566e-05, 1.4181143342284486e-05, 1.4614373867516406e-05, 1.5047604392748326e-05, 1.5480834917980246e-05]}, "gradients/bert.encoder.layer.6.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 3.0, 3.0, 8.0, 2.0, 6.0, 9.0, 13.0, 25.0, 32.0, 42.0, 112.0, 261.0, 713.0, 1386.0, 887.0, 309.0, 122.0, 61.0, 33.0, 27.0, 13.0, 9.0, 5.0, 3.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.240577138465596e-06, -4.998275926482165e-06, -4.755975169246085e-06, -4.513673957262654e-06, -4.271373200026574e-06, -4.0290719880431425e-06, -3.786771003433387e-06, -3.544470018823631e-06, -3.3021690342138754e-06, -3.0598680496041197e-06, -2.817567064994364e-06, -2.5752660803846084e-06, -2.3329648684011772e-06, -2.090664111165097e-06, -1.8483628991816659e-06, -1.6060619145719102e-06, -1.3637609299621545e-06, -1.1214599453523988e-06, -8.791589038992242e-07, -6.368578624460497e-07, -3.94556877836294e-07, -1.5225589322653832e-07, 9.004520507005509e-08, 3.323461896798108e-07, 5.746471742895665e-07, 8.169481588993222e-07, 1.0592491435090778e-06, 1.3015502418056712e-06, 1.543851226415427e-06, 1.7861522110251826e-06, 2.028453309321776e-06, 2.2707542939315317e-06, 2.5130548237939365e-06, 2.755355808403692e-06, 2.997656793013448e-06, 3.239958004996879e-06, 3.4822587622329593e-06, 3.7245599742163904e-06, 3.9668611861998215e-06, 4.209161943435902e-06, 4.451462700671982e-06, 4.693763912655413e-06, 4.936064669891493e-06, 5.1783658818749245e-06, 5.420666639111005e-06, 5.662967851094436e-06, 5.905269063077867e-06, 6.147569820313947e-06, 6.389871032297378e-06, 6.6321722442808095e-06, 6.87447300151689e-06, 7.116774213500321e-06, 7.359074970736401e-06, 7.601376182719832e-06, 7.843676939955913e-06, 8.085978151939344e-06, 8.328279363922775e-06, 8.570580575906206e-06, 8.812881787889637e-06, 9.055182090378366e-06, 9.297483302361798e-06, 9.539784514345229e-06, 9.78208572632866e-06, 1.0024386938312091e-05, 1.026668724080082e-05]}, "gradients/bert.encoder.layer.6.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 1.0, 2.0, 6.0, 6.0, 7.0, 6.0, 8.0, 15.0, 25.0, 32.0, 62.0, 150.0, 362.0, 2037.0, 4172741.0, 17762.0, 678.0, 184.0, 89.0, 46.0, 31.0, 21.0, 7.0, 7.0, 3.0, 4.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00013839516032021493, -0.00013202315312810242, -0.0001256511313840747, -0.00011927911691600457, -0.00011290710244793445, -0.00010653508797986433, -0.00010016307351179421, -9.379105904372409e-05, -8.741904457565397e-05, -8.104703010758385e-05, -7.467501563951373e-05, -6.830300117144361e-05, -6.193098670337349e-05, -5.555897223530337e-05, -4.918695776723325e-05, -4.281494329916313e-05, -3.644292883109301e-05, -3.0070914363022894e-05, -2.3698899894952774e-05, -1.7326885426882654e-05, -1.0954870958812535e-05, -4.582856490742415e-06, 1.7891579773277044e-06, 8.161172445397824e-06, 1.4533186913467944e-05, 2.0905201381538063e-05, 2.7277215849608183e-05, 3.36492303176783e-05, 4.002124478574842e-05, 4.639325925381854e-05, 5.276527372188866e-05, 5.913728818995878e-05, 6.550928810611367e-05, 7.188130257418379e-05, 7.825331704225391e-05, 8.462533151032403e-05, 9.099734597839415e-05, 9.736936044646427e-05, 0.00010374137491453439, 0.00011011338938260451, 0.00011648540385067463, 0.00012285742559470236, 0.00012922943278681487, 0.00013560143997892737, 0.0001419734617229551, 0.00014834548346698284, 0.00015471749065909535, 0.00016108949785120785, 0.00016746151959523559, 0.00017383354133926332, 0.00018020554853137583, 0.00018657755572348833, 0.00019294957746751606, 0.0001993215992115438, 0.0002056936064036563, 0.0002120656135957688, 0.00021843763533979654, 0.00022480965708382428, 0.00023118166427593678, 0.0002375536714680493, 0.00024392569321207702, 0.00025029771495610476, 0.00025666970759630203, 0.00026304172934032977, 0.0002694137510843575]}, "gradients/bert.encoder.layer.6.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 5.0, 4.0, 2.0, 8.0, 13.0, 13.0, 15.0, 31.0, 48.0, 55.0, 70.0, 96.0, 94.0, 119.0, 104.0, 84.0, 73.0, 59.0, 50.0, 24.0, 16.0, 13.0, 10.0, 4.0, 5.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.537556484749075e-06, -7.081514468154637e-06, -6.625472451560199e-06, -6.1694299802184105e-06, -5.713387963623973e-06, -5.257345947029535e-06, -4.801303475687746e-06, -4.345261459093308e-06, -3.88921944249887e-06, -3.4331774259044323e-06, -2.977135181936319e-06, -2.5210929379682057e-06, -2.0650509213737678e-06, -1.60900890477933e-06, -1.1529666608112166e-06, -6.969244168431032e-07, -2.4088240024866536e-07, 2.1515973003261024e-07, 6.712018603138858e-07, 1.1272439905951614e-06, 1.583286120876437e-06, 2.039328137470875e-06, 2.4953703814389883e-06, 2.9514126254071016e-06, 3.4074546420015395e-06, 3.863496658595977e-06, 4.319538675190415e-06, 4.775581146532204e-06, 5.231623163126642e-06, 5.68766517972108e-06, 6.1437076510628685e-06, 6.599749667657306e-06, 7.0557907747570425e-06, 7.51183279135148e-06, 7.967874807945918e-06, 8.423917279287707e-06, 8.879958841134794e-06, 9.336001312476583e-06, 9.792043783818372e-06, 1.024808625516016e-05, 1.0704127817007247e-05, 1.1160170288349036e-05, 1.1616211850196123e-05, 1.2072254321537912e-05, 1.25282967928797e-05, 1.2984338354726788e-05, 1.3440380826068576e-05, 1.3896422387915663e-05, 1.4352464859257452e-05, 1.4808507330599241e-05, 1.526454980194103e-05, 1.5720590454293415e-05, 1.6176632925635204e-05, 1.6632675396976992e-05, 1.708871786831878e-05, 1.754476033966057e-05, 1.800080281100236e-05, 1.8456845282344148e-05, 1.8912887753685936e-05, 1.936892840603832e-05, 1.982497087738011e-05, 2.02810133487219e-05, 2.0737055820063688e-05, 2.1193098291405477e-05, 2.1649138943757862e-05]}, "gradients/bert.encoder.layer.6.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 3.0, 4.0, 3.0, 5.0, 8.0, 12.0, 7.0, 16.0, 16.0, 15.0, 18.0, 17.0, 20.0, 17.0, 20.0, 23.0, 31.0, 28.0, 38.0, 42.0, 28.0, 44.0, 32.0, 37.0, 44.0, 50.0, 45.0, 40.0, 27.0, 33.0, 37.0, 25.0, 24.0, 28.0, 21.0, 26.0, 17.0, 22.0, 15.0, 17.0, 9.0, 8.0, 10.0, 5.0, 3.0, 7.0, 3.0, 5.0, 3.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-7.791717507643625e-06, -7.549723704869393e-06, -7.307730356842512e-06, -7.06573655406828e-06, -6.8237427512940485e-06, -6.5817494032671675e-06, -6.339755600492936e-06, -6.097761797718704e-06, -5.855767994944472e-06, -5.61377419217024e-06, -5.371780844143359e-06, -5.129787041369127e-06, -4.887793238594895e-06, -4.645799890568014e-06, -4.403806087793782e-06, -4.1618122850195505e-06, -3.9198189369926695e-06, -3.677825361592113e-06, -3.435831558817881e-06, -3.1938379834173247e-06, -2.951844180643093e-06, -2.7098506052425364e-06, -2.46785702984198e-06, -2.225863227067748e-06, -1.9838696516671916e-06, -1.7418759625797975e-06, -1.4998822734924033e-06, -1.2578886980918469e-06, -1.0158950090044527e-06, -7.739013199170586e-07, -5.319077445165021e-07, -2.89914055429108e-07, -4.7920366341713816e-08, 1.940732943239709e-07, 4.3606695498965564e-07, 6.780605872336309e-07, 9.200542763210251e-07, 1.1620479654084193e-06, 1.4040415408089757e-06, 1.6460352298963699e-06, 1.888028918983764e-06, 2.1300224943843205e-06, 2.3720162971585523e-06, 2.6140098725591088e-06, 2.856003447959665e-06, 3.097997250733897e-06, 3.3399908261344535e-06, 3.58198440153501e-06, 3.823978204309242e-06, 4.065972007083474e-06, 4.307965355110355e-06, 4.549959157884587e-06, 4.7919529606588185e-06, 5.03394676343305e-06, 5.275940111459931e-06, 5.517933914234163e-06, 5.759927262261044e-06, 6.001921065035276e-06, 6.243914413062157e-06, 6.485908215836389e-06, 6.727902018610621e-06, 6.969895366637502e-06, 7.211889169411734e-06, 7.453882972185966e-06, 7.695876774960198e-06]}, "gradients/bert.encoder.layer.6.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 2.0, 1.0, 3.0, 7.0, 9.0, 11.0, 7.0, 10.0, 8.0, 20.0, 20.0, 22.0, 14.0, 15.0, 31.0, 27.0, 34.0, 41.0, 40.0, 33.0, 49.0, 46.0, 39.0, 51.0, 50.0, 49.0, 28.0, 34.0, 26.0, 43.0, 29.0, 24.0, 22.0, 31.0, 18.0, 17.0, 23.0, 15.0, 13.0, 12.0, 11.0, 9.0, 4.0, 4.0, 3.0, 1.0, 3.0, 2.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0], "bins": [-1.0717952136474196e-05, -1.0387339898443315e-05, -1.0056726750917733e-05, -9.726114512886852e-06, -9.395502274855971e-06, -9.06489003682509e-06, -8.73427779879421e-06, -8.403664651268627e-06, -8.073052413237747e-06, -7.742440175206866e-06, -7.4118274824286345e-06, -7.081214789650403e-06, -6.750602551619522e-06, -6.419990313588642e-06, -6.08937762081041e-06, -5.7587649280321784e-06, -5.428152690001298e-06, -5.097540451970417e-06, -4.7669277591921855e-06, -4.436315066413954e-06, -4.105702828383073e-06, -3.775090362978517e-06, -3.444477897573961e-06, -3.113865432169405e-06, -2.7832529667648487e-06, -2.4526405013602925e-06, -2.1220280359557364e-06, -1.7914155705511803e-06, -1.4608031051466241e-06, -1.130190639742068e-06, -7.995781743375119e-07, -4.6896570893295575e-07, -1.383541530231014e-07, 1.9225831238145474e-07, 5.228707777860109e-07, 8.53483243190567e-07, 1.1840957085951231e-06, 1.5147081739996793e-06, 1.8453206394042354e-06, 2.1759331048087915e-06, 2.5065455702133477e-06, 2.837158035617904e-06, 3.16777050102246e-06, 3.498382966427016e-06, 3.828995431831572e-06, 4.159607669862453e-06, 4.4902203626406845e-06, 4.820833055418916e-06, 5.151445293449797e-06, 5.4820575314806774e-06, 5.812670224258909e-06, 6.143282917037141e-06, 6.473895155068021e-06, 6.804507393098902e-06, 7.1351200858771335e-06, 7.465732778655365e-06, 7.796345016686246e-06, 8.126957254717126e-06, 8.457569492748007e-06, 8.78818264027359e-06, 9.11879487830447e-06, 9.449407116335351e-06, 9.780020263860933e-06, 1.0110632501891814e-05, 1.0441244739922695e-05]}, "gradients/bert.encoder.layer.6.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 3.0, 3.0, 8.0, 7.0, 15.0, 18.0, 40.0, 41.0, 60.0, 86.0, 158.0, 264.0, 417.0, 918.0, 1830.0, 3694.0, 8514.0, 20927.0, 55498.0, 163042.0, 386188.0, 262840.0, 89118.0, 32127.0, 12334.0, 5149.0, 2447.0, 1254.0, 633.0, 382.0, 205.0, 120.0, 81.0, 49.0, 32.0, 21.0, 20.0, 9.0, 5.0, 5.0, 1.0, 0.0, 2.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0], "bins": [-1.2308520126680378e-05, -1.1954048204643186e-05, -1.1599577192100696e-05, -1.1245105270063505e-05, -1.0890633348026313e-05, -1.0536161425989121e-05, -1.018168950395193e-05, -9.82721849140944e-06, -9.472746569372248e-06, -9.118274647335056e-06, -8.763803634792566e-06, -8.409331712755375e-06, -8.054859790718183e-06, -7.700387868680991e-06, -7.3459164013911504e-06, -6.99144493410131e-06, -6.636973012064118e-06, -6.282501090026926e-06, -5.9280296227370854e-06, -5.573558155447245e-06, -5.219086233410053e-06, -4.864614311372861e-06, -4.5101428440830205e-06, -4.15567137679318e-06, -3.801199454755988e-06, -3.4467277600924717e-06, -3.0922560654289555e-06, -2.7377843707654392e-06, -2.383312676101923e-06, -2.0288409814384067e-06, -1.6743692867748905e-06, -1.3198975921113743e-06, -9.654268069425598e-07, -6.109551122790435e-07, -2.564834176155273e-07, 9.798827704798896e-08, 4.524599717115052e-07, 8.069316663750215e-07, 1.1614033610385377e-06, 1.515875055702054e-06, 1.8703467503655702e-06, 2.2248184450290864e-06, 2.5792901396926027e-06, 2.933761834356119e-06, 3.288233529019635e-06, 3.6427052236831514e-06, 3.997176918346668e-06, 4.3516483856365085e-06, 4.7061203076737e-06, 5.060592229710892e-06, 5.415063697000733e-06, 5.7695351642905734e-06, 6.124007086327765e-06, 6.478479008364957e-06, 6.832950475654798e-06, 7.1874219429446384e-06, 7.54189386498183e-06, 7.896365787019022e-06, 8.250837709056213e-06, 8.605308721598703e-06, 8.959780643635895e-06, 9.314252565673087e-06, 9.668723578215577e-06, 1.0023195500252768e-05, 1.037766742228996e-05]}, "gradients/bert.encoder.layer.6.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0, 0.0, 1.0, 3.0, 5.0, 1.0, 5.0, 6.0, 10.0, 5.0, 12.0, 22.0, 14.0, 22.0, 28.0, 29.0, 37.0, 25.0, 30.0, 40.0, 39.0, 53.0, 43.0, 44.0, 51.0, 59.0, 45.0, 45.0, 43.0, 32.0, 37.0, 40.0, 37.0, 25.0, 18.0, 19.0, 22.0, 15.0, 9.0, 9.0, 9.0, 8.0, 4.0, 4.0, 0.0, 3.0, 2.0, 1.0, 3.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-1.0813419976329897e-05, -1.0466752428328618e-05, -1.0120085789822042e-05, -9.773418241820764e-06, -9.426750693819486e-06, -9.08008405531291e-06, -8.733416507311631e-06, -8.386748959310353e-06, -8.040082320803776e-06, -7.693414772802498e-06, -7.346748134295922e-06, -7.000080586294644e-06, -6.653413493040716e-06, -6.306746399786789e-06, -5.960078851785511e-06, -5.6134117585315835e-06, -5.266744665277656e-06, -4.920077572023729e-06, -4.5734104787698016e-06, -4.226742930768523e-06, -3.880075837514596e-06, -3.5334087442606688e-06, -3.186741423633066e-06, -2.8400741030054633e-06, -2.493407009751536e-06, -2.1467399164976086e-06, -1.800072595870006e-06, -1.4534053889292409e-06, -1.1067381819884758e-06, -7.600709750477108e-07, -4.134037681069458e-07, -6.673644747934304e-08, 2.7993064577458426e-07, 6.265978527153493e-07, 9.732650596561143e-07, 1.3199322665968793e-06, 1.6665994735376444e-06, 2.0132665667915717e-06, 2.3599338874191744e-06, 2.706601208046777e-06, 3.0532683013007045e-06, 3.3999353945546318e-06, 3.7466027151822345e-06, 4.093270035809837e-06, 4.439937129063765e-06, 4.786604222317692e-06, 5.13327177031897e-06, 5.479938863572897e-06, 5.826605956826825e-06, 6.173273050080752e-06, 6.519940143334679e-06, 6.8666076913359575e-06, 7.213274784589885e-06, 7.559941877843812e-06, 7.90660942584509e-06, 8.253276973846368e-06, 8.599943612352945e-06, 8.946611160354223e-06, 9.2932777988608e-06, 9.639945346862078e-06, 9.986611985368654e-06, 1.0333279533369932e-05, 1.067994708137121e-05, 1.1026613719877787e-05, 1.1373281267879065e-05]}, "gradients/bert.encoder.layer.6.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 3.0, 1.0, 0.0, 1.0, 3.0, 1.0, 3.0, 4.0, 5.0, 8.0, 7.0, 11.0, 16.0, 21.0, 17.0, 31.0, 34.0, 46.0, 47.0, 43.0, 60.0, 117.0, 110.0, 137.0, 206.0, 9268.0, 1036680.0, 839.0, 178.0, 135.0, 93.0, 72.0, 63.0, 63.0, 61.0, 34.0, 25.0, 23.0, 25.0, 17.0, 9.0, 14.0, 10.0, 6.0, 10.0, 2.0, 2.0, 1.0, 1.0, 4.0, 2.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 2.0], "bins": [-0.00014602071314584464, -0.00014136134996078908, -0.00013670198677573353, -0.00013204262359067798, -0.00012738327495753765, -0.0001227239117724821, -0.00011806454858742654, -0.00011340518540237099, -0.00010874582221731544, -0.00010408645903225988, -9.942709584720433e-05, -9.476773993810639e-05, -9.010837675305083e-05, -8.544901356799528e-05, -8.078965765889734e-05, -7.613029447384179e-05, -7.147093128878623e-05, -6.681156810373068e-05, -6.215220491867512e-05, -5.7492849009577185e-05, -5.283348582452163e-05, -4.817412263946608e-05, -4.351476309238933e-05, -3.8855403545312583e-05, -3.419604036025703e-05, -2.953667899419088e-05, -2.487731762812473e-05, -2.021795626205858e-05, -1.5558594895992428e-05, -1.0899233529926278e-05, -6.239872163860127e-06, -1.5805126167833805e-06, 3.0788505682721734e-06, 7.738211934338324e-06, 1.2397573300404474e-05, 1.7056934666470625e-05, 2.1716296032536775e-05, 2.6375657398602925e-05, 3.1035018764669076e-05, 3.569437831174582e-05, 4.0353741496801376e-05, 4.501310468185693e-05, 4.967246422893368e-05, 5.4331823776010424e-05, 5.899118696106598e-05, 6.365055014612153e-05, 6.830990605521947e-05, 7.296926924027503e-05, 7.762863242533058e-05, 8.228799561038613e-05, 8.694735879544169e-05, 9.160671470453963e-05, 9.626607788959518e-05, 0.00010092544107465073, 0.00010558479698374867, 0.00011024416016880423, 0.00011490352335385978, 0.00011956288653891534, 0.0001242222497239709, 0.00012888161290902644, 0.000133540976094082, 0.00013820032472722232, 0.00014285968791227788, 0.00014751905109733343, 0.00015217841428238899]}, "gradients/bert.encoder.layer.6.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 2.0, 0.0, 2.0, 4.0, 1.0, 3.0, 5.0, 1.0, 5.0, 3.0, 12.0, 10.0, 20.0, 29.0, 14.0, 55.0, 72.0, 103.0, 127.0, 179.0, 91.0, 85.0, 46.0, 54.0, 16.0, 23.0, 10.0, 1.0, 11.0, 5.0, 9.0, 5.0, 2.0, 0.0, 0.0, 0.0, 5.0, 1.0, 5.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.979039320256561e-13, -3.8480330033507926e-13, -3.717026686445024e-13, -3.5860203695392556e-13, -3.455014052633487e-13, -3.3240077357277187e-13, -3.19300141882195e-13, -3.0619951019161817e-13, -2.9309887850104133e-13, -2.799982468104645e-13, -2.6689761511988763e-13, -2.537969834293108e-13, -2.4069635173873394e-13, -2.275957200481571e-13, -2.1449508835758024e-13, -2.013944566670034e-13, -1.8829382497642655e-13, -1.751931932858497e-13, -1.6209256159527285e-13, -1.48991929904696e-13, -1.3589129821411916e-13, -1.2279066652354231e-13, -1.0969003483296547e-13, -9.658940314238862e-14, -8.348877145181177e-14, -7.038813976123492e-14, -5.728750807065808e-14, -4.418687638008123e-14, -3.108624468950438e-14, -1.7985612998927536e-14, -4.884981308350689e-15, 8.215650382226158e-15, 2.1316282072803006e-14, 3.441691376337985e-14, 4.75175454539567e-14, 6.061817714453355e-14, 7.37188088351104e-14, 8.681944052568724e-14, 9.992007221626409e-14, 1.1302070390684094e-13, 1.2612133559741778e-13, 1.3922196728799463e-13, 1.5232259897857148e-13, 1.6542323066914832e-13, 1.7852386235972517e-13, 1.9162449405030202e-13, 2.0472512574087887e-13, 2.1782575743145571e-13, 2.3092638912203256e-13, 2.440270208126094e-13, 2.5712765250318625e-13, 2.702282841937631e-13, 2.8332891588433995e-13, 2.964295475749168e-13, 3.0953017926549364e-13, 3.226308109560705e-13, 3.3573144264664734e-13, 3.488320743372242e-13, 3.6193270602780103e-13, 3.750333377183779e-13, 3.8813396940895473e-13, 4.0123460109953157e-13, 4.143352327901084e-13, 4.2743586448068527e-13, 4.405364961712621e-13]}, "gradients/bert.encoder.layer.6.attention.self.key.weight": {"_type": "histogram", "values": [2.0, 4.0, 3.0, 2.0, 2.0, 2.0, 5.0, 7.0, 14.0, 8.0, 6.0, 28.0, 54.0, 143.0, 474.0, 2377.0, 23559.0, 836312.0, 176103.0, 7947.0, 1092.0, 240.0, 87.0, 36.0, 16.0, 16.0, 7.0, 6.0, 3.0, 4.0, 1.0, 3.0, 3.0, 3.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.1556939878501e-06, -8.640805390314199e-06, -8.125915883283596e-06, -7.611026831000345e-06, -7.096137778717093e-06, -6.5812487264338415e-06, -6.06635967415059e-06, -5.551470621867338e-06, -5.0365815695840865e-06, -4.521692517300835e-06, -4.006803465017583e-06, -3.4919144127343316e-06, -2.97702536045108e-06, -2.4621363081678282e-06, -1.9472472558845766e-06, -1.432358203601325e-06, -9.174691513180733e-07, -4.025800990348216e-07, 1.1230895324843004e-07, 6.271980055316817e-07, 1.1420870578149334e-06, 1.656976110098185e-06, 2.1718651623814367e-06, 2.6867542146646883e-06, 3.20164326694794e-06, 3.7165323192311917e-06, 4.231421371514443e-06, 4.746310423797695e-06, 5.261199476080947e-06, 5.776088528364198e-06, 6.29097758064745e-06, 6.805866632930702e-06, 7.320755685213953e-06, 7.835644282749854e-06, 8.350533789780457e-06, 8.865423296811059e-06, 9.38031189434696e-06, 9.89520049188286e-06, 1.0410089998913463e-05, 1.0924979505944066e-05, 1.1439868103479967e-05, 1.1954756701015867e-05, 1.246964620804647e-05, 1.2984535715077072e-05, 1.3499424312612973e-05, 1.4014312910148874e-05, 1.4529202417179476e-05, 1.5044091924210079e-05, 1.555898052174598e-05, 1.607386911928188e-05, 1.658875771681778e-05, 1.7103648133343086e-05, 1.7618536730878986e-05, 1.8133425328414887e-05, 1.864831574494019e-05, 1.9163204342476092e-05, 1.9678092940011993e-05, 2.0192981537547894e-05, 2.0707870135083795e-05, 2.12227605516091e-05, 2.1737649149145e-05, 2.22525377466809e-05, 2.2767428163206205e-05, 2.3282316760742106e-05, 2.3797205358278006e-05]}, "gradients/bert.encoder.layer.6.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 5.0, 1.0, 5.0, 3.0, 8.0, 14.0, 17.0, 36.0, 50.0, 93.0, 143.0, 162.0, 163.0, 110.0, 67.0, 43.0, 27.0, 8.0, 11.0, 7.0, 8.0, 3.0, 3.0, 6.0, 2.0, 3.0, 2.0, 3.0, 1.0, 3.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.815271500367089e-06, -2.7267069526715204e-06, -2.638142632349627e-06, -2.5495780846540583e-06, -2.4610135369584896e-06, -2.372448989262921e-06, -2.283884441567352e-06, -2.1953201212454587e-06, -2.10675557354989e-06, -2.018191025854321e-06, -1.929626705532428e-06, -1.8410621578368591e-06, -1.7524976101412904e-06, -1.6639330624457216e-06, -1.5753686284369905e-06, -1.4868041944282595e-06, -1.3982396467326907e-06, -1.309675099037122e-06, -1.221110665028391e-06, -1.13254623101966e-06, -1.0439816833240911e-06, -9.554171356285224e-07, -8.668527016197913e-07, -7.782882107676414e-07, -6.897237199154915e-07, -6.011592290633416e-07, -5.125947382111917e-07, -4.240302473590418e-07, -3.354657565068919e-07, -2.46901265654742e-07, -1.5833677480259212e-07, -6.977228395044222e-08, 1.8791979528032243e-08, 1.0735647038018215e-07, 1.9592096123233205e-07, 2.8448545208448195e-07, 3.7304994293663185e-07, 4.6161443378878175e-07, 5.501789246409317e-07, 6.387434154930816e-07, 7.273079063452315e-07, 8.158723971973814e-07, 9.044368880495313e-07, 9.930013220582623e-07, 1.081565869753831e-06, 1.1701304174493998e-06, 1.2586948514581309e-06, 1.347259285466862e-06, 1.4358238331624307e-06, 1.5243883808579994e-06, 1.6129528148667305e-06, 1.7015172488754615e-06, 1.7900817965710303e-06, 1.878646344266599e-06, 1.9672106645884924e-06, 2.055775212284061e-06, 2.14433975997963e-06, 2.2329043076751987e-06, 2.3214688553707674e-06, 2.4100331756926607e-06, 2.4985977233882295e-06, 2.5871622710837983e-06, 2.6757265914056916e-06, 2.7642911391012603e-06, 2.852855686796829e-06]}, "gradients/bert.encoder.layer.6.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 3.0, 2.0, 3.0, 6.0, 3.0, 4.0, 15.0, 21.0, 34.0, 47.0, 208.0, 1561.0, 100737.0, 940201.0, 5158.0, 368.0, 75.0, 40.0, 15.0, 10.0, 10.0, 11.0, 4.0, 2.0, 5.0, 4.0, 1.0, 3.0, 2.0, 5.0, 1.0, 2.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.3729771530488506e-05, -3.2681778975529596e-05, -3.1633786420570686e-05, -3.0585797503590584e-05, -2.9537804948631674e-05, -2.8489812393672764e-05, -2.7441819838713855e-05, -2.6393827283754945e-05, -2.534583654778544e-05, -2.429784399282653e-05, -2.3249853256857023e-05, -2.2201860701898113e-05, -2.1153868146939203e-05, -2.0105877410969697e-05, -1.9057884856010787e-05, -1.800989412004128e-05, -1.696190156508237e-05, -1.591390901012346e-05, -1.4865918274153955e-05, -1.3817925719195046e-05, -1.2769934073730838e-05, -1.172194242826663e-05, -1.067394987330772e-05, -9.625958227843512e-06, -8.577966582379304e-06, -7.529974936915096e-06, -6.481982836703537e-06, -5.433990736491978e-06, -4.38599909102777e-06, -3.3380074455635622e-06, -2.2900153453520034e-06, -1.2420232451404445e-06, -1.9402796169742942e-07, 8.53963911140454e-07, 1.9019557839783374e-06, 2.949947656816221e-06, 3.997939529654104e-06, 5.045931175118312e-06, 6.093923275329871e-06, 7.14191537554143e-06, 8.189907021005638e-06, 9.237898666469846e-06, 1.0285890311934054e-05, 1.1333882866892964e-05, 1.2381874512357172e-05, 1.342986615782138e-05, 1.447785871278029e-05, 1.5525849448749796e-05, 1.6573842003708705e-05, 1.7621834558667615e-05, 1.866982529463712e-05, 1.971781784959603e-05, 2.0765808585565537e-05, 2.1813801140524447e-05, 2.2861793695483357e-05, 2.3909786250442266e-05, 2.4957776986411773e-05, 2.6005769541370682e-05, 2.705376027734019e-05, 2.81017528322991e-05, 2.9149745387258008e-05, 3.0197736123227514e-05, 3.124572685919702e-05, 3.229371941415593e-05, 3.334171196911484e-05]}, "gradients/bert.encoder.layer.5.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 3.0, 15.0, 35.0, 105.0, 182.0, 290.0, 218.0, 111.0, 38.0, 13.0, 8.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.706775118596852e-05, -5.5842621804913506e-05, -5.4617492423858494e-05, -5.339236304280348e-05, -5.216723366174847e-05, -5.094210064271465e-05, -4.9716974899638444e-05, -4.8491841880604625e-05, -4.726671249954961e-05, -4.60415831184946e-05, -4.481645373743959e-05, -4.3591324356384575e-05, -4.236619497532956e-05, -4.114106559427455e-05, -3.991593257524073e-05, -3.869080319418572e-05, -3.7465673813130707e-05, -3.6240544432075694e-05, -3.501541505102068e-05, -3.379028566996567e-05, -3.256515628891066e-05, -3.134002326987684e-05, -3.011489570781123e-05, -2.8889764507766813e-05, -2.7664638764690608e-05, -2.6439509383635595e-05, -2.5214380002580583e-05, -2.398925062152557e-05, -2.2764119421481155e-05, -2.1538990040426143e-05, -2.031386065937113e-05, -1.9088729459326714e-05, -1.7863600078271702e-05, -1.663847069721669e-05, -1.5413341316161677e-05, -1.4188211025611963e-05, -1.2963080735062249e-05, -1.1737951354007237e-05, -1.0512821972952224e-05, -9.28769168240251e-06, -8.062562301347498e-06, -6.837432465545135e-06, -5.612302629742771e-06, -4.387173248687759e-06, -3.162043412885396e-06, -1.9369135770830326e-06, -7.117841960280202e-07, 5.133460945216939e-07, 1.7384754755767062e-06, 2.9636053113790695e-06, 4.188735147181433e-06, 5.413864528236445e-06, 6.638994364038808e-06, 7.864124199841172e-06, 9.089253580896184e-06, 1.0314383871445898e-05, 1.153951325250091e-05, 1.2764642633555923e-05, 1.3989772924105637e-05, 1.5214902305160649e-05, 1.644003168621566e-05, 1.7665162886260077e-05, 1.889029226731509e-05, 2.0115421648370102e-05, 2.1340551029425114e-05]}, "gradients/bert.encoder.layer.5.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 5.0, 1.0, 2.0, 3.0, 1.0, 5.0, 6.0, 4.0, 9.0, 11.0, 9.0, 16.0, 17.0, 22.0, 29.0, 29.0, 33.0, 36.0, 25.0, 35.0, 44.0, 37.0, 41.0, 43.0, 48.0, 52.0, 39.0, 49.0, 32.0, 31.0, 35.0, 38.0, 35.0, 20.0, 18.0, 23.0, 16.0, 18.0, 12.0, 15.0, 17.0, 14.0, 10.0, 9.0, 4.0, 4.0, 2.0, 6.0, 4.0, 1.0, 0.0, 2.0, 0.0, 0.0, 3.0, 2.0], "bins": [-1.192290619655978e-05, -1.1561929568415508e-05, -1.1200953849765938e-05, -1.0839977221621666e-05, -1.0479001502972096e-05, -1.0118024874827825e-05, -9.757048246683553e-06, -9.396072528033983e-06, -9.035096809384413e-06, -8.674120181240141e-06, -8.313144462590571e-06, -7.9521678344463e-06, -7.59119211579673e-06, -7.230215487652458e-06, -6.8692393142555375e-06, -6.508263140858617e-06, -6.147286512714345e-06, -5.786310339317424e-06, -5.4253341659205034e-06, -5.064357537776232e-06, -4.703381819126662e-06, -4.34240519098239e-06, -3.981429017585469e-06, -3.6204528441885486e-06, -3.259476670791628e-06, -2.898500497394707e-06, -2.5375243239977863e-06, -2.17654792322719e-06, -1.8155717498302693e-06, -1.4545955764333485e-06, -1.0936191756627522e-06, -7.326430022658315e-07, -3.7166682886891067e-07, -1.0690598628571024e-08, 3.502856316117686e-07, 7.112619186955271e-07, 1.072238092092448e-06, 1.4332142654893687e-06, 1.794190666259965e-06, 2.1551668396568857e-06, 2.5161430130538065e-06, 2.8771191864507273e-06, 3.238095359847648e-06, 3.5990717606182443e-06, 3.9600481613888405e-06, 4.3210238800384104e-06, 4.682000508182682e-06, 5.042976681579603e-06, 5.403952854976524e-06, 5.7649290283734445e-06, 6.125905201770365e-06, 6.486881829914637e-06, 6.847857548564207e-06, 7.2088341767084785e-06, 7.569810350105399e-06, 7.93078652350232e-06, 8.291763151646592e-06, 8.652739779790863e-06, 9.013715498440433e-06, 9.374692126584705e-06, 9.735667845234275e-06, 1.0096644473378547e-05, 1.0457621101522818e-05, 1.0818596820172388e-05, 1.1179572538821958e-05]}, "gradients/bert.encoder.layer.5.output.dense.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 1.0, 1.0, 2.0, 3.0, 0.0, 1.0, 4.0, 7.0, 4.0, 9.0, 9.0, 13.0, 17.0, 17.0, 25.0, 21.0, 30.0, 33.0, 41.0, 35.0, 37.0, 46.0, 44.0, 38.0, 39.0, 41.0, 51.0, 48.0, 44.0, 32.0, 38.0, 42.0, 34.0, 29.0, 28.0, 15.0, 21.0, 18.0, 12.0, 12.0, 16.0, 11.0, 8.0, 10.0, 11.0, 5.0, 4.0, 2.0, 2.0, 1.0, 3.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.18820228939876e-06, -6.937542821106035e-06, -6.686883352813311e-06, -6.436223884520587e-06, -6.185564416227862e-06, -5.934904947935138e-06, -5.6842459343897644e-06, -5.43358646609704e-06, -5.182926997804316e-06, -4.932267529511591e-06, -4.681608061218867e-06, -4.430948592926143e-06, -4.180289579380769e-06, -3.929630111088045e-06, -3.6789706427953206e-06, -3.4283111745025963e-06, -3.177651706209872e-06, -2.9269922379171476e-06, -2.6763327696244232e-06, -2.4256735287053743e-06, -2.17501406041265e-06, -1.9243545921199257e-06, -1.673695237514039e-06, -1.4230358829081524e-06, -1.172376414615428e-06, -9.217170031661226e-07, -6.710575917168171e-07, -4.2039818026751163e-07, -1.6973876881820615e-07, 8.092069947451819e-08, 3.315800540804048e-07, 5.822394086862914e-07, 8.328988769790158e-07, 1.0835583452717401e-06, 1.3342176998776267e-06, 1.5848770544835133e-06, 1.8355365227762377e-06, 2.086195991068962e-06, 2.336855231988011e-06, 2.5875147002807353e-06, 2.8381741685734596e-06, 3.088833636866184e-06, 3.3394931051589083e-06, 3.590152346077957e-06, 3.840811586997006e-06, 4.0914710552897304e-06, 4.342130523582455e-06, 4.592789991875179e-06, 4.8434494601679035e-06, 5.094108928460628e-06, 5.344768396753352e-06, 5.5954278650460765e-06, 5.846087333338801e-06, 6.096746801631525e-06, 6.347405815176899e-06, 6.598065283469623e-06, 6.848724751762347e-06, 7.099384220055072e-06, 7.350043688347796e-06, 7.60070315664052e-06, 7.851362170185894e-06, 8.102021638478618e-06, 8.352681106771342e-06, 8.603340575064067e-06, 8.854000043356791e-06]}, "gradients/bert.encoder.layer.5.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 3.0, 2.0, 5.0, 4.0, 3.0, 7.0, 12.0, 17.0, 34.0, 41.0, 54.0, 77.0, 125.0, 185.0, 283.0, 459.0, 739.0, 1295.0, 2410.0, 4780.0, 13793.0, 73822.0, 1226529.0, 2659555.0, 173462.0, 22390.0, 6986.0, 2994.0, 1587.0, 935.0, 564.0, 374.0, 258.0, 158.0, 118.0, 64.0, 55.0, 40.0, 22.0, 22.0, 9.0, 9.0, 3.0, 4.0, 4.0, 3.0, 0.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.554954178573098e-05, -1.5016668839962222e-05, -1.4483795894193463e-05, -1.3950922038930003e-05, -1.3418049093161244e-05, -1.2885176147392485e-05, -1.2352302292129025e-05, -1.1819429346360266e-05, -1.1286556400591508e-05, -1.0753683454822749e-05, -1.022081050905399e-05, -9.68793665379053e-06, -9.155063708021771e-06, -8.622190762253013e-06, -8.089316906989552e-06, -7.5564439612207934e-06, -7.023571015452035e-06, -6.490698069683276e-06, -5.9578246691671666e-06, -5.424951268651057e-06, -4.892078322882298e-06, -4.35920537711354e-06, -3.82633197659743e-06, -3.293458803454996e-06, -2.760585630312562e-06, -2.227712457170128e-06, -1.6948392840276938e-06, -1.1619661108852597e-06, -6.290929377428256e-07, -9.62197646003915e-08, 4.366534085420426e-07, 9.695265816844767e-07, 1.5024015738163143e-06, 2.0352747469587484e-06, 2.5681479201011825e-06, 3.1010210932436166e-06, 3.6338942663860507e-06, 4.166767212154809e-06, 4.699640612670919e-06, 5.2325140131870285e-06, 5.765386958955787e-06, 6.298259904724546e-06, 6.831133305240655e-06, 7.364006705756765e-06, 7.896879651525524e-06, 8.429752597294282e-06, 8.962626452557743e-06, 9.495499398326501e-06, 1.002837234409526e-05, 1.0561245289864019e-05, 1.1094118235632777e-05, 1.1626992090896238e-05, 1.2159865036664996e-05, 1.2692737982433755e-05, 1.3225611837697215e-05, 1.3758484783465974e-05, 1.4291357729234733e-05, 1.4824230675003491e-05, 1.535710362077225e-05, 1.588997656654101e-05, 1.642285133129917e-05, 1.695572427706793e-05, 1.7488597222836688e-05, 1.8021470168605447e-05, 1.8554343114374205e-05]}, "gradients/bert.encoder.layer.5.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 4.0, 2.0, 7.0, 5.0, 6.0, 15.0, 13.0, 20.0, 27.0, 36.0, 76.0, 88.0, 214.0, 379.0, 650.0, 864.0, 664.0, 424.0, 236.0, 129.0, 57.0, 44.0, 29.0, 21.0, 19.0, 15.0, 8.0, 9.0, 1.0, 3.0, 5.0, 4.0, 0.0, 3.0, 2.0, 2.0, 1.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-5.149997377884574e-06, -4.9926270548894536e-06, -4.835256731894333e-06, -4.677885954151861e-06, -4.520515631156741e-06, -4.36314530816162e-06, -4.205774985166499e-06, -4.048404662171379e-06, -3.891033884428907e-06, -3.7336635614337865e-06, -3.5762930110649904e-06, -3.4189226880698698e-06, -3.2615521377010737e-06, -3.104181814705953e-06, -2.9468114917108323e-06, -2.7894411687157117e-06, -2.632070845720591e-06, -2.4747005227254704e-06, -2.3173299723566743e-06, -2.1599596493615536e-06, -2.0025890989927575e-06, -1.8452187759976368e-06, -1.6878484530025162e-06, -1.5304780163205578e-06, -1.3731075796385994e-06, -1.215737142956641e-06, -1.0583667062746827e-06, -9.00996383279562e-07, -7.436259465976036e-07, -5.862555099156452e-07, -4.288851300771057e-07, -2.715147502385662e-07, -1.1414431355660781e-07, 4.322609470364114e-08, 2.005965029638901e-07, 3.5796691122413904e-07, 5.15337319484388e-07, 6.727077561663464e-07, 8.300781360048859e-07, 9.874485158434254e-07, 1.1448189525253838e-06, 1.3021893892073422e-06, 1.4595598258893006e-06, 1.6169301488844212e-06, 1.7743005855663796e-06, 1.931671022248338e-06, 2.0890413452434586e-06, 2.2464118956122547e-06, 2.4037822186073754e-06, 2.561152541602496e-06, 2.718523091971292e-06, 2.875893414966413e-06, 3.033263965335209e-06, 3.1906342883303296e-06, 3.3480046113254502e-06, 3.505374934320571e-06, 3.662745484689367e-06, 3.820116035058163e-06, 3.977486358053284e-06, 4.1348566810484044e-06, 4.292227004043525e-06, 4.449597327038646e-06, 4.606968104781117e-06, 4.764338427776238e-06, 4.921708750771359e-06]}, "gradients/bert.encoder.layer.5.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 3.0, 2.0, 3.0, 4.0, 8.0, 6.0, 18.0, 21.0, 31.0, 59.0, 91.0, 163.0, 383.0, 1424.0, 4044939.0, 145705.0, 826.0, 285.0, 106.0, 67.0, 39.0, 32.0, 22.0, 15.0, 12.0, 4.0, 8.0, 5.0, 4.0, 5.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0], "bins": [-0.0002291205310029909, -0.0002232297556474805, -0.0002173389948438853, -0.0002114482194883749, -0.00020555744413286448, -0.00019966666877735406, -0.00019377590797375888, -0.00018788513261824846, -0.00018199435726273805, -0.00017610358190722764, -0.00017021282110363245, -0.00016432204574812204, -0.00015843127039261162, -0.0001525404950371012, -0.00014664973423350602, -0.0001407589588779956, -0.00013486819807440042, -0.00012897742271889, -0.00012308666191529483, -0.00011719588655978441, -0.000111305111204274, -0.0001054143431247212, -9.95235750451684e-05, -9.363279968965799e-05, -8.774202433414757e-05, -8.185125625459477e-05, -7.596048089908436e-05, -7.006971281953156e-05, -6.417893746402115e-05, -5.828816938446835e-05, -5.239739766693674e-05, -4.6506625949405134e-05, -4.061585059389472e-05, -3.4725078876363114e-05, -2.8834307158831507e-05, -2.2943537260289304e-05, -1.7052765542757697e-05, -1.1161993825226091e-05, -5.271223926683888e-06, 6.195477908477187e-07, 6.510319508379325e-06, 1.2401091225910932e-05, 1.829186294344254e-05, 2.418263284198474e-05, 3.0073404559516348e-05, 3.596417809603736e-05, 4.185494617559016e-05, 4.7745717893121764e-05, 5.363648961065337e-05, 5.952726132818498e-05, 6.541803304571658e-05, 7.130880112526938e-05, 7.71995764807798e-05, 8.30903445603326e-05, 8.898111991584301e-05, 9.487188799539581e-05, 0.00010076265607494861, 0.00010665342415450141, 0.00011254419951001182, 0.00011843496758956462, 0.00012432574294507504, 0.00013021651830058545, 0.00013610727910418063, 0.00014199805445969105, 0.00014788882981520146]}, "gradients/bert.encoder.layer.5.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [3.0, 0.0, 4.0, 9.0, 16.0, 17.0, 40.0, 59.0, 103.0, 165.0, 180.0, 140.0, 111.0, 79.0, 43.0, 31.0, 10.0, 6.0, 5.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.391166036541108e-06, -6.697285243717488e-06, -6.003404450893868e-06, -5.3095241128175985e-06, -4.615643319993978e-06, -3.921762527170358e-06, -3.227882189094089e-06, -2.534001396270469e-06, -1.8401206034468487e-06, -1.1462399243100663e-06, -4.5235924517328385e-07, 2.4152132027666084e-07, 9.35402113100281e-07, 1.6292829059239011e-06, 2.3231632440001704e-06, 3.0170440368237905e-06, 3.7109248296474107e-06, 4.404805622471031e-06, 5.098686415294651e-06, 5.79256675337092e-06, 6.48644754619454e-06, 7.1803283390181605e-06, 7.87420867709443e-06, 8.56808946991805e-06, 9.26197026274167e-06, 9.95585105556529e-06, 1.064973184838891e-05, 1.134361264121253e-05, 1.203749343403615e-05, 1.273137422685977e-05, 1.3425254110188689e-05, 1.411913490301231e-05, 1.4813016605330631e-05, 1.550689739815425e-05, 1.620077819097787e-05, 1.689465898380149e-05, 1.7588539776625112e-05, 1.8282420569448732e-05, 1.8976301362272352e-05, 1.967018033610657e-05, 2.0364062947919592e-05, 2.1057943740743212e-05, 2.1751824533566833e-05, 2.2445705326390453e-05, 2.3139586119214073e-05, 2.3833466912037693e-05, 2.4527347704861313e-05, 2.522122667869553e-05, 2.591510747151915e-05, 2.660898826434277e-05, 2.730286905716639e-05, 2.799674984999001e-05, 2.869063064281363e-05, 2.938451143563725e-05, 3.0078390409471467e-05, 3.077227302128449e-05, 3.146615199511871e-05, 3.2160030968952924e-05, 3.285391358076595e-05, 3.3547792554600164e-05, 3.424167516641319e-05, 3.4935554140247405e-05, 3.562943675206043e-05, 3.6323315725894645e-05, 3.701719833770767e-05]}, "gradients/bert.encoder.layer.5.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 2.0, 4.0, 3.0, 3.0, 5.0, 8.0, 3.0, 9.0, 11.0, 14.0, 12.0, 21.0, 15.0, 22.0, 36.0, 25.0, 38.0, 32.0, 38.0, 39.0, 43.0, 35.0, 39.0, 46.0, 54.0, 39.0, 49.0, 51.0, 48.0, 27.0, 35.0, 33.0, 31.0, 22.0, 22.0, 17.0, 11.0, 16.0, 13.0, 8.0, 8.0, 3.0, 4.0, 9.0, 6.0, 4.0, 1.0, 1.0, 0.0, 2.0, 1.0, 2.0, 1.0], "bins": [-9.56421354203485e-06, -9.289817171520554e-06, -9.015420801006258e-06, -8.741024430491962e-06, -8.466628059977666e-06, -8.192232598958071e-06, -7.917836228443775e-06, -7.64343985792948e-06, -7.369043487415183e-06, -7.094647116900887e-06, -6.820250746386591e-06, -6.545854830619646e-06, -6.27145846010535e-06, -5.997062089591054e-06, -5.722666173824109e-06, -5.448269803309813e-06, -5.173873432795517e-06, -4.899477062281221e-06, -4.625080691766925e-06, -4.35068477599998e-06, -4.076288405485684e-06, -3.801892034971388e-06, -3.5274958918307675e-06, -3.253099748690147e-06, -2.978703378175851e-06, -2.704307007661555e-06, -2.4299108645209344e-06, -2.155514721380314e-06, -1.8811183508660179e-06, -1.6067220940385596e-06, -1.3323258372111013e-06, -1.0579296940704808e-06, -7.835342330508865e-07, -5.091379762234283e-07, -2.3474171939597e-07, 3.965453743148828e-08, 3.1405079425894655e-07, 5.884470510864048e-07, 8.628433079138631e-07, 1.1372394510544837e-06, 1.4116358215687796e-06, 1.686032078396238e-06, 1.960428335223696e-06, 2.2348244783643167e-06, 2.5092208488786127e-06, 2.7836172193929087e-06, 3.0580133625335293e-06, 3.33240950567415e-06, 3.606805876188446e-06, 3.881202246702742e-06, 4.155598617217038e-06, 4.429994532983983e-06, 4.704390903498279e-06, 4.978787274012575e-06, 5.25318318977952e-06, 5.527579560293816e-06, 5.801975930808112e-06, 6.076372301322408e-06, 6.350768671836704e-06, 6.625164587603649e-06, 6.899560958117945e-06, 7.173957328632241e-06, 7.448353244399186e-06, 7.722749614913482e-06, 7.997145985427778e-06]}, "gradients/bert.encoder.layer.5.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 3.0, 2.0, 1.0, 6.0, 9.0, 7.0, 6.0, 7.0, 11.0, 5.0, 15.0, 27.0, 35.0, 28.0, 31.0, 29.0, 33.0, 50.0, 44.0, 42.0, 36.0, 48.0, 36.0, 37.0, 45.0, 49.0, 47.0, 46.0, 38.0, 37.0, 18.0, 17.0, 32.0, 29.0, 16.0, 17.0, 14.0, 12.0, 14.0, 8.0, 3.0, 5.0, 6.0, 6.0, 2.0, 1.0, 4.0, 0.0, 1.0, 4.0], "bins": [-1.2414870070642792e-05, -1.207874265674036e-05, -1.1742615242837928e-05, -1.1406487828935497e-05, -1.1070360415033065e-05, -1.0734233001130633e-05, -1.0398105587228201e-05, -1.006197817332577e-05, -9.725850759423338e-06, -9.389723345520906e-06, -9.053595931618474e-06, -8.717468517716043e-06, -8.381341103813611e-06, -8.04521368991118e-06, -7.709086276008748e-06, -7.372958407358965e-06, -7.036830538709182e-06, -6.7007031248067506e-06, -6.364575710904319e-06, -6.028448297001887e-06, -5.692320883099455e-06, -5.356193469197024e-06, -5.020065600547241e-06, -4.683938186644809e-06, -4.347810772742378e-06, -4.011683358839946e-06, -3.675555944937514e-06, -3.339428303661407e-06, -3.0033008897589752e-06, -2.6671734758565435e-06, -2.3310458345804363e-06, -1.9949184206780046e-06, -1.6587900972808711e-06, -1.3226626833784394e-06, -9.8653515578917e-07, -6.504076281999005e-07, -3.142802142974688e-07, 2.1847199604962952e-08, 3.579748408810701e-07, 6.941022547835018e-07, 1.0302296686859336e-06, 1.3663570825883653e-06, 1.7024846101776347e-06, 2.038612137766904e-06, 2.374739551669336e-06, 2.7108669655717677e-06, 3.046994606847875e-06, 3.3831220207503065e-06, 3.7192494346527383e-06, 4.05537684855517e-06, 4.391504262457602e-06, 4.7276316763600335e-06, 5.063759090262465e-06, 5.399886504164897e-06, 5.7360143728146795e-06, 6.072141786717111e-06, 6.408269200619543e-06, 6.744396614521975e-06, 7.0805240284244064e-06, 7.416651897074189e-06, 7.75277931097662e-06, 8.088906724879052e-06, 8.425034138781484e-06, 8.761161552683916e-06, 9.097288966586348e-06]}, "gradients/bert.encoder.layer.5.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 2.0, 6.0, 10.0, 11.0, 11.0, 29.0, 34.0, 78.0, 76.0, 154.0, 206.0, 329.0, 487.0, 772.0, 1295.0, 2307.0, 4170.0, 7594.0, 14950.0, 31148.0, 72636.0, 172685.0, 307753.0, 237629.0, 106294.0, 44600.0, 20261.0, 10211.0, 5272.0, 3021.0, 1770.0, 1024.0, 607.0, 385.0, 232.0, 176.0, 118.0, 80.0, 55.0, 18.0, 20.0, 16.0, 8.0, 6.0, 3.0, 7.0, 1.0, 3.0, 1.0, 0.0, 1.0, 2.0], "bins": [-9.232908269041218e-06, -8.966963832790498e-06, -8.701019396539778e-06, -8.435074960289057e-06, -8.169130524038337e-06, -7.903186087787617e-06, -7.637241651536897e-06, -7.371297215286177e-06, -7.1053527790354565e-06, -6.839408342784736e-06, -6.573463906534016e-06, -6.307519470283296e-06, -6.041575034032576e-06, -5.775630597781856e-06, -5.5096861615311354e-06, -5.243741725280415e-06, -4.977797743777046e-06, -4.711853307526326e-06, -4.445908871275606e-06, -4.1799644350248855e-06, -3.914019998774165e-06, -3.648075562523445e-06, -3.3821313536464004e-06, -3.11618691739568e-06, -2.85024248114496e-06, -2.58429804489424e-06, -2.3183536086435197e-06, -2.052409399766475e-06, -1.786464849828917e-06, -1.520520413578197e-06, -1.2545760910143144e-06, -9.886316547635943e-07, -7.226872185128741e-07, -4.5674281068386335e-07, -1.907984028548526e-07, 7.51459765524487e-08, 3.410904128031689e-07, 6.07034849053889e-07, 8.729791716177715e-07, 1.1389236078684917e-06, 1.4048680441192118e-06, 1.670812480369932e-06, 1.936756916620652e-06, 2.202701125497697e-06, 2.468645561748417e-06, 2.7345899979991373e-06, 3.0005344342498574e-06, 3.2664788705005776e-06, 3.5324233067512978e-06, 3.798367743002018e-06, 4.064312179252738e-06, 4.330256615503458e-06, 4.5962010517541785e-06, 4.862145488004899e-06, 5.128089469508268e-06, 5.394033905758988e-06, 5.659978342009708e-06, 5.9259227782604285e-06, 6.191867214511149e-06, 6.457811650761869e-06, 6.723756087012589e-06, 6.989700523263309e-06, 7.255644959514029e-06, 7.5215893957647495e-06, 7.78753383201547e-06]}, "gradients/bert.encoder.layer.5.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 2.0, 3.0, 6.0, 5.0, 4.0, 9.0, 12.0, 18.0, 11.0, 17.0, 18.0, 16.0, 25.0, 30.0, 28.0, 29.0, 32.0, 33.0, 35.0, 39.0, 42.0, 47.0, 38.0, 43.0, 38.0, 40.0, 42.0, 36.0, 52.0, 29.0, 28.0, 28.0, 33.0, 24.0, 22.0, 21.0, 22.0, 12.0, 5.0, 6.0, 8.0, 8.0, 6.0, 7.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 2.0, 1.0, 0.0, 2.0], "bins": [-8.067599992500618e-06, -7.799376362527255e-06, -7.531152732553892e-06, -7.262929102580529e-06, -6.9947054726071656e-06, -6.7264818426338024e-06, -6.458258212660439e-06, -6.190034582687076e-06, -5.921810952713713e-06, -5.65358732274035e-06, -5.385363692766987e-06, -5.117140062793624e-06, -4.8489164328202605e-06, -4.580692802846897e-06, -4.312469172873534e-06, -4.044245542900171e-06, -3.776021912926808e-06, -3.507798282953445e-06, -3.2395746529800817e-06, -2.9713510230067186e-06, -2.7031273930333555e-06, -2.4349037630599923e-06, -2.1666801330866292e-06, -1.898456503113266e-06, -1.630232873139903e-06, -1.3620092431665398e-06, -1.0937856131931767e-06, -8.255619832198136e-07, -5.573383532464504e-07, -2.891147232730873e-07, -2.089109329972416e-08, 2.4733253667363897e-07, 5.155561666470021e-07, 7.837797966203652e-07, 1.0520034265937284e-06, 1.3202270565670915e-06, 1.5884506865404546e-06, 1.8566743165138178e-06, 2.124897946487181e-06, 2.393121576460544e-06, 2.661345206433907e-06, 2.9295688364072703e-06, 3.1977924663806334e-06, 3.4660160963539965e-06, 3.7342397263273597e-06, 4.002463356300723e-06, 4.270686986274086e-06, 4.538910616247449e-06, 4.807134246220812e-06, 5.075357876194175e-06, 5.3435815061675385e-06, 5.611805136140902e-06, 5.880028766114265e-06, 6.148252396087628e-06, 6.416476026060991e-06, 6.684699656034354e-06, 6.952923286007717e-06, 7.22114691598108e-06, 7.4893705459544435e-06, 7.757594175927807e-06, 8.02581780590117e-06, 8.294041435874533e-06, 8.562265065847896e-06, 8.83048869582126e-06, 9.098712325794622e-06]}, "gradients/bert.encoder.layer.5.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 3.0, 2.0, 3.0, 4.0, 9.0, 7.0, 15.0, 12.0, 14.0, 14.0, 12.0, 22.0, 31.0, 28.0, 29.0, 38.0, 32.0, 59.0, 83.0, 112.0, 156.0, 309.0, 567908.0, 478689.0, 273.0, 157.0, 102.0, 95.0, 65.0, 53.0, 36.0, 21.0, 37.0, 21.0, 23.0, 16.0, 26.0, 7.0, 6.0, 9.0, 10.0, 7.0, 5.0, 2.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-0.00013453121937345713, -0.00013004570791963488, -0.0001255601819138974, -0.00012107467046007514, -0.00011658915900625288, -0.00011210364027647302, -0.00010761812154669315, -0.00010313261009287089, -9.864709136309102e-05, -9.416157263331115e-05, -8.96760611794889e-05, -8.519054244970903e-05, -8.070502371992916e-05, -7.62195122661069e-05, -7.173399353632703e-05, -6.724847480654716e-05, -6.276296335272491e-05, -5.827744826092385e-05, -5.3791933169122785e-05, -4.9306414439342916e-05, -4.4820899347541854e-05, -4.033538425574079e-05, -3.584986552596092e-05, -3.136435043415986e-05, -2.6878835342358798e-05, -2.2393320250557736e-05, -1.790780333976727e-05, -1.3422287338471506e-05, -8.936771337175742e-06, -4.4512562453746796e-06, 3.426066541578621e-08, 4.519777576206252e-06, 9.005278116092086e-06, 1.349079411738785e-05, 1.7976310118683614e-05, 2.246182702947408e-05, 2.6947342121275142e-05, 3.1432857213076204e-05, 3.591837594285607e-05, 4.0403891034657136e-05, 4.48894061264582e-05, 4.937492121825926e-05, 5.386043631006032e-05, 5.834595503984019e-05, 6.283147376962006e-05, 6.731698522344232e-05, 7.180250395322219e-05, 7.628802268300205e-05, 8.077353413682431e-05, 8.525905286660418e-05, 8.974456432042643e-05, 9.42300830502063e-05, 9.871559450402856e-05, 0.00010320111323380843, 0.0001076866319635883, 0.00011217214341741055, 0.00011665766214719042, 0.00012114318087697029, 0.00012562869233079255, 0.0001301142037846148, 0.00013459972979035228, 0.00013908524124417454, 0.0001435707526979968, 0.00014805627870373428, 0.00015254179015755653]}, "gradients/bert.encoder.layer.5.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 3.0, 1.0, 4.0, 1.0, 7.0, 4.0, 2.0, 9.0, 11.0, 11.0, 21.0, 27.0, 46.0, 61.0, 114.0, 144.0, 175.0, 123.0, 95.0, 84.0, 21.0, 16.0, 6.0, 8.0, 3.0, 6.0, 4.0, 4.0, 1.0, 1.0, 0.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.684341886080801e-13, -5.538902669854906e-13, -5.39346345362901e-13, -5.248024237403115e-13, -5.102585021177219e-13, -4.957145804951324e-13, -4.811706588725428e-13, -4.666267372499533e-13, -4.5208281562736374e-13, -4.375388940047742e-13, -4.2299497238218464e-13, -4.084510507595951e-13, -3.9390712913700554e-13, -3.79363207514416e-13, -3.6481928589182644e-13, -3.502753642692369e-13, -3.3573144264664734e-13, -3.211875210240578e-13, -3.0664359940146824e-13, -2.920996777788787e-13, -2.7755575615628914e-13, -2.630118345336996e-13, -2.4846791291111003e-13, -2.339239912885205e-13, -2.1938006966593093e-13, -2.0483614804334138e-13, -1.9029222642075183e-13, -1.7574830479816228e-13, -1.6120438317557273e-13, -1.4666046155298318e-13, -1.3211653993039363e-13, -1.1757261830780408e-13, -1.0302869668521453e-13, -8.848477506262498e-14, -7.394085344003543e-14, -5.939693181744587e-14, -4.4853010194856324e-14, -3.0309088572266774e-14, -1.5765166949677223e-14, -1.2212453270876722e-15, 1.3322676295501878e-14, 2.786659791809143e-14, 4.241051954068098e-14, 5.695444116327053e-14, 7.149836278586008e-14, 8.604228440844963e-14, 1.0058620603103918e-13, 1.1513012765362873e-13, 1.2967404927621828e-13, 1.4421797089880783e-13, 1.5876189252139739e-13, 1.7330581414398694e-13, 1.8784973576657649e-13, 2.0239365738916604e-13, 2.169375790117556e-13, 2.3148150063434514e-13, 2.460254222569347e-13, 2.6056934387952424e-13, 2.751132655021138e-13, 2.8965718712470334e-13, 3.042011087472929e-13, 3.1874503036988244e-13, 3.33288951992472e-13, 3.4783287361506154e-13, 3.623767952376511e-13]}, "gradients/bert.encoder.layer.5.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 6.0, 3.0, 5.0, 4.0, 7.0, 15.0, 21.0, 32.0, 58.0, 124.0, 285.0, 639.0, 1819.0, 6549.0, 31487.0, 353251.0, 592976.0, 48300.0, 8987.0, 2499.0, 816.0, 327.0, 156.0, 71.0, 54.0, 23.0, 22.0, 4.0, 8.0, 4.0, 1.0, 4.0, 2.0, 1.0, 3.0, 1.0, 0.0, 1.0, 1.0], "bins": [-1.1670570529531687e-05, -1.138670904765604e-05, -1.1102848475275096e-05, -1.0818986993399449e-05, -1.0535126421018504e-05, -1.0251264939142857e-05, -9.967404366761912e-06, -9.683542884886265e-06, -9.39968231250532e-06, -9.115820830629673e-06, -8.831960258248728e-06, -8.548098776373081e-06, -8.264238203992136e-06, -7.980376722116489e-06, -7.696516149735544e-06, -7.412654667859897e-06, -7.128793640731601e-06, -6.844932613603305e-06, -6.561071586475009e-06, -6.277210559346713e-06, -5.993349532218417e-06, -5.709488505090121e-06, -5.425627023214474e-06, -5.141766450833529e-06, -4.857904968957882e-06, -4.574043941829586e-06, -4.2901829147012904e-06, -4.0063218875729945e-06, -3.7224608604446985e-06, -3.4385998333164025e-06, -3.154738578814431e-06, -2.870877551686135e-06, -2.5870167519315146e-06, -2.3031557248032186e-06, -2.0192946976749226e-06, -1.735433556859789e-06, -1.451572529731493e-06, -1.167711502603197e-06, -8.838503617880633e-07, -5.999893346597673e-07, -3.1612830753147136e-07, -3.226725198146596e-08, 2.5159380356853944e-07, 5.354548875402543e-07, 8.193159146685502e-07, 1.1031769417968462e-06, 1.38703808261198e-06, 1.6708991097402759e-06, 1.954760136868572e-06, 2.238621163996868e-06, 2.522482191125164e-06, 2.8063432182534598e-06, 3.0902042453817558e-06, 3.3740652725100517e-06, 3.657926527012023e-06, 3.941787326766644e-06, 4.2256488086422905e-06, 4.5095098357705865e-06, 4.7933708628988825e-06, 5.0772318900271785e-06, 5.3610929171554744e-06, 5.64495394428377e-06, 5.928814971412066e-06, 6.212676453287713e-06, 6.496537025668658e-06]}, "gradients/bert.encoder.layer.5.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0, 0.0, 3.0, 3.0, 2.0, 5.0, 8.0, 18.0, 20.0, 26.0, 34.0, 56.0, 79.0, 127.0, 135.0, 158.0, 103.0, 82.0, 51.0, 27.0, 22.0, 12.0, 12.0, 10.0, 7.0, 5.0, 2.0, 3.0, 2.0, 2.0, 2.0, 0.0, 3.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.3790864815964596e-06, -2.3022439563646913e-06, -2.2254016585065983e-06, -2.14855913327483e-06, -2.0717166080430616e-06, -1.9948743101849686e-06, -1.9180317849532003e-06, -1.8411893734082696e-06, -1.764346961863339e-06, -1.6875045503184083e-06, -1.6106621387734776e-06, -1.5338196135417093e-06, -1.4569772019967786e-06, -1.380134790451848e-06, -1.3032922652200796e-06, -1.226449853675149e-06, -1.1496074421302183e-06, -1.0727650305852876e-06, -9.95922619040357e-07, -9.190800938085886e-07, -8.422376822636579e-07, -7.653952707187273e-07, -6.885528023303777e-07, -6.117103339420282e-07, -5.348679223970976e-07, -4.580254824304575e-07, -3.811830424638174e-07, -3.043406024971773e-07, -2.2749816253053723e-07, -1.5065572256389714e-07, -7.381328259725706e-08, 3.029185791092459e-09, 7.987136996234767e-08, 1.5671380992898776e-07, 2.3355624989562784e-07, 3.1039868986226793e-07, 3.87241129828908e-07, 4.640835697955481e-07, 5.409260097621882e-07, 6.177684781505377e-07, 6.946108896954684e-07, 7.71453301240399e-07, 8.482957696287485e-07, 9.25138238017098e-07, 1.0019806495620287e-06, 1.0788230611069594e-06, 1.1556655863387277e-06, 1.2325079978836584e-06, 1.309350409428589e-06, 1.3861928209735197e-06, 1.4630352325184504e-06, 1.5398777577502187e-06, 1.6167201692951494e-06, 1.69356258084008e-06, 1.7704051060718484e-06, 1.847247517616779e-06, 1.9240899291617097e-06, 2.000932454393478e-06, 2.077774752251571e-06, 2.1546172774833394e-06, 2.231459802715108e-06, 2.3083021005732007e-06, 2.385144625804969e-06, 2.4619871510367375e-06, 2.5388294488948304e-06]}, "gradients/bert.encoder.layer.5.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 3.0, 10.0, 16.0, 19.0, 27.0, 44.0, 70.0, 246.0, 4013.0, 982982.0, 60076.0, 814.0, 106.0, 44.0, 22.0, 14.0, 18.0, 8.0, 11.0, 8.0, 1.0, 2.0, 3.0, 2.0, 2.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.3880318369483575e-05, -3.2778749300632626e-05, -3.167717659380287e-05, -3.057560752495192e-05, -2.9474036637111567e-05, -2.8372465749271214e-05, -2.7270896680420265e-05, -2.616932579257991e-05, -2.506775490473956e-05, -2.3966184016899206e-05, -2.2864613129058853e-05, -2.1763044060207903e-05, -2.066147317236755e-05, -1.9559902284527197e-05, -1.8458333215676248e-05, -1.7356762327835895e-05, -1.6255191439995542e-05, -1.515362055215519e-05, -1.4052050573809538e-05, -1.2950480595463887e-05, -1.1848909707623534e-05, -1.0747338819783181e-05, -9.64576884143753e-06, -8.544198863091879e-06, -7.442627975251526e-06, -6.3410575421585236e-06, -5.2394871090655215e-06, -4.1379166759725194e-06, -3.0363462428795174e-06, -1.9347758097865153e-06, -8.332053766935132e-07, 2.6836460165213794e-07, 1.369939127471298e-06, 2.4715095605643e-06, 3.573079993657302e-06, 4.674650426750304e-06, 5.776220859843306e-06, 6.877791292936308e-06, 7.97936172602931e-06, 9.080931704374962e-06, 1.0182502592215315e-05, 1.1284073480055667e-05, 1.2385643458401319e-05, 1.348721343674697e-05, 1.4588784324587323e-05, 1.5690355212427676e-05, 1.6791924281278625e-05, 1.7893495169118978e-05, 1.899506605695933e-05, 2.0096636944799684e-05, 2.1198207832640037e-05, 2.2299776901490986e-05, 2.340134778933134e-05, 2.4502918677171692e-05, 2.560448774602264e-05, 2.6706058633862995e-05, 2.7807629521703348e-05, 2.89092004095437e-05, 3.0010771297384053e-05, 3.1112340366235e-05, 3.221390943508595e-05, 3.331548214191571e-05, 3.441705121076666e-05, 3.551862027961761e-05, 3.6620192986447364e-05]}, "gradients/bert.encoder.layer.4.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 13.0, 54.0, 192.0, 417.0, 239.0, 85.0, 14.0, 3.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.444852311280556e-05, -4.271598663763143e-05, -4.0983446524478495e-05, -3.9250910049304366e-05, -3.751837357413024e-05, -3.578583709895611e-05, -3.405330062378198e-05, -3.232076051062904e-05, -3.0588224035454914e-05, -2.8855687560280785e-05, -2.7123149266117252e-05, -2.539061097195372e-05, -2.365807449677959e-05, -2.1925538021605462e-05, -2.019299972744193e-05, -1.8460461433278397e-05, -1.6727924958104268e-05, -1.4995387573435437e-05, -1.3262850188766606e-05, -1.1530312804097775e-05, -9.797775419428945e-06, -8.065238034760114e-06, -6.332700650091283e-06, -4.600163265422452e-06, -2.8676258807536215e-06, -1.1350884960847907e-06, 5.974488885840401e-07, 2.329986273252871e-06, 4.062523657921702e-06, 5.7950610425905325e-06, 7.527598427259363e-06, 9.260135811928194e-06, 1.0992676834575832e-05, 1.2725214219244663e-05, 1.4457751603913493e-05, 1.6190289898077026e-05, 1.7922826373251155e-05, 1.9655362848425284e-05, 2.1387901142588817e-05, 2.312043943675235e-05, 2.4852975911926478e-05, 2.6585512387100607e-05, 2.831805068126414e-05, 3.0050588975427672e-05, 3.17831254506018e-05, 3.351566192577593e-05, 3.5248202038928866e-05, 3.6980738514102995e-05, 3.8713274989277124e-05, 4.0445811464451253e-05, 4.217834793962538e-05, 4.391088805277832e-05, 4.564342452795245e-05, 4.7375961003126577e-05, 4.910850111627951e-05, 5.084103759145364e-05, 5.257357406662777e-05, 5.43061105418019e-05, 5.603864701697603e-05, 5.7771187130128965e-05, 5.9503723605303094e-05, 6.123626371845603e-05, 6.296880019363016e-05, 6.470133666880429e-05, 6.643387314397842e-05]}, "gradients/bert.encoder.layer.4.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 2.0, 5.0, 2.0, 2.0, 3.0, 6.0, 6.0, 7.0, 6.0, 15.0, 10.0, 9.0, 9.0, 17.0, 15.0, 21.0, 21.0, 19.0, 26.0, 31.0, 33.0, 37.0, 39.0, 41.0, 41.0, 27.0, 32.0, 52.0, 38.0, 37.0, 37.0, 40.0, 38.0, 30.0, 25.0, 20.0, 24.0, 24.0, 36.0, 21.0, 13.0, 12.0, 10.0, 10.0, 13.0, 9.0, 9.0, 5.0, 10.0, 6.0, 2.0, 3.0, 2.0, 6.0, 2.0, 0.0, 1.0, 3.0, 1.0], "bins": [-9.344221325591207e-06, -9.056910130311735e-06, -8.769599844526965e-06, -8.482288649247494e-06, -8.194977453968022e-06, -7.907667168183252e-06, -7.620355972903781e-06, -7.333044777624309e-06, -7.045734037092188e-06, -6.758423296560068e-06, -6.471112101280596e-06, -6.183801360748475e-06, -5.896490620216355e-06, -5.609179424936883e-06, -5.3218686844047625e-06, -5.034557943872642e-06, -4.74724674859317e-06, -4.4599360080610495e-06, -4.172624812781578e-06, -3.885314072249457e-06, -3.598003104343661e-06, -3.310692136437865e-06, -3.0233813959057443e-06, -2.736070427999948e-06, -2.448759460094152e-06, -2.161448492188356e-06, -1.8741376379693975e-06, -1.586826783750439e-06, -1.299515815844643e-06, -1.0122048479388468e-06, -7.248939937198884e-07, -4.3758313950093e-07, -1.5027308108983561e-07, 1.3703782997254166e-07, 4.2434874103491893e-07, 7.116596520972962e-07, 9.989705631596735e-07, 1.2862815310654696e-06, 1.573592385284428e-06, 1.8609032395033864e-06, 2.1482142074091826e-06, 2.4355251753149787e-06, 2.722836143220775e-06, 3.0101468837528955e-06, 3.2974578516586917e-06, 3.5847688195644878e-06, 3.8720795600966085e-06, 4.159390300628729e-06, 4.446701495908201e-06, 4.7340122364403214e-06, 5.021323431719793e-06, 5.308634172251914e-06, 5.595945367531385e-06, 5.883256108063506e-06, 6.170566848595627e-06, 6.457878043875098e-06, 6.745188784407219e-06, 7.03249952493934e-06, 7.319810720218811e-06, 7.607121460750932e-06, 7.894432201283053e-06, 8.181743396562524e-06, 8.469054591841996e-06, 8.756364877626766e-06, 9.043676072906237e-06]}, "gradients/bert.encoder.layer.4.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 2.0, 3.0, 4.0, 2.0, 5.0, 2.0, 5.0, 8.0, 12.0, 16.0, 13.0, 16.0, 23.0, 24.0, 22.0, 16.0, 38.0, 30.0, 40.0, 39.0, 41.0, 37.0, 53.0, 37.0, 43.0, 40.0, 41.0, 44.0, 46.0, 37.0, 34.0, 26.0, 33.0, 25.0, 19.0, 24.0, 8.0, 18.0, 16.0, 11.0, 16.0, 4.0, 5.0, 10.0, 7.0, 6.0, 5.0, 1.0, 2.0, 3.0, 1.0, 3.0, 1.0], "bins": [-7.847104825486895e-06, -7.625717444170732e-06, -7.40433051760192e-06, -7.1829435910331085e-06, -6.961556209716946e-06, -6.740168828400783e-06, -6.5187819018319715e-06, -6.29739497526316e-06, -6.076007593946997e-06, -5.8546202126308344e-06, -5.633233286062023e-06, -5.411846359493211e-06, -5.190458978177048e-06, -4.969071596860886e-06, -4.747684670292074e-06, -4.526297743723262e-06, -4.3049103624070995e-06, -4.083522981090937e-06, -3.862136054522125e-06, -3.640748900579638e-06, -3.4193617466371506e-06, -3.1979745926946634e-06, -2.9765874387521762e-06, -2.755200284809689e-06, -2.533813130867202e-06, -2.3124259769247146e-06, -2.0910388229822274e-06, -1.8696516690397402e-06, -1.648264515097253e-06, -1.4268773611547658e-06, -1.2054902072122786e-06, -9.841030532697914e-07, -7.627158993273042e-07, -5.41328745384817e-07, -3.199415914423298e-07, -9.85544374998426e-08, 1.228327164426446e-07, 3.442198703851318e-07, 5.65607024327619e-07, 7.869941782701062e-07, 1.0083813322125934e-06, 1.2297684861550806e-06, 1.4511556400975678e-06, 1.672542794040055e-06, 1.8939299479825422e-06, 2.1153171019250294e-06, 2.3367042558675166e-06, 2.558091409810004e-06, 2.779478563752491e-06, 3.0008657176949782e-06, 3.2222528716374654e-06, 3.4436400255799526e-06, 3.66502717952244e-06, 3.8864145608386025e-06, 4.107801487407414e-06, 4.329188413976226e-06, 4.550575795292389e-06, 4.771963176608551e-06, 4.993350103177363e-06, 5.214737029746175e-06, 5.4361244110623375e-06, 5.6575117923785e-06, 5.878898718947312e-06, 6.100285645516124e-06, 6.321673026832286e-06]}, "gradients/bert.encoder.layer.4.output.dense.weight": {"_type": "histogram", "values": [1.0, 2.0, 3.0, 4.0, 5.0, 5.0, 8.0, 12.0, 17.0, 24.0, 37.0, 60.0, 70.0, 112.0, 174.0, 207.0, 320.0, 496.0, 656.0, 1025.0, 1549.0, 2470.0, 4192.0, 7790.0, 18816.0, 78549.0, 592411.0, 2593127.0, 759185.0, 91000.0, 21027.0, 8445.0, 4493.0, 2620.0, 1726.0, 1156.0, 805.0, 535.0, 363.0, 248.0, 170.0, 144.0, 74.0, 42.0, 38.0, 23.0, 23.0, 15.0, 8.0, 6.0, 3.0, 2.0, 1.0, 0.0, 3.0, 2.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.839534868660849e-06, -9.48248452914413e-06, -9.125433280132711e-06, -8.768382940615993e-06, -8.411331691604573e-06, -8.054281352087855e-06, -7.697230103076436e-06, -7.340179763559718e-06, -6.983128969295649e-06, -6.62607817503158e-06, -6.269027380767511e-06, -5.911976586503442e-06, -5.5549262469867244e-06, -5.197874997975305e-06, -4.840824658458587e-06, -4.483773864194518e-06, -4.126723069930449e-06, -3.7696722756663803e-06, -3.4126214814023115e-06, -3.055570914511918e-06, -2.6985201202478493e-06, -2.3414693259837804e-06, -1.984418759093387e-06, -1.6273679648293182e-06, -1.2703171705652494e-06, -9.132664331445994e-07, -5.562156957239495e-07, -1.9916501514671836e-07, 1.5788577911735047e-07, 5.149365733814193e-07, 8.719871402718127e-07, 1.2290379345358815e-06, 1.5860878193052486e-06, 1.9431386135693174e-06, 2.3001894078333862e-06, 2.6572399747237796e-06, 3.0142907689878484e-06, 3.3713415632519173e-06, 3.7283921301423106e-06, 4.0854429244063795e-06, 4.442493718670448e-06, 4.799544512934517e-06, 5.156595307198586e-06, 5.513646101462655e-06, 5.870696440979373e-06, 6.227747689990792e-06, 6.58479802950751e-06, 6.941848823771579e-06, 7.298899618035648e-06, 7.655949957552366e-06, 8.013001206563786e-06, 8.370051546080504e-06, 8.727102795091923e-06, 9.084153134608641e-06, 9.441204383620061e-06, 9.798254723136779e-06, 1.0155305062653497e-05, 1.0512355402170215e-05, 1.0869406651181635e-05, 1.1226456990698352e-05, 1.1583508239709772e-05, 1.194055857922649e-05, 1.2297608918743208e-05, 1.2654660167754628e-05, 1.3011711416766047e-05]}, "gradients/bert.encoder.layer.4.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 7.0, 3.0, 5.0, 9.0, 18.0, 56.0, 124.0, 421.0, 1444.0, 1352.0, 387.0, 123.0, 58.0, 32.0, 20.0, 15.0, 6.0, 3.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.511963758588536e-06, -7.198600087576779e-06, -6.885235961817671e-06, -6.5718722908059135e-06, -6.258508619794156e-06, -5.945144948782399e-06, -5.631781277770642e-06, -5.318417152011534e-06, -5.005053480999777e-06, -4.69168980998802e-06, -4.378325684228912e-06, -4.064962013217155e-06, -3.7515983422053978e-06, -3.4382346711936407e-06, -3.124870772808208e-06, -2.8115068744227756e-06, -2.4981432034110185e-06, -2.1847795323992614e-06, -1.8714156340138288e-06, -1.558051849315234e-06, -1.2446880646166392e-06, -9.313242799180443e-07, -6.179604952194495e-07, -3.0459659683401696e-07, 8.767074177740142e-09, 3.2213085887633497e-07, 6.354946435749298e-07, 9.488584282735246e-07, 1.2622222129721195e-06, 1.5755859976707143e-06, 1.888949782369309e-06, 2.2023136807547417e-06, 2.515676897019148e-06, 2.829040568030905e-06, 3.1424044664163375e-06, 3.45576836480177e-06, 3.769132035813527e-06, 4.082495706825284e-06, 4.395859832584392e-06, 4.709223503596149e-06, 5.0225871746079065e-06, 5.335950845619664e-06, 5.649314516631421e-06, 5.962678642390529e-06, 6.276042313402286e-06, 6.589405984414043e-06, 6.902770110173151e-06, 7.216133781184908e-06, 7.529497452196665e-06, 7.842861123208422e-06, 8.15622479422018e-06, 8.469588465231936e-06, 8.782952136243694e-06, 9.096316716750152e-06, 9.40968038776191e-06, 9.723044058773667e-06, 1.0036407729785424e-05, 1.034977140079718e-05, 1.0663135071808938e-05, 1.0976498742820695e-05, 1.1289863323327154e-05, 1.1603226994338911e-05, 1.1916590665350668e-05, 1.2229954336362425e-05, 1.2543318007374182e-05]}, "gradients/bert.encoder.layer.4.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 3.0, 5.0, 4.0, 13.0, 8.0, 29.0, 87.0, 254.0, 1078.0, 4178255.0, 13759.0, 494.0, 161.0, 52.0, 38.0, 19.0, 18.0, 7.0, 3.0, 5.0, 0.0, 3.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0002249325334560126, -0.00021586052025668323, -0.00020678850705735385, -0.00019771649385802448, -0.0001886444806586951, -0.00017957246745936573, -0.00017050045426003635, -0.00016142844106070697, -0.0001523564278613776, -0.00014328441466204822, -0.00013421240146271884, -0.00012514038826338947, -0.00011606837506406009, -0.00010699636186473072, -9.792435594135895e-05, -8.885234274202958e-05, -7.978033681865782e-05, -7.070832361932844e-05, -6.163631041999906e-05, -5.2564300858648494e-05, -4.349228765931912e-05, -3.442027445998974e-05, -2.5348264898639172e-05, -1.6276251699309796e-05, -7.20423849998042e-06, 1.8677737898542546e-06, 1.0939786079688929e-05, 2.0011797460028902e-05, 2.9083810659358278e-05, 3.8155823858687654e-05, 4.722783342003822e-05, 5.62998466193676e-05, 6.537185981869698e-05, 7.444387301802635e-05, 8.351588621735573e-05, 9.25878994166851e-05, 0.00010165991261601448, 0.00011073192581534386, 0.00011980393173871562, 0.0001288759522140026, 0.00013794796541333199, 0.00014701997861266136, 0.00015609199181199074, 0.00016516400501132011, 0.0001742360182106495, 0.00018330803140997887, 0.00019238004460930824, 0.00020145205780863762, 0.00021052405645605177, 0.00021959606965538114, 0.00022866808285471052, 0.0002377400960540399, 0.00024681209470145404, 0.0002558841079007834, 0.0002649561211001128, 0.00027402813429944217, 0.00028310014749877155, 0.0002921721606981009, 0.0003012441738974303, 0.0003103161870967597, 0.00031938820029608905, 0.00032846021349541843, 0.0003375322266947478, 0.0003466042398940772, 0.00035567625309340656]}, "gradients/bert.encoder.layer.4.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 2.0, 0.0, 1.0, 1.0, 2.0, 3.0, 3.0, 2.0, 12.0, 7.0, 6.0, 11.0, 11.0, 27.0, 15.0, 29.0, 32.0, 45.0, 49.0, 59.0, 65.0, 83.0, 73.0, 85.0, 73.0, 73.0, 36.0, 46.0, 31.0, 29.0, 19.0, 18.0, 16.0, 15.0, 11.0, 7.0, 2.0, 6.0, 4.0, 1.0, 2.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.551394785172306e-06, -8.226295904023573e-06, -7.901196113380138e-06, -7.576096777484054e-06, -7.25099744158797e-06, -6.9258981056918856e-06, -6.6007987697958015e-06, -6.275699433899717e-06, -5.950600098003633e-06, -5.625500762107549e-06, -5.300401426211465e-06, -4.975302090315381e-06, -4.650202754419297e-06, -4.325103418523213e-06, -4.000004082627129e-06, -3.6749047467310447e-06, -3.3498054108349606e-06, -3.0247060749388766e-06, -2.6996067390427925e-06, -2.3745074031467084e-06, -2.0494080672506243e-06, -1.7243087313545402e-06, -1.3992093954584561e-06, -1.074110059562372e-06, -7.49010723666288e-07, -4.2391138777020387e-07, -9.881205187411979e-08, 2.262872840219643e-07, 5.513866199180484e-07, 8.764859558141325e-07, 1.2015852917102166e-06, 1.5266846276063006e-06, 1.8517848729970865e-06, 2.1768842088931706e-06, 2.5019835447892547e-06, 2.8270828806853388e-06, 3.152182216581423e-06, 3.477281552477507e-06, 3.802380888373591e-06, 4.127480224269675e-06, 4.452579560165759e-06, 4.777678896061843e-06, 5.102778231957927e-06, 5.4278775678540114e-06, 5.7529769037500955e-06, 6.07807623964618e-06, 6.403175575542264e-06, 6.728274911438348e-06, 7.053374247334432e-06, 7.378473583230516e-06, 7.7035729191266e-06, 8.028671800275333e-06, 8.353771590918768e-06, 8.678871381562203e-06, 9.003970262710936e-06, 9.32906914385967e-06, 9.654168934503105e-06, 9.97926872514654e-06, 1.0304367606295273e-05, 1.0629466487444006e-05, 1.0954566278087441e-05, 1.1279666068730876e-05, 1.1604764949879609e-05, 1.1929863831028342e-05, 1.2254963621671777e-05]}, "gradients/bert.encoder.layer.4.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 2.0, 1.0, 1.0, 11.0, 5.0, 10.0, 8.0, 10.0, 10.0, 14.0, 25.0, 13.0, 12.0, 28.0, 33.0, 34.0, 34.0, 31.0, 38.0, 46.0, 32.0, 44.0, 48.0, 41.0, 39.0, 43.0, 30.0, 47.0, 39.0, 37.0, 32.0, 24.0, 25.0, 21.0, 30.0, 17.0, 21.0, 13.0, 14.0, 12.0, 6.0, 12.0, 6.0, 3.0, 3.0, 2.0, 4.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.747577910777181e-06, -7.493098564737011e-06, -7.238619673444191e-06, -6.98414032740402e-06, -6.72966098136385e-06, -6.47518209007103e-06, -6.220702744030859e-06, -5.966223397990689e-06, -5.711744051950518e-06, -5.457264705910347e-06, -5.202785814617528e-06, -4.948306468577357e-06, -4.693827122537186e-06, -4.439348231244367e-06, -4.184868885204196e-06, -3.930389539164025e-06, -3.6759106478712056e-06, -3.4214315292047104e-06, -3.1669521831645397e-06, -2.9124730644980446e-06, -2.657993718457874e-06, -2.4035145997913787e-06, -2.1490354811248835e-06, -1.8945562487715506e-06, -1.6400770164182177e-06, -1.3855977840648848e-06, -1.1311185517115518e-06, -8.766394330450566e-07, -6.221602006917237e-07, -3.676809683383908e-07, -1.1320184967189562e-07, 1.412773826814373e-07, 3.957566150347702e-07, 6.502358473881031e-07, 9.047150228980172e-07, 1.1591941984079313e-06, 1.4136734307612642e-06, 1.668152663114597e-06, 1.9226317817810923e-06, 2.177111127821263e-06, 2.431590246487758e-06, 2.6860693651542533e-06, 2.940548711194424e-06, 3.195027829860919e-06, 3.4495069485274144e-06, 3.703986294567585e-06, 3.958465640607756e-06, 4.212944531900575e-06, 4.467423877940746e-06, 4.721903223980917e-06, 4.976382115273736e-06, 5.230861461313907e-06, 5.485340807354078e-06, 5.739820153394248e-06, 5.994299044687068e-06, 6.248778390727239e-06, 6.5032572820200585e-06, 6.757736628060229e-06, 7.012215519353049e-06, 7.2666948653932195e-06, 7.52117421143339e-06, 7.77565310272621e-06, 8.03013244876638e-06, 8.284611794806551e-06, 8.539091140846722e-06]}, "gradients/bert.encoder.layer.4.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 7.0, 5.0, 6.0, 10.0, 10.0, 10.0, 12.0, 16.0, 20.0, 29.0, 29.0, 24.0, 33.0, 44.0, 42.0, 29.0, 60.0, 37.0, 46.0, 42.0, 52.0, 41.0, 39.0, 46.0, 43.0, 47.0, 41.0, 28.0, 23.0, 25.0, 27.0, 22.0, 12.0, 15.0, 12.0, 4.0, 9.0, 7.0, 0.0, 5.0, 1.0, 3.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.0469102562638e-05, -1.012993925542105e-05, -9.7907759482041e-06, -9.45161264098715e-06, -9.1124493337702e-06, -8.773286026553251e-06, -8.434122719336301e-06, -8.094959412119351e-06, -7.755796104902402e-06, -7.416632797685452e-06, -7.077469490468502e-06, -6.738306183251552e-06, -6.3991428760346025e-06, -6.059979568817653e-06, -5.720816261600703e-06, -5.381652954383753e-06, -5.0424896471668035e-06, -4.703326339949854e-06, -4.364163032732904e-06, -4.024999725515954e-06, -3.6858364182990044e-06, -3.3466731110820547e-06, -3.007509803865105e-06, -2.668346496648155e-06, -2.3291831894312054e-06, -1.9900198822142556e-06, -1.6508565749973059e-06, -1.3116932677803561e-06, -9.725299605634063e-07, -6.333666533464566e-07, -2.942033461295068e-07, 4.4959961087442935e-08, 3.841232683043927e-07, 7.232865755213425e-07, 1.0624498827382922e-06, 1.401613189955242e-06, 1.7407764971721917e-06, 2.0799398043891415e-06, 2.4191031116060913e-06, 2.758266418823041e-06, 3.0974297260399908e-06, 3.4365930332569405e-06, 3.7757563404738903e-06, 4.11491964769084e-06, 4.45408295490779e-06, 4.79324626212474e-06, 5.132409569341689e-06, 5.471572876558639e-06, 5.810736183775589e-06, 6.149899490992539e-06, 6.489062798209488e-06, 6.828226105426438e-06, 7.167389412643388e-06, 7.506552719860338e-06, 7.845716027077287e-06, 8.184879334294237e-06, 8.524042641511187e-06, 8.863205948728137e-06, 9.202369255945086e-06, 9.541532563162036e-06, 9.880695870378986e-06, 1.0219859177595936e-05, 1.0559022484812886e-05, 1.0898185792029835e-05, 1.1237349099246785e-05]}, "gradients/bert.encoder.layer.4.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 9.0, 8.0, 9.0, 16.0, 21.0, 25.0, 38.0, 54.0, 79.0, 136.0, 180.0, 273.0, 373.0, 631.0, 927.0, 1499.0, 2751.0, 5245.0, 11109.0, 27595.0, 79110.0, 266554.0, 417879.0, 151008.0, 48074.0, 17975.0, 7616.0, 3791.0, 2080.0, 1222.0, 767.0, 474.0, 305.0, 226.0, 159.0, 101.0, 82.0, 44.0, 36.0, 25.0, 24.0, 10.0, 9.0, 8.0, 3.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-1.4535799891746137e-05, -1.4098900464887265e-05, -1.3662001947523095e-05, -1.3225102520664223e-05, -1.278820309380535e-05, -1.235130457644118e-05, -1.1914405149582308e-05, -1.1477506632218137e-05, -1.1040607205359265e-05, -1.0603707778500393e-05, -1.0166809261136223e-05, -9.72990983427735e-06, -9.293010407418478e-06, -8.856111890054308e-06, -8.419212463195436e-06, -7.982313036336564e-06, -7.545414064225042e-06, -7.108515092113521e-06, -6.671615665254649e-06, -6.2347166931431275e-06, -5.797817721031606e-06, -5.360918294172734e-06, -4.924019322061213e-06, -4.4871203499496914e-06, -4.050220923090819e-06, -3.6133217236056225e-06, -3.1764227514941012e-06, -2.7395235520089045e-06, -2.3026245798973832e-06, -1.8657253804121865e-06, -1.4288261809269898e-06, -9.919272088154685e-07, -5.550282367039472e-07, -1.1812912248387875e-07, 3.187699917361897e-07, 7.556691343779676e-07, 1.1925682201763266e-06, 1.6294673059746856e-06, 2.0663665054598823e-06, 2.5032654775714036e-06, 2.9401646770566003e-06, 3.377063876541797e-06, 3.8139628486533184e-06, 4.25086182076484e-06, 4.687761247623712e-06, 5.124660219735233e-06, 5.561559191846754e-06, 5.998458618705627e-06, 6.435357590817148e-06, 6.872256562928669e-06, 7.309155989787541e-06, 7.746055416646414e-06, 8.182953934010584e-06, 8.619853360869456e-06, 9.056751878233626e-06, 9.493651305092499e-06, 9.93055073195137e-06, 1.0367450158810243e-05, 1.0804348676174413e-05, 1.1241248103033286e-05, 1.1678147529892158e-05, 1.2115046047256328e-05, 1.25519454741152e-05, 1.2988844900974073e-05, 1.3425743418338243e-05]}, "gradients/bert.encoder.layer.4.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 4.0, 5.0, 8.0, 5.0, 5.0, 13.0, 6.0, 9.0, 16.0, 15.0, 26.0, 19.0, 27.0, 36.0, 29.0, 42.0, 38.0, 55.0, 61.0, 45.0, 48.0, 71.0, 36.0, 59.0, 41.0, 50.0, 37.0, 36.0, 31.0, 30.0, 31.0, 19.0, 10.0, 12.0, 9.0, 12.0, 9.0, 5.0, 3.0, 1.0, 3.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0], "bins": [-1.2052417332597543e-05, -1.1727733181032818e-05, -1.1403049029468093e-05, -1.107836578739807e-05, -1.0753681635833345e-05, -1.042899748426862e-05, -1.0104313332703896e-05, -9.779629181139171e-06, -9.454945029574446e-06, -9.130260878009722e-06, -8.805576726444997e-06, -8.480892574880272e-06, -8.15620933281025e-06, -7.831525181245524e-06, -7.5068410296808e-06, -7.182156878116075e-06, -6.857473181298701e-06, -6.532789029733976e-06, -6.2081053329166025e-06, -5.883421181351878e-06, -5.558737029787153e-06, -5.234052878222428e-06, -4.909369181405054e-06, -4.58468502984033e-06, -4.260001333022956e-06, -3.935317181458231e-06, -3.6106332572671818e-06, -3.2859493330761325e-06, -2.9612651815114077e-06, -2.6365812573203584e-06, -2.311897333129309e-06, -1.9872131815645844e-06, -1.6625290299998596e-06, -1.3378449921219726e-06, -1.0131609542440856e-06, -6.884770300530363e-07, -3.6379299217514927e-07, -3.9108954297262244e-08, 2.8557496989378706e-07, 6.102591214585118e-07, 9.349430456495611e-07, 1.2596270835274481e-06, 1.5843111214053351e-06, 1.9089950455963844e-06, 2.2336789697874337e-06, 2.5583631213521585e-06, 2.8830470455432078e-06, 3.2077311971079325e-06, 3.532415121298982e-06, 3.8570992728637066e-06, 4.1817829696810804e-06, 4.506467121245805e-06, 4.83115127281053e-06, 5.155835424375255e-06, 5.4805191211926285e-06, 5.805203272757353e-06, 6.129886969574727e-06, 6.454571121139452e-06, 6.779254817956826e-06, 7.1039389695215505e-06, 7.428623121086275e-06, 7.753306817903649e-06, 8.077990969468374e-06, 8.402675121033099e-06, 8.727359272597823e-06]}, "gradients/bert.encoder.layer.4.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 5.0, 9.0, 2.0, 11.0, 7.0, 4.0, 16.0, 14.0, 19.0, 24.0, 27.0, 35.0, 33.0, 43.0, 48.0, 56.0, 132.0, 347.0, 21444.0, 1024368.0, 1303.0, 209.0, 103.0, 50.0, 51.0, 40.0, 35.0, 36.0, 26.0, 14.0, 10.0, 9.0, 13.0, 13.0, 3.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 1.0], "bins": [-0.00021524057956412435, -0.00020961507107131183, -0.00020398956257849932, -0.0001983640540856868, -0.0001927385455928743, -0.00018711302254814655, -0.00018148751405533403, -0.00017586200556252152, -0.000170236497069709, -0.0001646109885768965, -0.00015898548008408397, -0.00015335997159127146, -0.00014773444854654372, -0.0001421089400537312, -0.0001364834315609187, -0.00013085792306810617, -0.00012523241457529366, -0.00011960690608248115, -0.00011398139758966863, -0.0001083558818208985, -0.00010273037332808599, -9.710486483527347e-05, -9.147934906650335e-05, -8.585384057369083e-05, -8.022833208087832e-05, -7.46028235880658e-05, -6.897731509525329e-05, -6.335179932648316e-05, -5.7726290833670646e-05, -5.210078234085813e-05, -4.647527021006681e-05, -4.084975807927549e-05, -3.5224249586462975e-05, -2.9598739274661057e-05, -2.397322896285914e-05, -1.834771865105722e-05, -1.2722208339255303e-05, -7.096698027453385e-06, -1.4711877156514674e-06, 4.154324415139854e-06, 9.779832907952368e-06, 1.5405343219754286e-05, 2.1030853531556204e-05, 2.6656363843358122e-05, 3.228187415516004e-05, 3.7907382647972554e-05, 4.3532894778763875e-05, 4.91584069095552e-05, 5.478391540236771e-05, 6.0409423895180225e-05, 6.603493238799274e-05, 7.166044815676287e-05, 7.728595664957538e-05, 8.29114651423879e-05, 8.853698091115803e-05, 9.416248940397054e-05, 9.978799789678305e-05, 0.00010541350638959557, 0.00011103901488240808, 0.00011666453065117821, 0.00012229004641994834, 0.00012791555491276085, 0.00013354106340557337, 0.00013916657189838588, 0.0001447920803911984]}, "gradients/bert.encoder.layer.4.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0, 1.0, 0.0, 2.0, 2.0, 4.0, 3.0, 0.0, 7.0, 5.0, 9.0, 5.0, 10.0, 12.0, 16.0, 35.0, 21.0, 50.0, 58.0, 87.0, 125.0, 126.0, 151.0, 54.0, 57.0, 42.0, 31.0, 15.0, 30.0, 13.0, 6.0, 9.0, 5.0, 6.0, 1.0, 5.0, 1.0, 2.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 0.0, 3.0, 0.0, 0.0, 1.0], "bins": [-5.897504706808832e-13, -5.734301922188934e-13, -5.571099137569036e-13, -5.407896352949138e-13, -5.24469356832924e-13, -5.081490783709341e-13, -4.918287999089443e-13, -4.755085214469545e-13, -4.591882429849647e-13, -4.4286796452297494e-13, -4.2654768606098514e-13, -4.1022740759899534e-13, -3.9390712913700554e-13, -3.7758685067501574e-13, -3.6126657221302594e-13, -3.4494629375103614e-13, -3.2862601528904634e-13, -3.1230573682705653e-13, -2.9598545836506673e-13, -2.7966517990307693e-13, -2.6334490144108713e-13, -2.4702462297909733e-13, -2.3070434451710753e-13, -2.1438406605511773e-13, -1.9806378759312793e-13, -1.8174350913113813e-13, -1.6542323066914832e-13, -1.4910295220715852e-13, -1.3278267374516872e-13, -1.1646239528317892e-13, -1.0014211682118912e-13, -8.382183835919932e-14, -6.750155989720952e-14, -5.1181281435219717e-14, -3.4861002973229915e-14, -1.8540724511240114e-14, -2.220446049250313e-15, 1.4099832412739488e-14, 3.042011087472929e-14, 4.674038933671909e-14, 6.306066779870889e-14, 7.938094626069869e-14, 9.57012247226885e-14, 1.120215031846783e-13, 1.283417816466681e-13, 1.446620601086579e-13, 1.609823385706477e-13, 1.773026170326375e-13, 1.936228954946273e-13, 2.099431739566171e-13, 2.262634524186069e-13, 2.425837308805967e-13, 2.589040093425865e-13, 2.752242878045763e-13, 2.915445662665661e-13, 3.078648447285559e-13, 3.241851231905457e-13, 3.405054016525355e-13, 3.568256801145253e-13, 3.731459585765151e-13, 3.894662370385049e-13, 4.057865155004947e-13, 4.221067939624845e-13, 4.384270724244743e-13, 4.547473508864641e-13]}, "gradients/bert.encoder.layer.4.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 3.0, 3.0, 7.0, 2.0, 5.0, 7.0, 6.0, 4.0, 10.0, 20.0, 39.0, 87.0, 223.0, 808.0, 3630.0, 21844.0, 274999.0, 692523.0, 45991.0, 6486.0, 1292.0, 355.0, 101.0, 39.0, 24.0, 15.0, 6.0, 3.0, 10.0, 3.0, 6.0, 5.0, 2.0, 0.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 1.0], "bins": [-9.459319699089974e-06, -9.123554264078848e-06, -8.78778791957302e-06, -8.452022484561894e-06, -8.116256140056066e-06, -7.78049070504494e-06, -7.444725270033814e-06, -7.108959380275337e-06, -6.77319349051686e-06, -6.437427600758383e-06, -6.101661710999906e-06, -5.76589627598878e-06, -5.430130386230303e-06, -5.094364496471826e-06, -4.7585990614607e-06, -4.422833171702223e-06, -4.087067281943746e-06, -3.751301392185269e-06, -3.4155357298004674e-06, -3.079770067415666e-06, -2.744004177657189e-06, -2.408238287898712e-06, -2.0724726255139103e-06, -1.7367069631291088e-06, -1.4009410733706318e-06, -1.0651752972989925e-06, -7.294095212273533e-07, -3.93643745155714e-07, -5.787796908407472e-08, 2.7788780698756455e-07, 6.136535830592038e-07, 9.494192454440054e-07, 1.2851851352024823e-06, 1.6209509112741216e-06, 1.956716687345761e-06, 2.2924823497305624e-06, 2.6282482394890394e-06, 2.9640141292475164e-06, 3.299779791632318e-06, 3.6355454540171195e-06, 3.9713113437755965e-06, 4.3070772335340735e-06, 4.6428431232925504e-06, 4.9786085583036765e-06, 5.3143744480621535e-06, 5.6501403378206305e-06, 5.985905772831757e-06, 6.321671662590234e-06, 6.657437552348711e-06, 6.993203442107188e-06, 7.3289693318656646e-06, 7.66473476687679e-06, 8.000501111382619e-06, 8.336266546393745e-06, 8.67203198140487e-06, 9.007797416415997e-06, 9.343563760921825e-06, 9.67932919593295e-06, 1.0015095540438779e-05, 1.0350860975449905e-05, 1.0686626410461031e-05, 1.1022392754966859e-05, 1.1358158189977985e-05, 1.1693924534483813e-05, 1.2029689969494939e-05]}, "gradients/bert.encoder.layer.4.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0, 4.0, 6.0, 5.0, 19.0, 17.0, 21.0, 41.0, 79.0, 99.0, 119.0, 153.0, 133.0, 128.0, 66.0, 38.0, 32.0, 22.0, 14.0, 5.0, 1.0, 4.0, 5.0, 2.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.5143757486366667e-06, -3.4260981465195073e-06, -3.3378207717760233e-06, -3.249543169658864e-06, -3.16126579491538e-06, -3.0729881927982206e-06, -2.984710590681061e-06, -2.896433215937577e-06, -2.8081558411940932e-06, -2.719878239076934e-06, -2.63160086433345e-06, -2.5433232622162905e-06, -2.4550458874728065e-06, -2.366768285355647e-06, -2.2784906832384877e-06, -2.1902133084950037e-06, -2.1019357063778443e-06, -2.013658104260685e-06, -1.925380729517201e-06, -1.8371031274000416e-06, -1.7488257526565576e-06, -1.6605481505393982e-06, -1.5722706621090765e-06, -1.4839931736787548e-06, -1.3957156852484331e-06, -1.3074381968181115e-06, -1.2191607083877898e-06, -1.130883219957468e-06, -1.0426056178403087e-06, -9.543282430968247e-07, -8.660506409796653e-07, -7.777731525493436e-07, -6.894954367453465e-07, -6.012179483150248e-07, -5.129404598847032e-07, -4.246629146109626e-07, -3.3638542618064093e-07, -2.4810793775031925e-07, -1.598303924765787e-07, -7.155290404625703e-08, 1.6724584384064656e-08, 1.0500208702524105e-07, 1.9327958966641745e-07, 2.8155710651844856e-07, 3.6983459494877025e-07, 4.5811208337909193e-07, 5.463896286528325e-07, 6.346671170831542e-07, 7.229446055134758e-07, 8.112220939437975e-07, 8.994995823741192e-07, 9.877771844912786e-07, 1.0760545592347626e-06, 1.164332161351922e-06, 1.2526096497822437e-06, 1.3408871382125653e-06, 1.429164626642887e-06, 1.5174421150732087e-06, 1.6057196035035304e-06, 1.693997091933852e-06, 1.7822746940510115e-06, 1.8705520687944954e-06, 1.958829670911655e-06, 2.047107045655139e-06, 2.135384647772298e-06]}, "gradients/bert.encoder.layer.4.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 8.0, 8.0, 10.0, 24.0, 36.0, 58.0, 135.0, 344.0, 2437.0, 879969.0, 163836.0, 1228.0, 246.0, 96.0, 57.0, 29.0, 21.0, 9.0, 1.0, 1.0, 3.0, 3.0, 5.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-4.624603025149554e-05, -4.508653000812046e-05, -4.392703340272419e-05, -4.2767533159349114e-05, -4.1608032915974036e-05, -4.044853267259896e-05, -3.928903606720269e-05, -3.812953582382761e-05, -3.697003558045253e-05, -3.5810535337077454e-05, -3.465103873168118e-05, -3.3491538488306105e-05, -3.233203824493103e-05, -3.117253800155595e-05, -3.001304139615968e-05, -2.88535411527846e-05, -2.7694042728398927e-05, -2.6534544304013252e-05, -2.5375044060638174e-05, -2.42155456362525e-05, -2.3056045392877422e-05, -2.1896546968491748e-05, -2.073704672511667e-05, -1.9577548300730996e-05, -1.841804987634532e-05, -1.7258551451959647e-05, -1.609905120858457e-05, -1.4939552784198895e-05, -1.3780052540823817e-05, -1.2620554116438143e-05, -1.1461054782557767e-05, -1.030155544867739e-05, -9.142055205302313e-06, -7.982555871421937e-06, -6.823056537541561e-06, -5.663557658408536e-06, -4.5040583245281596e-06, -3.3445589906477835e-06, -2.1850601115147583e-06, -1.0255607776343822e-06, 1.3393855624599382e-07, 1.2934377764395322e-06, 2.4529369966330705e-06, 3.612436103139771e-06, 4.771935437020147e-06, 5.931434770900523e-06, 7.0909336500335485e-06, 8.250432983913925e-06, 9.4099323177943e-06, 1.0569431651674677e-05, 1.1728930985555053e-05, 1.2888429409940727e-05, 1.4047929653315805e-05, 1.520742807770148e-05, 1.6366928321076557e-05, 1.752642674546223e-05, 1.8685925169847906e-05, 1.984542359423358e-05, 2.1004923837608658e-05, 2.2164422261994332e-05, 2.332392250536941e-05, 2.4483420929755084e-05, 2.564291935414076e-05, 2.6802419597515836e-05, 2.7961919840890914e-05]}, "gradients/bert.encoder.layer.3.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 3.0, 14.0, 28.0, 90.0, 209.0, 346.0, 222.0, 70.0, 23.0, 9.0, 3.0, 3.0, 0.0, 1.0], "bins": [-7.981815724633634e-05, -7.837898010620847e-05, -7.693979569012299e-05, -7.550061854999512e-05, -7.406143413390964e-05, -7.262225699378178e-05, -7.118307985365391e-05, -6.974389543756843e-05, -6.830471829744056e-05, -6.686554115731269e-05, -6.542635674122721e-05, -6.398717960109934e-05, -6.254799518501386e-05, -6.110881804488599e-05, -5.966963726677932e-05, -5.8230456488672644e-05, -5.6791279348544776e-05, -5.53520985704381e-05, -5.391291779233143e-05, -5.247374065220356e-05, -5.1034559874096885e-05, -4.959537909599021e-05, -4.8156198317883536e-05, -4.671701753977686e-05, -4.527783676167019e-05, -4.383865598356351e-05, -4.239947520545684e-05, -4.096029806532897e-05, -3.9521117287222296e-05, -3.808193650911562e-05, -3.664275573100895e-05, -3.520357859088108e-05, -3.3764397812774405e-05, -3.232521703466773e-05, -3.0886036256561056e-05, -2.9446857297443785e-05, -2.8007678338326514e-05, -2.656849756021984e-05, -2.5129316782113165e-05, -2.3690137822995894e-05, -2.2250958863878623e-05, -2.0811778085771948e-05, -1.9372599126654677e-05, -1.7933418348548003e-05, -1.649423938943073e-05, -1.5055058611324057e-05, -1.3615878742712084e-05, -1.2176698874100111e-05, -1.0737518095993437e-05, -9.298338227381464e-06, -7.859158358769491e-06, -6.419978035410168e-06, -4.980798166798195e-06, -3.541618298186222e-06, -2.1024379748268984e-06, -6.632581062149256e-07, 7.759217623970471e-07, 2.21510163100902e-06, 3.654281726994668e-06, 5.093461822980316e-06, 6.532641691592289e-06, 7.971821105456911e-06, 9.411001883563586e-06, 1.0850181752175558e-05, 1.2289361620787531e-05]}, "gradients/bert.encoder.layer.3.output.LayerNorm.bias": {"_type": "histogram", "values": [3.0, 1.0, 1.0, 2.0, 2.0, 3.0, 2.0, 2.0, 6.0, 3.0, 7.0, 8.0, 4.0, 12.0, 16.0, 17.0, 21.0, 19.0, 29.0, 32.0, 25.0, 32.0, 45.0, 33.0, 47.0, 33.0, 49.0, 52.0, 39.0, 38.0, 26.0, 36.0, 40.0, 44.0, 40.0, 32.0, 32.0, 28.0, 27.0, 24.0, 25.0, 18.0, 11.0, 14.0, 9.0, 10.0, 4.0, 4.0, 1.0, 2.0, 6.0, 3.0, 0.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-8.34313323139213e-06, -8.044969035836402e-06, -7.746804840280674e-06, -7.448640189977596e-06, -7.150475539674517e-06, -6.852311344118789e-06, -6.554147148563061e-06, -6.255982953007333e-06, -5.957818302704254e-06, -5.659654107148526e-06, -5.361489456845447e-06, -5.0633252612897195e-06, -4.7651610657339916e-06, -4.466996415430913e-06, -4.168832219875185e-06, -3.870667569572106e-06, -3.572503374016378e-06, -3.2743389510869747e-06, -2.9761745281575713e-06, -2.6780103326018434e-06, -2.37984590967244e-06, -2.0816814867430367e-06, -1.783517177500471e-06, -1.4853528682579054e-06, -1.187188445328502e-06, -8.890240792425175e-07, -5.90859713156533e-07, -2.9269534707054845e-07, 5.469019015436061e-09, 3.0363344194483943e-07, 6.017977511874051e-07, 8.999620604299707e-07, 1.1981255738646723e-06, 1.4962899967940757e-06, 1.7944543060366414e-06, 2.092618615279207e-06, 2.3907830382086104e-06, 2.6889474611380138e-06, 2.9871116566937417e-06, 3.285276079623145e-06, 3.5834405025525484e-06, 3.881604698108276e-06, 4.179769348411355e-06, 4.477933543967083e-06, 4.776097739522811e-06, 5.07426238982589e-06, 5.372426585381618e-06, 5.670591235684697e-06, 5.9687554312404245e-06, 6.2669196267961524e-06, 6.565084277099231e-06, 6.863248472654959e-06, 7.161413122958038e-06, 7.459577318513766e-06, 7.757741514069494e-06, 8.055905709625222e-06, 8.354070814675651e-06, 8.65223501023138e-06, 8.950399205787107e-06, 9.248564310837537e-06, 9.546728506393265e-06, 9.844892701948993e-06, 1.014305689750472e-05, 1.0441221093060449e-05, 1.0739385288616177e-05]}, "gradients/bert.encoder.layer.3.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 3.0, 2.0, 8.0, 5.0, 6.0, 8.0, 6.0, 10.0, 16.0, 25.0, 17.0, 17.0, 37.0, 24.0, 44.0, 37.0, 40.0, 44.0, 43.0, 59.0, 44.0, 53.0, 38.0, 44.0, 50.0, 39.0, 48.0, 33.0, 42.0, 31.0, 26.0, 20.0, 24.0, 15.0, 13.0, 14.0, 7.0, 7.0, 4.0, 4.0, 2.0, 2.0, 2.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.809673661540728e-06, -7.568200999230612e-06, -7.326728336920496e-06, -7.08525567461038e-06, -6.843783467047615e-06, -6.602310804737499e-06, -6.360838142427383e-06, -6.119365480117267e-06, -5.877893272554502e-06, -5.636420610244386e-06, -5.39494794793427e-06, -5.153475285624154e-06, -4.912003078061389e-06, -4.670530415751273e-06, -4.429057753441157e-06, -4.187585091131041e-06, -3.946112428820925e-06, -3.704639766510809e-06, -3.4631673315743683e-06, -3.2216946692642523e-06, -2.9802222343278117e-06, -2.7387495720176958e-06, -2.4972769097075798e-06, -2.2558042473974638e-06, -2.0143318124610232e-06, -1.772859263837745e-06, -1.5313867152144667e-06, -1.2899140529043507e-06, -1.0484415042810724e-06, -8.069689556577941e-07, -5.654962933476781e-07, -3.240237447243999e-07, -8.25511961011216e-08, 1.589213809438661e-07, 4.003939579888538e-07, 6.418665634555509e-07, 8.833391120788292e-07, 1.1248116607021075e-06, 1.3662843230122235e-06, 1.6077568716355017e-06, 1.84922942025878e-06, 2.090702082568896e-06, 2.3321745175053366e-06, 2.5736471798154525e-06, 2.8151198421255685e-06, 3.056592277062009e-06, 3.298064939372125e-06, 3.5395373743085656e-06, 3.7810100366186816e-06, 4.022482698928798e-06, 4.263955361238914e-06, 4.505427568801679e-06, 4.746900231111795e-06, 4.988372893421911e-06, 5.229845555732027e-06, 5.471318218042143e-06, 5.712790880352259e-06, 5.954263542662375e-06, 6.195736204972491e-06, 6.437208867282607e-06, 6.678681074845372e-06, 6.920153737155488e-06, 7.161626399465604e-06, 7.40309906177572e-06, 7.644571269338485e-06]}, "gradients/bert.encoder.layer.3.output.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 2.0, 4.0, 4.0, 3.0, 13.0, 10.0, 18.0, 26.0, 29.0, 43.0, 44.0, 71.0, 106.0, 145.0, 205.0, 288.0, 414.0, 607.0, 934.0, 1495.0, 2372.0, 4748.0, 10404.0, 31402.0, 203574.0, 2362816.0, 1412393.0, 120512.0, 23177.0, 8435.0, 3981.0, 2198.0, 1254.0, 821.0, 549.0, 390.0, 234.0, 167.0, 108.0, 83.0, 66.0, 43.0, 39.0, 17.0, 25.0, 9.0, 6.0, 3.0, 3.0, 2.0, 2.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 2.0], "bins": [-1.2643210538954008e-05, -1.2246555343153886e-05, -1.1849899237859063e-05, -1.1453244042058941e-05, -1.1056587936764117e-05, -1.0659932740963995e-05, -1.0263276635669172e-05, -9.86662143986905e-06, -9.469966244068928e-06, -9.073311048268806e-06, -8.676654942973983e-06, -8.27999974717386e-06, -7.883343641879037e-06, -7.486688446078915e-06, -7.090032795531442e-06, -6.69337714498397e-06, -6.296721494436497e-06, -5.900065843889024e-06, -5.503410193341551e-06, -5.106754542794079e-06, -4.710099346993957e-06, -4.313443696446484e-06, -3.916788045899011e-06, -3.520132622725214e-06, -3.123476972177741e-06, -2.7268213216302684e-06, -2.330165898456471e-06, -1.9335102479089983e-06, -1.5368547110483632e-06, -1.1401991741877282e-06, -7.435435236402554e-07, -3.4688810046645813e-07, 4.976755008101463e-08, 4.464231153633591e-07, 8.430786806457036e-07, 1.2397342743497575e-06, 1.6363898112103925e-06, 2.0330453480710275e-06, 2.4297009986185003e-06, 2.8263564217922976e-06, 3.2230120723397704e-06, 3.619667722887243e-06, 4.0163231460610405e-06, 4.412978796608513e-06, 4.809634447155986e-06, 5.206289642956108e-06, 5.6029457482509315e-06, 5.999600944051053e-06, 6.396256594598526e-06, 6.792912245145999e-06, 7.189567895693472e-06, 7.586223546240944e-06, 7.982878742041066e-06, 8.37953484733589e-06, 8.776190043136012e-06, 9.172845238936134e-06, 9.569501344230957e-06, 9.96615654003108e-06, 1.0362812645325903e-05, 1.0759467841126025e-05, 1.1156123946420848e-05, 1.155277914222097e-05, 1.1949434338021092e-05, 1.2346090443315916e-05, 1.2742745639116038e-05]}, "gradients/bert.encoder.layer.3.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 8.0, 5.0, 7.0, 8.0, 9.0, 12.0, 29.0, 64.0, 162.0, 684.0, 1782.0, 881.0, 251.0, 92.0, 39.0, 24.0, 11.0, 11.0, 4.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.854967174760532e-06, -9.593000868335366e-06, -9.331033652415499e-06, -9.069067345990334e-06, -8.807101039565168e-06, -8.545133823645301e-06, -8.283167517220136e-06, -8.02120121079497e-06, -7.759233994875103e-06, -7.497267233702587e-06, -7.235300927277422e-06, -6.973334166104905e-06, -6.711367404932389e-06, -6.449400643759873e-06, -6.187434337334707e-06, -5.925467576162191e-06, -5.663501269737026e-06, -5.4015345085645095e-06, -5.139568202139344e-06, -4.877601440966828e-06, -4.6156346797943115e-06, -4.353668373369146e-06, -4.09170161219663e-06, -3.829734851024114e-06, -3.5677683172252728e-06, -3.305801783426432e-06, -3.0438350222539157e-06, -2.781868488455075e-06, -2.519901954656234e-06, -2.2579351934837177e-06, -1.995968659684877e-06, -1.7340020121991984e-06, -1.472034909966169e-06, -1.2100682624804904e-06, -9.481016718382307e-07, -6.86135081195971e-07, -4.2416843371029245e-07, -1.622017862246139e-07, 9.976474757422693e-08, 3.617313950599055e-07, 6.23698042545584e-07, 8.856646900312626e-07, 1.1476313375169411e-06, 1.409597871315782e-06, 1.6715645188014605e-06, 1.933531166287139e-06, 2.19549770008598e-06, 2.4574642338848207e-06, 2.719430995057337e-06, 2.981397528856178e-06, 3.243364290028694e-06, 3.505330823827535e-06, 3.767297585000051e-06, 4.0292643461725675e-06, 4.291230652597733e-06, 4.553197413770249e-06, 4.815164174942765e-06, 5.077130936115282e-06, 5.339097242540447e-06, 5.601064003712963e-06, 5.86303076488548e-06, 6.124997526057996e-06, 6.386963832483161e-06, 6.6489305936556775e-06, 6.910896900080843e-06]}, "gradients/bert.encoder.layer.3.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 5.0, 7.0, 8.0, 14.0, 14.0, 27.0, 77.0, 344.0, 7759.0, 4184637.0, 1106.0, 174.0, 56.0, 37.0, 17.0, 4.0, 5.0, 0.0, 3.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-0.00041975686326622963, -0.0004102764942217618, -0.000400796125177294, -0.00039131572702899575, -0.00038183535798452795, -0.00037235498894006014, -0.00036287461989559233, -0.0003533942508511245, -0.00034391385270282626, -0.00033443348365835845, -0.00032495311461389065, -0.0003154727164655924, -0.0003059923474211246, -0.00029651197837665677, -0.00028703160933218896, -0.00027755124028772116, -0.00026807087124325335, -0.00025859050219878554, -0.00024911013315431774, -0.0002396297495579347, -0.00023014936596155167, -0.00022066899691708386, -0.00021118862787261605, -0.00020170825882814825, -0.0001922278752317652, -0.0001827475061872974, -0.00017326712259091437, -0.00016378675354644656, -0.00015430638450197875, -0.00014482600090559572, -0.0001353456318611279, -0.00012586524826474488, -0.00011638487922027707, -0.00010690450289985165, -9.742412657942623e-05, -8.794375753495842e-05, -7.8463381214533e-05, -6.898300489410758e-05, -5.9502632211660966e-05, -5.002225952921435e-05, -4.054188320878893e-05, -3.106150688836351e-05, -2.1581134205916896e-05, -1.2100759704480879e-05, -2.6203852030448616e-06, 6.8599911173805594e-06, 1.6340363799827173e-05, 2.5820736482273787e-05, 3.530111280269921e-05, 4.478148912312463e-05, 5.426186180557124e-05, 6.374223448801786e-05, 7.322261080844328e-05, 8.27029871288687e-05, 9.21833561733365e-05, 0.00010166373249376193, 0.00011114410881418735, 0.00012062448513461277, 0.0001301048614550382, 0.000139585230499506, 0.0001490655995439738, 0.00015854598314035684, 0.00016802635218482465, 0.00017750673578120768, 0.0001869871048256755]}, "gradients/bert.encoder.layer.3.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 1.0, 2.0, 2.0, 1.0, 2.0, 2.0, 6.0, 7.0, 4.0, 4.0, 7.0, 7.0, 8.0, 22.0, 15.0, 25.0, 27.0, 49.0, 51.0, 65.0, 56.0, 82.0, 86.0, 66.0, 72.0, 74.0, 59.0, 57.0, 29.0, 22.0, 20.0, 18.0, 17.0, 16.0, 11.0, 5.0, 4.0, 3.0, 2.0, 1.0, 1.0, 3.0, 1.0, 2.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-8.054218596953433e-06, -7.75293301558122e-06, -7.451647434209008e-06, -7.150361852836795e-06, -6.8490762714645825e-06, -6.54779069009237e-06, -6.246505563467508e-06, -5.9452199820952956e-06, -5.643934400723083e-06, -5.34264881935087e-06, -5.041363237978658e-06, -4.740077656606445e-06, -4.438792529981583e-06, -4.137506948609371e-06, -3.836221367237158e-06, -3.5349357858649455e-06, -3.233650204492733e-06, -2.9323646231205203e-06, -2.6310790417483076e-06, -2.3297936877497705e-06, -2.028508106377558e-06, -1.7272225250053452e-06, -1.4259370573199703e-06, -1.1246515896345954e-06, -8.233660082623828e-07, -5.220804837335891e-07, -2.207949592047953e-07, 8.049056532399845e-08, 3.817760898527922e-07, 6.830616712250048e-07, 9.843471389103797e-07, 1.2856326065957546e-06, 1.586919097462669e-06, 1.8882046788348816e-06, 2.1894902602070943e-06, 2.4907756142056314e-06, 2.792061195577844e-06, 3.0933467769500567e-06, 3.394632130948594e-06, 3.6959177123208065e-06, 3.997203293693019e-06, 4.298488875065232e-06, 4.599774456437444e-06, 4.901060037809657e-06, 5.202345164434519e-06, 5.503630745806731e-06, 5.804916327178944e-06, 6.1062019085511565e-06, 6.407487489923369e-06, 6.708773071295582e-06, 7.010058652667794e-06, 7.311344234040007e-06, 7.61262981541222e-06, 7.913915396784432e-06, 8.215200978156645e-06, 8.516486559528857e-06, 8.817771231406368e-06, 9.119056812778581e-06, 9.420342394150794e-06, 9.721627975523006e-06, 1.0022913556895219e-05, 1.0324199138267431e-05, 1.0625484719639644e-05, 1.0926769391517155e-05, 1.122805588238407e-05]}, "gradients/bert.encoder.layer.3.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 5.0, 0.0, 2.0, 0.0, 4.0, 4.0, 3.0, 6.0, 9.0, 7.0, 6.0, 16.0, 15.0, 26.0, 13.0, 26.0, 20.0, 19.0, 17.0, 34.0, 37.0, 25.0, 42.0, 34.0, 37.0, 48.0, 44.0, 43.0, 44.0, 34.0, 41.0, 42.0, 44.0, 37.0, 43.0, 22.0, 29.0, 20.0, 20.0, 15.0, 18.0, 15.0, 9.0, 8.0, 7.0, 12.0, 2.0, 6.0, 2.0, 1.0, 1.0, 1.0, 0.0, 2.0, 2.0, 0.0, 1.0], "bins": [-7.294188890227815e-06, -7.078990620357217e-06, -6.8637918957392685e-06, -6.648593625868671e-06, -6.433395355998073e-06, -6.218197086127475e-06, -6.002998816256877e-06, -5.787800091638928e-06, -5.57260182176833e-06, -5.3574035518977325e-06, -5.142204827279784e-06, -4.927006557409186e-06, -4.711808287538588e-06, -4.49661001766799e-06, -4.281411747797392e-06, -4.0662130231794436e-06, -3.851014753308846e-06, -3.635816483438248e-06, -3.4206179861939745e-06, -3.205419488949701e-06, -2.9902212190791033e-06, -2.7750229492085055e-06, -2.559824451964232e-06, -2.344625954719959e-06, -2.129427684849361e-06, -1.914229414978763e-06, -1.6990309177344898e-06, -1.4838325341770542e-06, -1.2686341506196186e-06, -1.053435767062183e-06, -8.382373835047474e-07, -6.230389999473118e-07, -4.078410711372271e-07, -1.9264268757979153e-07, 2.2555695977644064e-08, 2.3775407953507965e-07, 4.5295246309251525e-07, 6.681508466499508e-07, 8.833492302073864e-07, 1.098547613764822e-06, 1.3137459973222576e-06, 1.5289443808796932e-06, 1.7441427644371288e-06, 1.959341261681402e-06, 2.174539531552e-06, 2.389737801422598e-06, 2.604936298666871e-06, 2.8201347959111445e-06, 3.0353330657817423e-06, 3.25053133565234e-06, 3.4657298328966135e-06, 3.680928330140887e-06, 3.896126600011485e-06, 4.1113248698820826e-06, 4.326523594500031e-06, 4.541721864370629e-06, 4.756920134241227e-06, 4.972118404111825e-06, 5.187316673982423e-06, 5.4025153986003716e-06, 5.6177136684709694e-06, 5.832911938341567e-06, 6.048110662959516e-06, 6.263308932830114e-06, 6.478507202700712e-06]}, "gradients/bert.encoder.layer.3.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 1.0, 2.0, 2.0, 2.0, 2.0, 3.0, 2.0, 6.0, 4.0, 9.0, 10.0, 11.0, 15.0, 19.0, 24.0, 31.0, 21.0, 25.0, 35.0, 30.0, 49.0, 42.0, 34.0, 39.0, 43.0, 55.0, 39.0, 46.0, 42.0, 41.0, 50.0, 36.0, 42.0, 26.0, 33.0, 26.0, 21.0, 26.0, 12.0, 10.0, 13.0, 9.0, 11.0, 5.0, 3.0, 4.0, 0.0, 3.0, 0.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-9.197616236633621e-06, -8.916280421544798e-06, -8.634945515950676e-06, -8.353609700861853e-06, -8.072274795267731e-06, -7.790938980178908e-06, -7.509603619837435e-06, -7.228268259495962e-06, -6.94693289915449e-06, -6.665597538813017e-06, -6.384262178471545e-06, -6.102926818130072e-06, -5.821591003041249e-06, -5.540256097447127e-06, -5.258920282358304e-06, -4.977584922016831e-06, -4.6962495616753586e-06, -4.414914201333886e-06, -4.1335788409924135e-06, -3.852243480650941e-06, -3.570907892935793e-06, -3.2895725325943204e-06, -3.0082369448791724e-06, -2.7269015845377e-06, -2.4455662241962273e-06, -2.1642308638547547e-06, -1.8828953898264444e-06, -1.6015599157981342e-06, -1.3202245554566616e-06, -1.038889195115189e-06, -7.575537210868788e-07, -4.762182470585685e-07, -1.9488288671709597e-07, 8.645253046779544e-08, 3.6778794765268685e-07, 6.491233648375783e-07, 9.304587820224697e-07, 1.2117941423639422e-06, 1.4931296163922525e-06, 1.7744650904205628e-06, 2.0558004507620353e-06, 2.337135811103508e-06, 2.6184711714449804e-06, 2.8998067591601284e-06, 3.181142119501601e-06, 3.4624774798430735e-06, 3.7438130675582215e-06, 4.025148427899694e-06, 4.306483788241167e-06, 4.587819148582639e-06, 4.869154508924112e-06, 5.150489869265584e-06, 5.431825229607057e-06, 5.71316104469588e-06, 5.994496405037353e-06, 6.275831765378825e-06, 6.557167125720298e-06, 6.8385024860617705e-06, 7.119837846403243e-06, 7.4011732067447156e-06, 7.682509021833539e-06, 7.96384392742766e-06, 8.245179742516484e-06, 8.526514648110606e-06, 8.80785046319943e-06]}, "gradients/bert.encoder.layer.3.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 2.0, 2.0, 4.0, 9.0, 9.0, 8.0, 12.0, 27.0, 34.0, 55.0, 56.0, 93.0, 132.0, 210.0, 269.0, 423.0, 667.0, 1051.0, 1747.0, 3381.0, 6703.0, 14994.0, 38834.0, 108536.0, 279431.0, 339485.0, 157335.0, 55582.0, 20858.0, 8662.0, 4224.0, 2249.0, 1171.0, 735.0, 500.0, 334.0, 235.0, 150.0, 96.0, 63.0, 65.0, 42.0, 27.0, 25.0, 11.0, 13.0, 10.0, 1.0, 5.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.944992598320823e-06, -9.645234058552887e-06, -9.345475518784951e-06, -9.045716979017016e-06, -8.74595843924908e-06, -8.446199899481144e-06, -8.146441359713208e-06, -7.846682819945272e-06, -7.546924280177336e-06, -7.2471657404094e-06, -6.9474072006414644e-06, -6.6476486608735286e-06, -6.347890121105593e-06, -6.048131581337657e-06, -5.748373041569721e-06, -5.448614501801785e-06, -5.148855507286498e-06, -4.8490969675185625e-06, -4.549338427750627e-06, -4.249579887982691e-06, -3.949821348214755e-06, -3.650062808446819e-06, -3.3503040413052076e-06, -3.0505455015372718e-06, -2.750786961769336e-06, -2.4510284220014e-06, -2.151269882233464e-06, -1.8515112287786906e-06, -1.5517526890107547e-06, -1.2519941492428188e-06, -9.522354957880452e-07, -6.524769560201094e-07, -3.527184162521735e-07, -5.295984806252818e-08, 2.467987201271171e-07, 5.465573167384719e-07, 8.463158565064077e-07, 1.1460743962743436e-06, 1.4458330497291172e-06, 1.745591589497053e-06, 2.045350129264989e-06, 2.345108669032925e-06, 2.6448672088008607e-06, 2.944625975942472e-06, 3.244384515710408e-06, 3.5441430554783437e-06, 3.84390159524628e-06, 4.1436601350142155e-06, 4.443418674782151e-06, 4.743177214550087e-06, 5.042935754318023e-06, 5.342694294085959e-06, 5.642452833853895e-06, 5.942211373621831e-06, 6.2419703681371175e-06, 6.541728907905053e-06, 6.841487447672989e-06, 7.141245987440925e-06, 7.441004527208861e-06, 7.740763066976797e-06, 8.040521606744733e-06, 8.340280146512669e-06, 8.640038686280604e-06, 8.93979722604854e-06, 9.239555765816476e-06]}, "gradients/bert.encoder.layer.3.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 1.0, 0.0, 4.0, 7.0, 7.0, 5.0, 9.0, 10.0, 16.0, 8.0, 22.0, 21.0, 34.0, 34.0, 30.0, 37.0, 47.0, 47.0, 46.0, 44.0, 46.0, 46.0, 51.0, 53.0, 54.0, 42.0, 40.0, 40.0, 36.0, 32.0, 26.0, 24.0, 12.0, 15.0, 12.0, 12.0, 15.0, 3.0, 8.0, 6.0, 0.0, 4.0, 1.0, 1.0, 3.0, 4.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.540829301433405e-06, -7.306806764972862e-06, -7.072783773764968e-06, -6.838761237304425e-06, -6.604738700843882e-06, -6.370715709635988e-06, -6.136693173175445e-06, -5.902670636714902e-06, -5.668647645507008e-06, -5.434625109046465e-06, -5.200602117838571e-06, -4.966579581378028e-06, -4.732556590170134e-06, -4.498534053709591e-06, -4.264511517249048e-06, -4.030488526041154e-06, -3.7964659895806108e-06, -3.5624432257463923e-06, -3.3284204619121738e-06, -3.0943979254516307e-06, -2.8603751616174122e-06, -2.6263523977831937e-06, -2.3923298613226507e-06, -2.158307097488432e-06, -1.9242843336542137e-06, -1.6902615698199952e-06, -1.4562389196726144e-06, -1.2222162695252337e-06, -9.881935056910152e-07, -7.541707418567967e-07, -5.201480917094159e-07, -2.861254415620351e-07, -5.210313247516751e-08, 1.8191957451563212e-07, 4.1594228150643175e-07, 6.499649884972314e-07, 8.83987695488031e-07, 1.1180104593222495e-06, 1.3520331094696303e-06, 1.586055759617011e-06, 1.8200785234512296e-06, 2.054101287285448e-06, 2.2881240511196665e-06, 2.5221465875802096e-06, 2.756169351414428e-06, 2.9901921152486466e-06, 3.2242146517091896e-06, 3.458237415543408e-06, 3.6922601793776266e-06, 3.92628271583817e-06, 4.160305707046064e-06, 4.394328243506607e-06, 4.628351234714501e-06, 4.862373771175044e-06, 5.096396307635587e-06, 5.330419298843481e-06, 5.564441835304024e-06, 5.798464371764567e-06, 6.032487362972461e-06, 6.266509899433004e-06, 6.500532435893547e-06, 6.734555427101441e-06, 6.968577963561984e-06, 7.202600500022527e-06, 7.436623491230421e-06]}, "gradients/bert.encoder.layer.3.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 0.0, 2.0, 5.0, 6.0, 5.0, 8.0, 10.0, 13.0, 18.0, 23.0, 19.0, 41.0, 41.0, 56.0, 63.0, 106.0, 144.0, 217.0, 422.0, 581274.0, 464949.0, 415.0, 180.0, 138.0, 89.0, 61.0, 58.0, 46.0, 34.0, 23.0, 20.0, 13.0, 11.0, 23.0, 4.0, 3.0, 10.0, 4.0, 3.0, 1.0, 3.0, 2.0, 2.0, 1.0, 2.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.00012166994565632194, -0.0001178665115730837, -0.00011406307748984545, -0.00011025964340660721, -0.00010645620932336897, -0.00010265277524013072, -9.884934115689248e-05, -9.504589979769662e-05, -9.124246571445838e-05, -8.743903163122013e-05, -8.363559754798189e-05, -7.983216346474364e-05, -7.60287293815054e-05, -7.222528802230954e-05, -6.84218539390713e-05, -6.461841985583305e-05, -6.081498941057362e-05, -5.701155532733537e-05, -5.320812124409713e-05, -4.940468352288008e-05, -4.560124943964183e-05, -4.179781535640359e-05, -3.7994381273165345e-05, -3.41909471899271e-05, -3.0387511287699454e-05, -2.658407720446121e-05, -2.2780641302233562e-05, -1.8977207218995318e-05, -1.5173772226262372e-05, -1.1370337233529426e-05, -7.566903150291182e-06, -3.7634672480635345e-06, 3.996683517470956e-08, 3.843401827907655e-06, 7.646836820640601e-06, 1.1450270903878845e-05, 1.5253705896611791e-05, 1.9057140889344737e-05, 2.286057497258298e-05, 2.666401087481063e-05, 3.0467444958048873e-05, 3.427088086027652e-05, 3.8074314943514764e-05, 4.187774902675301e-05, 4.568118310999125e-05, 4.9484617193229496e-05, 5.328805127646774e-05, 5.709148899768479e-05, 6.0894923080923036e-05, 6.469836080214009e-05, 6.850179488537833e-05, 7.230522896861658e-05, 7.610866305185482e-05, 7.991209713509306e-05, 8.371553121833131e-05, 8.751896530156955e-05, 9.13223993848078e-05, 9.512583346804604e-05, 9.892926755128428e-05, 0.00010273270163452253, 0.00010653613571776077, 0.00011033957707695663, 0.00011414301116019487, 0.00011794644524343312, 0.00012174987932667136]}, "gradients/bert.encoder.layer.3.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 5.0, 0.0, 5.0, 0.0, 2.0, 0.0, 5.0, 4.0, 9.0, 0.0, 7.0, 24.0, 4.0, 12.0, 15.0, 37.0, 11.0, 42.0, 40.0, 74.0, 37.0, 88.0, 51.0, 103.0, 119.0, 34.0, 75.0, 24.0, 39.0, 18.0, 37.0, 10.0, 25.0, 8.0, 20.0, 1.0, 4.0, 12.0, 3.0, 3.0, 0.0, 1.0, 1.0, 1.0, 0.0, 3.0, 0.0, 1.0, 0.0, 3.0], "bins": [-2.8421709430404007e-13, -2.765565554341265e-13, -2.688960165642129e-13, -2.6123547769429933e-13, -2.5357493882438575e-13, -2.4591439995447217e-13, -2.382538610845586e-13, -2.30593322214645e-13, -2.2293278334473143e-13, -2.1527224447481785e-13, -2.0761170560490427e-13, -1.999511667349907e-13, -1.9229062786507711e-13, -1.8463008899516353e-13, -1.7696955012524995e-13, -1.6930901125533637e-13, -1.616484723854228e-13, -1.539879335155092e-13, -1.4632739464559563e-13, -1.3866685577568205e-13, -1.3100631690576847e-13, -1.233457780358549e-13, -1.156852391659413e-13, -1.0802470029602773e-13, -1.0036416142611415e-13, -9.270362255620057e-14, -8.504308368628699e-14, -7.738254481637341e-14, -6.972200594645983e-14, -6.206146707654625e-14, -5.440092820663267e-14, -4.674038933671909e-14, -3.907985046680551e-14, -3.141931159689193e-14, -2.375877272697835e-14, -1.609823385706477e-14, -8.43769498715119e-15, -7.771561172376096e-16, 6.8833827526759706e-15, 1.454392162258955e-14, 2.220446049250313e-14, 2.986499936241671e-14, 3.752553823233029e-14, 4.518607710224387e-14, 5.284661597215745e-14, 6.050715484207103e-14, 6.816769371198461e-14, 7.582823258189819e-14, 8.348877145181177e-14, 9.114931032172535e-14, 9.880984919163893e-14, 1.0647038806155251e-13, 1.141309269314661e-13, 1.2179146580137967e-13, 1.2945200467129325e-13, 1.3711254354120683e-13, 1.4477308241112041e-13, 1.52433621281034e-13, 1.6009416015094757e-13, 1.6775469902086115e-13, 1.7541523789077473e-13, 1.8307577676068831e-13, 1.907363156306019e-13, 1.9839685450051547e-13, 2.0605739337042905e-13]}, "gradients/bert.encoder.layer.3.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 3.0, 1.0, 2.0, 1.0, 0.0, 3.0, 4.0, 1.0, 3.0, 3.0, 2.0, 7.0, 8.0, 4.0, 17.0, 14.0, 23.0, 39.0, 63.0, 96.0, 197.0, 432.0, 1257.0, 4304.0, 18899.0, 115954.0, 598998.0, 260717.0, 36783.0, 7379.0, 2033.0, 702.0, 277.0, 115.0, 64.0, 44.0, 36.0, 23.0, 14.0, 6.0, 5.0, 9.0, 6.0, 3.0, 5.0, 3.0, 0.0, 0.0, 4.0, 1.0, 1.0, 1.0, 3.0, 0.0, 2.0, 0.0, 0.0, 2.0], "bins": [-6.73843851473066e-06, -6.532358383992687e-06, -6.326277798507363e-06, -6.120197667769389e-06, -5.914117537031416e-06, -5.708036951546092e-06, -5.501956820808118e-06, -5.295876690070145e-06, -5.0897961045848206e-06, -4.883715973846847e-06, -4.677635388361523e-06, -4.4715552576235496e-06, -4.265474672138225e-06, -4.059394541400252e-06, -3.8533144106622785e-06, -3.6472340525506297e-06, -3.441153694438981e-06, -3.235073336327332e-06, -3.0289929782156833e-06, -2.82291284747771e-06, -2.616832489366061e-06, -2.4107521312544122e-06, -2.204672000516439e-06, -1.99859164240479e-06, -1.7925112842931412e-06, -1.5864309261814924e-06, -1.3803506817566813e-06, -1.1742704373318702e-06, -9.681900792202214e-07, -7.621097211085726e-07, -5.560294766837615e-07, -3.4994923225895036e-07, -1.4386841939995065e-07, 6.22118818682793e-08, 2.6829218313650927e-07, 4.743724844047392e-07, 6.804527856729692e-07, 8.86533143784618e-07, 1.092613388209429e-06, 1.2986936326342402e-06, 1.504773990745889e-06, 1.7108543488575378e-06, 1.9169347069691867e-06, 2.12301483770716e-06, 2.329095195818809e-06, 2.5351755539304577e-06, 2.741255684668431e-06, 2.94733604278008e-06, 3.1534164008917287e-06, 3.3594967590033775e-06, 3.5655771171150263e-06, 3.7716572478529997e-06, 3.977737833338324e-06, 4.183817964076297e-06, 4.389898094814271e-06, 4.595978680299595e-06, 4.802058811037568e-06, 5.008138941775542e-06, 5.214219527260866e-06, 5.420299657998839e-06, 5.626379788736813e-06, 5.832460374222137e-06, 6.03854050496011e-06, 6.244620635698084e-06, 6.450701221183408e-06]}, "gradients/bert.encoder.layer.3.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 2.0, 1.0, 5.0, 6.0, 8.0, 11.0, 22.0, 17.0, 25.0, 45.0, 65.0, 70.0, 97.0, 91.0, 91.0, 77.0, 89.0, 79.0, 55.0, 45.0, 37.0, 24.0, 23.0, 10.0, 6.0, 5.0, 5.0, 1.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.529274413769599e-06, -1.4824552181380568e-06, -1.4356359088196768e-06, -1.3888167131881346e-06, -1.3419974038697546e-06, -1.2951782082382124e-06, -1.2483590126066701e-06, -1.2015397032882902e-06, -1.1547203939699102e-06, -1.107901198338368e-06, -1.061081889019988e-06, -1.0142626933884458e-06, -9.674433840700658e-07, -9.206241884385236e-07, -8.738049359635625e-07, -8.269856834886014e-07, -7.801664878570591e-07, -7.33347235382098e-07, -6.865279829071369e-07, -6.397087872755947e-07, -5.928894779572147e-07, -5.460702823256725e-07, -4.992510298507113e-07, -4.5243177737575024e-07, -4.0561252490078914e-07, -3.5879327242582804e-07, -3.1197401995086693e-07, -2.6515479589761526e-07, -2.1833554342265415e-07, -1.7151629094769305e-07, -1.2469706689444138e-07, -7.787781441948027e-08, -3.105844825768145e-08, 1.5760797111852298e-08, 6.258004248138604e-08, 1.0939928074549243e-07, 1.5621853322045354e-07, 2.0303778569541464e-07, 2.498570097486663e-07, 2.966762622236274e-07, 3.434955146985885e-07, 3.903147671735496e-07, 4.3713401964851073e-07, 4.839532721234718e-07, 5.307724677550141e-07, 5.77591777073394e-07, 6.244109727049363e-07, 6.712302251798974e-07, 7.180494776548585e-07, 7.648687301298196e-07, 8.116879826047807e-07, 8.585071782363229e-07, 9.053264875547029e-07, 9.521456831862452e-07, 9.989648788177874e-07, 1.0457841881361674e-06, 1.0926034974545473e-06, 1.1394226930860896e-06, 1.1862420024044695e-06, 1.2330611980360118e-06, 1.2798805073543917e-06, 1.326699702985934e-06, 1.3735188986174762e-06, 1.4203382079358562e-06, 1.4671574035673984e-06]}, "gradients/bert.encoder.layer.3.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 4.0, 3.0, 5.0, 13.0, 18.0, 25.0, 26.0, 47.0, 98.0, 159.0, 489.0, 8923.0, 817031.0, 218635.0, 2485.0, 260.0, 131.0, 66.0, 52.0, 31.0, 25.0, 16.0, 8.0, 1.0, 5.0, 1.0, 2.0, 1.0, 3.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.18013119592797e-05, -2.1192794520175084e-05, -2.0584277081070468e-05, -1.997575964196585e-05, -1.9367242202861235e-05, -1.8758724763756618e-05, -1.8150207324652e-05, -1.7541689885547385e-05, -1.6933172446442768e-05, -1.632465500733815e-05, -1.5716137568233535e-05, -1.5107620129128918e-05, -1.4499102690024301e-05, -1.3890585250919685e-05, -1.3282067811815068e-05, -1.2673550372710451e-05, -1.2065032933605835e-05, -1.1456515494501218e-05, -1.0847998055396602e-05, -1.0239480616291985e-05, -9.630963177187368e-06, -9.022445738082752e-06, -8.413928298978135e-06, -7.805410859873518e-06, -7.196893420768902e-06, -6.588375981664285e-06, -5.979858542559668e-06, -5.371341103455052e-06, -4.762823664350435e-06, -4.1543062252458185e-06, -3.545788786141202e-06, -2.937271347036585e-06, -2.3287539079319686e-06, -1.720236468827352e-06, -1.1117190297227353e-06, -5.032015906181186e-07, 1.05315848486498e-07, 7.138332875911146e-07, 1.3223507266957313e-06, 1.930868165800348e-06, 2.5393856049049646e-06, 3.147903044009581e-06, 3.756420483114198e-06, 4.3649379222188145e-06, 4.973455361323431e-06, 5.581972800428048e-06, 6.190490239532664e-06, 6.799007678637281e-06, 7.407525117741898e-06, 8.016042556846514e-06, 8.624559995951131e-06, 9.233077435055748e-06, 9.841594874160364e-06, 1.0450112313264981e-05, 1.1058629752369598e-05, 1.1667147191474214e-05, 1.227566463057883e-05, 1.2884182069683447e-05, 1.3492699508788064e-05, 1.410121694789268e-05, 1.4709734386997297e-05, 1.5318251826101914e-05, 1.592676926520653e-05, 1.6535286704311147e-05, 1.7143804143415764e-05]}, "gradients/bert.encoder.layer.2.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 3.0, 8.0, 19.0, 29.0, 74.0, 184.0, 280.0, 218.0, 118.0, 53.0, 19.0, 5.0, 6.0, 4.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6335414077038877e-05, -2.5225537683581933e-05, -2.411566129012499e-05, -2.3005784896668047e-05, -2.1895908503211103e-05, -2.078603210975416e-05, -1.967615753528662e-05, -1.8566279322840273e-05, -1.7456404748372734e-05, -1.634652835491579e-05, -1.5236651961458847e-05, -1.4126775568001904e-05, -1.301689917454496e-05, -1.1907022781088017e-05, -1.0797147297125775e-05, -9.687270903668832e-06, -8.577393600717187e-06, -7.467517207260244e-06, -6.3576408138033e-06, -5.247764875093708e-06, -4.1378884816367645e-06, -3.028012088179821e-06, -1.9181361494702287e-06, -8.082597560132854e-07, 3.0161663744365796e-07, 1.4114929172137636e-06, 2.521369196983869e-06, 3.631245363067137e-06, 4.74112175652408e-06, 5.850998149981024e-06, 6.960874088690616e-06, 8.07075048214756e-06, 9.1806250566151e-06, 1.0290501450072043e-05, 1.1400377843528986e-05, 1.251025423698593e-05, 1.3620130630442873e-05, 1.4730007023899816e-05, 1.583988341735676e-05, 1.69497579918243e-05, 1.8059636204270646e-05, 1.916951259772759e-05, 2.0279388991184533e-05, 2.1389265384641476e-05, 2.249914177809842e-05, 2.3609018171555363e-05, 2.4718894565012306e-05, 2.5828769139479846e-05, 2.693864553293679e-05, 2.8048521926393732e-05, 2.9158398319850676e-05, 3.026827471330762e-05, 3.137814928777516e-05, 3.2488027500221506e-05, 3.3597902074689046e-05, 3.470778028713539e-05, 3.581765486160293e-05, 3.692752943607047e-05, 3.803740764851682e-05, 3.914728222298436e-05, 4.0257160435430706e-05, 4.1367035009898245e-05, 4.247691322234459e-05, 4.358678779681213e-05, 4.469666600925848e-05]}, "gradients/bert.encoder.layer.2.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 4.0, 2.0, 2.0, 5.0, 8.0, 7.0, 9.0, 10.0, 5.0, 16.0, 13.0, 19.0, 17.0, 21.0, 21.0, 34.0, 27.0, 26.0, 33.0, 32.0, 31.0, 38.0, 39.0, 48.0, 40.0, 45.0, 45.0, 50.0, 39.0, 34.0, 28.0, 38.0, 22.0, 29.0, 28.0, 14.0, 19.0, 16.0, 16.0, 13.0, 15.0, 13.0, 10.0, 10.0, 6.0, 7.0, 1.0, 2.0, 1.0, 2.0, 3.0, 1.0, 0.0, 2.0, 1.0], "bins": [-8.46560396894347e-06, -8.20982222649036e-06, -7.954039574542549e-06, -7.698257832089439e-06, -7.442475634888979e-06, -7.186693437688518e-06, -6.930911695235409e-06, -6.6751294980349485e-06, -6.419347300834488e-06, -6.163565103634028e-06, -5.907782906433567e-06, -5.652001163980458e-06, -5.3962189667799976e-06, -5.140436769579537e-06, -4.884655027126428e-06, -4.628872829925967e-06, -4.373090632725507e-06, -4.117308435525047e-06, -3.861526238324586e-06, -3.605744495871477e-06, -3.3499622986710165e-06, -3.094180101470556e-06, -2.838398131643771e-06, -2.5826161618169863e-06, -2.326833964616526e-06, -2.0710517674160656e-06, -1.8152697975892806e-06, -1.559487714075658e-06, -1.3037056305620354e-06, -1.0479235470484127e-06, -7.921414635347901e-07, -5.363593800211675e-07, -2.805772965075448e-07, -2.4795212993922178e-08, 2.3098687051970046e-07, 4.867689540333231e-07, 7.425510375469457e-07, 9.983331210605684e-07, 1.254115204574191e-06, 1.5098972880878136e-06, 1.7656793716014363e-06, 2.0214615688018966e-06, 2.2772435386286816e-06, 2.5330255084554665e-06, 2.788807705655927e-06, 3.044589902856387e-06, 3.300371872683172e-06, 3.556153842509957e-06, 3.8119360397104174e-06, 4.067718236910878e-06, 4.323500434111338e-06, 4.579282176564448e-06, 4.835064373764908e-06, 5.090846570965368e-06, 5.346628313418478e-06, 5.602410510618938e-06, 5.8581927078193985e-06, 6.113974905019859e-06, 6.369757102220319e-06, 6.625538844673429e-06, 6.881321041873889e-06, 7.137103239074349e-06, 7.392884981527459e-06, 7.64866763347527e-06, 7.90444937592838e-06]}, "gradients/bert.encoder.layer.2.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 3.0, 1.0, 2.0, 3.0, 2.0, 3.0, 4.0, 6.0, 2.0, 8.0, 10.0, 5.0, 21.0, 14.0, 17.0, 23.0, 23.0, 25.0, 19.0, 20.0, 25.0, 37.0, 24.0, 32.0, 44.0, 50.0, 51.0, 33.0, 42.0, 45.0, 31.0, 48.0, 42.0, 38.0, 31.0, 37.0, 23.0, 23.0, 20.0, 19.0, 18.0, 12.0, 15.0, 16.0, 6.0, 14.0, 2.0, 7.0, 8.0, 4.0, 1.0, 4.0, 0.0, 2.0, 1.0, 1.0, 0.0, 1.0], "bins": [-5.5488089856226e-06, -5.384504220273811e-06, -5.220199454925023e-06, -5.055894689576235e-06, -4.8915894694800954e-06, -4.727284704131307e-06, -4.562979938782519e-06, -4.39867517343373e-06, -4.234369953337591e-06, -4.070065187988803e-06, -3.9057604226400144e-06, -3.7414554299175506e-06, -3.577150437195087e-06, -3.4128456718462985e-06, -3.24854090649751e-06, -3.084236141148722e-06, -2.9199313757999334e-06, -2.755626610451145e-06, -2.5913216177286813e-06, -2.427016852379893e-06, -2.262711859657429e-06, -2.098407094308641e-06, -1.9341023289598525e-06, -1.7697974499242264e-06, -1.6054925708886003e-06, -1.4411876918529742e-06, -1.2768828128173482e-06, -1.1125780474685598e-06, -9.482731684329337e-07, -7.839682893973077e-07, -6.196635240485193e-07, -4.5535864501289325e-07, -2.910533112299163e-07, -1.2674846061599965e-07, 3.7556389997916995e-08, 2.018612121901242e-07, 3.661660912257503e-07, 5.304709702613764e-07, 6.947757356101647e-07, 8.590806146457908e-07, 1.0233854936814168e-06, 1.187690372717043e-06, 1.351995251752669e-06, 1.5163000171014573e-06, 1.6806048961370834e-06, 1.8449097751727095e-06, 2.009214540521498e-06, 2.1735195332439616e-06, 2.33782429859275e-06, 2.5021290639415383e-06, 2.666434056664002e-06, 2.8307388220127905e-06, 2.9950438147352543e-06, 3.1593485800840426e-06, 3.323653345432831e-06, 3.4879581107816193e-06, 3.652263103504083e-06, 3.816568096226547e-06, 3.980872861575335e-06, 4.145177626924124e-06, 4.309482392272912e-06, 4.4737871576217e-06, 4.638091922970489e-06, 4.802397143066628e-06, 4.966701908415416e-06]}, "gradients/bert.encoder.layer.2.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 2.0, 1.0, 7.0, 4.0, 6.0, 8.0, 16.0, 19.0, 28.0, 27.0, 44.0, 68.0, 80.0, 114.0, 188.0, 248.0, 339.0, 505.0, 813.0, 1299.0, 2146.0, 4259.0, 9791.0, 29035.0, 167961.0, 3121842.0, 767246.0, 59291.0, 15546.0, 6080.0, 2879.0, 1611.0, 929.0, 636.0, 385.0, 261.0, 177.0, 109.0, 96.0, 56.0, 40.0, 30.0, 24.0, 14.0, 12.0, 11.0, 4.0, 5.0, 3.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5082127902132925e-05, -1.4575001841876656e-05, -1.4067875781620387e-05, -1.3560749721364118e-05, -1.3053624570602551e-05, -1.254649760085158e-05, -1.2039372450090013e-05, -1.1532246389833745e-05, -1.1025120329577476e-05, -1.0517994269321207e-05, -1.0010868209064938e-05, -9.50374214880867e-06, -8.9966160885524e-06, -8.489490937790833e-06, -7.982364877534565e-06, -7.475238817278296e-06, -6.968112757022027e-06, -6.460986696765758e-06, -5.953860636509489e-06, -5.446735031000571e-06, -4.9396089707443025e-06, -4.432482910488034e-06, -3.925357304979116e-06, -3.418231244722847e-06, -2.911105184466578e-06, -2.4039791242103092e-06, -1.8968532913277159e-06, -1.3897273447582847e-06, -8.826013981888536e-07, -3.754753379325848e-07, 1.3165049495000858e-07, 6.38776327832602e-07, 1.1459032975835726e-06, 1.6530292441530037e-06, 2.1601551907224348e-06, 2.667281023605028e-06, 3.174407083861297e-06, 3.681533144117566e-06, 4.188658749626484e-06, 4.695784809882753e-06, 5.2029108701390214e-06, 5.71003693039529e-06, 6.217162990651559e-06, 6.724288596160477e-06, 7.231414656416746e-06, 7.738541171420366e-06, 8.245666322181933e-06, 8.752792382438201e-06, 9.25991844269447e-06, 9.767044502950739e-06, 1.0274170563207008e-05, 1.0781296623463277e-05, 1.1288422683719546e-05, 1.1795547834481113e-05, 1.2302673894737381e-05, 1.280979995499365e-05, 1.3316926015249919e-05, 1.3824052075506188e-05, 1.4331178135762457e-05, 1.4838304196018726e-05, 1.5345429346780293e-05, 1.5852556316531263e-05, 1.635968146729283e-05, 1.68668084370438e-05, 1.7373933587805368e-05]}, "gradients/bert.encoder.layer.2.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 5.0, 2.0, 2.0, 8.0, 8.0, 8.0, 8.0, 26.0, 38.0, 40.0, 69.0, 148.0, 385.0, 936.0, 1272.0, 602.0, 226.0, 142.0, 63.0, 35.0, 18.0, 19.0, 7.0, 7.0, 6.0, 6.0, 2.0, 1.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-3.885858859575819e-06, -3.7256295399856754e-06, -3.5654002203955315e-06, -3.4051709008053876e-06, -3.2449415812152438e-06, -3.0847122616251e-06, -2.924482942034956e-06, -2.764253622444812e-06, -2.6040243028546683e-06, -2.4437949832645245e-06, -2.2835656636743806e-06, -2.1233363440842368e-06, -1.963107024494093e-06, -1.802877704903949e-06, -1.6426483853138052e-06, -1.4824190657236613e-06, -1.3221897461335175e-06, -1.1619604265433736e-06, -1.0017311069532298e-06, -8.415017873630859e-07, -6.81272467772942e-07, -5.210431481827982e-07, -3.608138285926543e-07, -2.0058450900251046e-07, -4.03551894123666e-08, 1.1987413017777726e-07, 2.801034497679211e-07, 4.40332769358065e-07, 6.005620889482088e-07, 7.607914085383527e-07, 9.210207281284966e-07, 1.0812500477186404e-06, 1.2414789125614334e-06, 1.4017082321515772e-06, 1.5619375517417211e-06, 1.722166871331865e-06, 1.8823961909220088e-06, 2.0426255105121527e-06, 2.2028548301022965e-06, 2.3630841496924404e-06, 2.5233134692825843e-06, 2.683542788872728e-06, 2.843772108462872e-06, 3.004001428053016e-06, 3.1642307476431597e-06, 3.3244600672333036e-06, 3.4846893868234474e-06, 3.6449187064135913e-06, 3.805148026003735e-06, 3.965377345593879e-06, 4.125606665184023e-06, 4.285835984774167e-06, 4.446065304364311e-06, 4.6062946239544544e-06, 4.766523943544598e-06, 4.926753263134742e-06, 5.086982582724886e-06, 5.24721190231503e-06, 5.407441221905174e-06, 5.567670541495318e-06, 5.7278998610854615e-06, 5.888129180675605e-06, 6.048358500265749e-06, 6.208587819855893e-06, 6.368817139446037e-06]}, "gradients/bert.encoder.layer.2.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 2.0, 1.0, 0.0, 0.0, 2.0, 1.0, 3.0, 4.0, 4.0, 4.0, 6.0, 12.0, 13.0, 18.0, 39.0, 63.0, 92.0, 179.0, 432.0, 1351.0, 69359.0, 4117537.0, 3925.0, 684.0, 239.0, 137.0, 63.0, 40.0, 25.0, 20.0, 11.0, 11.0, 9.0, 5.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-9.732019680086523e-05, -9.374620276503265e-05, -9.017220872920007e-05, -8.65982219693251e-05, -8.302422793349251e-05, -7.945023389765993e-05, -7.587623986182734e-05, -7.230225310195237e-05, -6.872825906611979e-05, -6.51542650302872e-05, -6.158027099445462e-05, -5.8006280596600845e-05, -5.443229019874707e-05, -5.0858296162914485e-05, -4.72843021270819e-05, -4.3710311729228124e-05, -4.013631769339554e-05, -3.6562323657562956e-05, -3.298833325970918e-05, -2.9414339223876595e-05, -2.584034882602282e-05, -2.2266354790190235e-05, -1.8692362573347054e-05, -1.5118370356503874e-05, -1.1544378139660694e-05, -7.970385922817513e-06, -4.396393251226982e-06, -8.224005796364509e-07, 2.7515916372067295e-06, 6.325584763544612e-06, 9.899576980387792e-06, 1.3473569197230972e-05, 1.7047561414074153e-05, 2.0621553630917333e-05, 2.4195545847760513e-05, 2.7769539883593097e-05, 3.1343530281446874e-05, 3.491752431727946e-05, 3.849151835311204e-05, 4.206550875096582e-05, 4.5639499148819596e-05, 4.921349318465218e-05, 5.2787483582505956e-05, 5.636147761833854e-05, 5.993546801619232e-05, 6.35094620520249e-05, 6.708345608785748e-05, 7.065745012369007e-05, 7.423144415952265e-05, 7.780543819535524e-05, 8.137943223118782e-05, 8.495341899106279e-05, 8.852741302689537e-05, 9.210140706272796e-05, 9.567540109856054e-05, 9.924938785843551e-05, 0.0001028233818942681, 0.00010639737593010068, 0.00010997136996593326, 0.00011354535672580823, 0.00011711935076164082, 0.0001206933447974734, 0.00012426733155734837, 0.00012784132559318095, 0.00013141531962901354]}, "gradients/bert.encoder.layer.2.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 3.0, 5.0, 8.0, 6.0, 12.0, 16.0, 25.0, 35.0, 40.0, 54.0, 91.0, 85.0, 108.0, 98.0, 104.0, 94.0, 58.0, 51.0, 30.0, 32.0, 15.0, 15.0, 8.0, 9.0, 4.0, 4.0, 0.0, 1.0, 1.0, 0.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.2888727724202909e-05, -1.2520061318355147e-05, -1.2151395822002087e-05, -1.1782729416154325e-05, -1.1414063010306563e-05, -1.1045396604458801e-05, -1.0676731108105741e-05, -1.030806470225798e-05, -9.939398296410218e-06, -9.570731890562456e-06, -9.202066394209396e-06, -8.833399988361634e-06, -8.464733582513873e-06, -8.09606717666611e-06, -7.72740168031305e-06, -7.358735274465289e-06, -6.990069778112229e-06, -6.621403827011818e-06, -6.252737421164056e-06, -5.884071470063645e-06, -5.515405064215884e-06, -5.146739113115473e-06, -4.778073162015062e-06, -4.4094067561673e-06, -4.040740805066889e-06, -3.672074626592803e-06, -3.3034084481187165e-06, -2.9347424970183056e-06, -2.5660763185442192e-06, -2.197410140070133e-06, -1.828744188969722e-06, -1.4600780104956357e-06, -1.0914109225268476e-06, -7.227448008961801e-07, -3.540786792655126e-07, 1.4587385521735996e-08, 3.8325356399582233e-07, 7.519197424699087e-07, 1.1205856935703196e-06, 1.489251872044406e-06, 1.8579180505184922e-06, 2.2265842289925786e-06, 2.595250407466665e-06, 2.963916358567076e-06, 3.332582537041162e-06, 3.7012487155152485e-06, 4.069914666615659e-06, 4.43858061771607e-06, 4.807247023563832e-06, 5.175912974664243e-06, 5.544579380512005e-06, 5.913245331612416e-06, 6.281911737460177e-06, 6.650577688560588e-06, 7.019243639660999e-06, 7.387910045508761e-06, 7.756576451356523e-06, 8.125242857204285e-06, 8.493908353557345e-06, 8.862574759405106e-06, 9.231241165252868e-06, 9.59990757110063e-06, 9.96857306745369e-06, 1.0337239473301452e-05, 1.0705904969654512e-05]}, "gradients/bert.encoder.layer.2.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 2.0, 2.0, 3.0, 3.0, 2.0, 3.0, 3.0, 5.0, 6.0, 6.0, 6.0, 10.0, 6.0, 4.0, 10.0, 9.0, 16.0, 23.0, 20.0, 26.0, 28.0, 26.0, 24.0, 26.0, 29.0, 40.0, 31.0, 28.0, 43.0, 47.0, 50.0, 45.0, 43.0, 35.0, 34.0, 39.0, 40.0, 29.0, 23.0, 31.0, 21.0, 25.0, 11.0, 22.0, 13.0, 11.0, 13.0, 10.0, 4.0, 4.0, 6.0, 8.0, 5.0, 4.0, 1.0, 1.0, 0.0, 3.0, 1.0, 2.0], "bins": [-5.815139957121573e-06, -5.644339125865372e-06, -5.47353829460917e-06, -5.302737008605618e-06, -5.1319361773494165e-06, -4.961135346093215e-06, -4.7903345148370136e-06, -4.619533683580812e-06, -4.44873239757726e-06, -4.277931566321058e-06, -4.107130735064857e-06, -3.936329449061304e-06, -3.765528617805103e-06, -3.5947277865489013e-06, -3.4239269552927e-06, -3.2531261240364984e-06, -3.082325292780297e-06, -2.9115244615240954e-06, -2.7407234028942185e-06, -2.569922571638017e-06, -2.39912151300814e-06, -2.2283206817519385e-06, -2.057519850495737e-06, -1.8867189055526978e-06, -1.7159179606096586e-06, -1.5451170156666194e-06, -1.3743160707235802e-06, -1.2035152394673787e-06, -1.0327142945243395e-06, -8.619133495813003e-07, -6.911125183250988e-07, -5.203115733820596e-07, -3.4951062843902037e-07, -1.7870971191769058e-07, -7.908795396360802e-09, 1.6289209270325955e-07, 3.3369303764629876e-07, 5.04493982589338e-07, 6.752948138455395e-07, 8.460957587885787e-07, 1.0168967037316179e-06, 1.187697648674657e-06, 1.3584985936176963e-06, 1.5292994248738978e-06, 1.700100369816937e-06, 1.8709013147599762e-06, 2.0417021460161777e-06, 2.2125032046460547e-06, 2.383304035902256e-06, 2.5541048671584576e-06, 2.7249059257883346e-06, 2.895706757044536e-06, 3.066507815674413e-06, 3.2373086469306145e-06, 3.408109478186816e-06, 3.5789103094430175e-06, 3.7497113680728944e-06, 3.920512426702771e-06, 4.091313257958973e-06, 4.262114089215174e-06, 4.432914920471376e-06, 4.603715751727577e-06, 4.77451703773113e-06, 4.945317868987331e-06, 5.116118700243533e-06]}, "gradients/bert.encoder.layer.2.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 2.0, 1.0, 2.0, 4.0, 5.0, 4.0, 2.0, 7.0, 4.0, 6.0, 7.0, 10.0, 20.0, 15.0, 8.0, 19.0, 25.0, 25.0, 16.0, 18.0, 29.0, 29.0, 32.0, 43.0, 39.0, 44.0, 48.0, 39.0, 36.0, 41.0, 41.0, 35.0, 49.0, 28.0, 27.0, 33.0, 24.0, 32.0, 28.0, 25.0, 18.0, 15.0, 19.0, 6.0, 12.0, 7.0, 5.0, 10.0, 5.0, 3.0, 3.0, 7.0, 2.0, 1.0, 4.0, 0.0, 2.0], "bins": [-7.691513019381091e-06, -7.472663128282875e-06, -7.2538136919320095e-06, -7.034963800833793e-06, -6.816113909735577e-06, -6.597264473384712e-06, -6.378414582286496e-06, -6.1595646911882795e-06, -5.940714800090063e-06, -5.721864908991847e-06, -5.503015472640982e-06, -5.284165581542766e-06, -5.0653156904445495e-06, -4.846466254093684e-06, -4.627616362995468e-06, -4.408766471897252e-06, -4.189917035546387e-06, -3.9710671444481704e-06, -3.7522174807236297e-06, -3.533367816999089e-06, -3.314517925900873e-06, -3.095668262176332e-06, -2.8768185984517913e-06, -2.657968707353575e-06, -2.4391190436290344e-06, -2.2202693799044937e-06, -2.0014194888062775e-06, -1.7825698250817368e-06, -1.5637200476703583e-06, -1.3448702702589799e-06, -1.1260206065344391e-06, -9.071708291230607e-07, -6.883210517116822e-07, -4.694713027220132e-07, -2.506215537323442e-07, -3.177183316438459e-08, 1.8707794424699387e-07, 4.059277216583723e-07, 6.247773853829131e-07, 8.436271627942915e-07, 1.06247694020567e-06, 1.2813267176170484e-06, 1.5001764950284269e-06, 1.7190261587529676e-06, 1.9378758224775083e-06, 2.1567257135757245e-06, 2.3755753773002652e-06, 2.594425041024806e-06, 2.813274932123022e-06, 3.032124595847563e-06, 3.250974486945779e-06, 3.46982415067032e-06, 3.688674041768536e-06, 3.907523932866752e-06, 4.1263733692176174e-06, 4.345223260315834e-06, 4.564072696666699e-06, 4.782922587764915e-06, 5.00177202411578e-06, 5.2206219152139965e-06, 5.439471806312213e-06, 5.658321242663078e-06, 5.877171133761294e-06, 6.09602102485951e-06, 6.3148709159577265e-06]}, "gradients/bert.encoder.layer.2.attention.output.dense.weight": {"_type": "histogram", "values": [2.0, 3.0, 1.0, 2.0, 3.0, 4.0, 2.0, 6.0, 4.0, 9.0, 19.0, 22.0, 35.0, 57.0, 57.0, 92.0, 124.0, 173.0, 276.0, 485.0, 649.0, 1023.0, 1764.0, 2775.0, 4826.0, 8499.0, 15751.0, 31625.0, 71880.0, 173341.0, 303125.0, 236138.0, 104941.0, 43863.0, 20708.0, 10893.0, 6049.0, 3544.0, 2087.0, 1306.0, 831.0, 528.0, 326.0, 231.0, 140.0, 100.0, 70.0, 61.0, 42.0, 19.0, 17.0, 7.0, 13.0, 7.0, 7.0, 2.0, 0.0, 7.0, 0.0, 3.0, 0.0, 0.0, 1.0, 1.0], "bins": [-8.293899554701056e-06, -8.023829650483094e-06, -7.753759746265132e-06, -7.48368984204717e-06, -7.213619937829208e-06, -6.9435500336112455e-06, -6.673480584140634e-06, -6.403410679922672e-06, -6.13334077570471e-06, -5.863270871486748e-06, -5.5932009672687855e-06, -5.323131063050823e-06, -5.053061613580212e-06, -4.78299170936225e-06, -4.512921805144288e-06, -4.2428519009263255e-06, -3.972781996708363e-06, -3.702712092490401e-06, -3.432642188272439e-06, -3.162572511428152e-06, -2.89250260721019e-06, -2.622432702992228e-06, -2.352363026147941e-06, -2.082293121929979e-06, -1.8122232177120168e-06, -1.5421533134940546e-06, -1.2720835229629301e-06, -1.0020137324318057e-06, -7.319438282138435e-07, -4.6187392399588134e-07, -1.918041334647569e-07, 7.826565706636757e-08, 3.4833556128432974e-07, 6.184054086588731e-07, 8.884752560334164e-07, 1.1585450465645408e-06, 1.428614950782503e-06, 1.6986848550004652e-06, 1.968754531844752e-06, 2.238824436062714e-06, 2.5088943402806763e-06, 2.7789642444986384e-06, 3.0490341487166006e-06, 3.3191038255608873e-06, 3.5891737297788495e-06, 3.859243406623136e-06, 4.1293133108410984e-06, 4.399383215059061e-06, 4.669453119277023e-06, 4.939523023494985e-06, 5.209592927712947e-06, 5.479662831930909e-06, 5.7497327361488715e-06, 6.019802640366834e-06, 6.289872089837445e-06, 6.559941994055407e-06, 6.830011898273369e-06, 7.1000818024913315e-06, 7.370151706709294e-06, 7.640221156179905e-06, 7.910291060397867e-06, 8.18036096461583e-06, 8.450430868833791e-06, 8.720500773051754e-06, 8.990570677269716e-06]}, "gradients/bert.encoder.layer.2.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 2.0, 0.0, 2.0, 0.0, 2.0, 5.0, 4.0, 3.0, 7.0, 4.0, 7.0, 15.0, 11.0, 15.0, 14.0, 21.0, 16.0, 20.0, 25.0, 37.0, 50.0, 38.0, 49.0, 53.0, 43.0, 41.0, 51.0, 52.0, 37.0, 55.0, 47.0, 32.0, 36.0, 32.0, 23.0, 29.0, 21.0, 18.0, 22.0, 15.0, 13.0, 5.0, 8.0, 9.0, 8.0, 4.0, 4.0, 1.0, 4.0, 0.0, 2.0, 4.0, 3.0], "bins": [-7.839526915631723e-06, -7.630214895471e-06, -7.420903330057627e-06, -7.211591309896903e-06, -7.0022797444835305e-06, -6.792967724322807e-06, -6.5836561589094345e-06, -6.374344138748711e-06, -6.165032573335338e-06, -5.955720553174615e-06, -5.746408987761242e-06, -5.537096967600519e-06, -5.327785402187146e-06, -5.118473382026423e-06, -4.90916181661305e-06, -4.699849796452327e-06, -4.490538231038954e-06, -4.281226210878231e-06, -4.071914645464858e-06, -3.8626026253041346e-06, -3.653291059890762e-06, -3.4439790397300385e-06, -3.234667474316666e-06, -3.0253554541559424e-06, -2.816043433995219e-06, -2.606731641208171e-06, -2.397419848421123e-06, -2.188108055634075e-06, -1.978796262847027e-06, -1.769484356373141e-06, -1.560172563586093e-06, -1.350860770799045e-06, -1.1415490916988347e-06, -9.322372989117866e-07, -7.229255061247386e-07, -5.136136564942717e-07, -3.043018637072237e-07, -9.499001407675678e-08, 1.1432177871029126e-07, 3.236335714973393e-07, 5.329453642843873e-07, 7.422571570714354e-07, 9.515689498584834e-07, 1.1608808563323691e-06, 1.3701926491194172e-06, 1.5795044419064652e-06, 1.7888162346935133e-06, 1.9981280274805613e-06, 2.2074398202676093e-06, 2.4167516130546574e-06, 2.6260634058417054e-06, 2.8353751986287534e-06, 3.0446869914158015e-06, 3.2539987842028495e-06, 3.463310804363573e-06, 3.6726223697769456e-06, 3.881934389937669e-06, 4.0912464100983925e-06, 4.300557975511765e-06, 4.509869995672489e-06, 4.719181561085861e-06, 4.928493581246585e-06, 5.137805146659957e-06, 5.347117166820681e-06, 5.556428732234053e-06]}, "gradients/bert.encoder.layer.2.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 0.0, 2.0, 3.0, 1.0, 3.0, 3.0, 2.0, 3.0, 13.0, 12.0, 10.0, 11.0, 19.0, 30.0, 24.0, 42.0, 50.0, 51.0, 71.0, 81.0, 107.0, 121.0, 163.0, 878.0, 122182.0, 920119.0, 3658.0, 204.0, 151.0, 100.0, 80.0, 70.0, 58.0, 51.0, 47.0, 31.0, 26.0, 17.0, 17.0, 13.0, 10.0, 11.0, 2.0, 4.0, 6.0, 4.0, 1.0, 4.0, 0.0, 3.0, 2.0, 1.0], "bins": [-9.653493179939687e-05, -9.39382443903014e-05, -9.134155698120594e-05, -8.874486957211047e-05, -8.61481748870574e-05, -8.355148747796193e-05, -8.095480006886646e-05, -7.8358112659771e-05, -7.576141797471792e-05, -7.316473056562245e-05, -7.056804315652698e-05, -6.797135574743152e-05, -6.537466106237844e-05, -6.277797365328297e-05, -6.0181286244187504e-05, -5.758459883509204e-05, -5.498791142599657e-05, -5.2391224016901106e-05, -4.979453296982683e-05, -4.7197845560731366e-05, -4.460115451365709e-05, -4.200446710456163e-05, -3.940777969546616e-05, -3.6811092286370695e-05, -3.421440123929642e-05, -3.1617713830200955e-05, -2.9021022783126682e-05, -2.6424335374031216e-05, -2.3827646145946346e-05, -2.1230956917861477e-05, -1.863426950876601e-05, -1.603758028068114e-05, -1.3440883776638657e-05, -1.0844194548553787e-05, -8.24750622996362e-06, -5.650817911373451e-06, -3.0541286832885817e-06, -4.57439455203712e-07, 2.139247953891754e-06, 4.735937181976624e-06, 7.3326264100614935e-06, 9.929315638146363e-06, 1.2526003956736531e-05, 1.5122692275326699e-05, 1.771938150341157e-05, 2.031607073149644e-05, 2.2912758140591905e-05, 2.5509447368676774e-05, 2.8106136596761644e-05, 3.070282400585711e-05, 3.329951505293138e-05, 3.589620246202685e-05, 3.849289350910112e-05, 4.108958091819659e-05, 4.3686268327292055e-05, 4.628295573638752e-05, 4.8879646783461794e-05, 5.147633419255726e-05, 5.4073025239631534e-05, 5.6669712648727e-05, 5.9266400057822466e-05, 6.186308746691793e-05, 6.44597748760134e-05, 6.705646956106648e-05, 6.965315697016194e-05]}, "gradients/bert.encoder.layer.2.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 2.0, 3.0, 11.0, 3.0, 5.0, 6.0, 5.0, 23.0, 23.0, 59.0, 64.0, 118.0, 194.0, 154.0, 143.0, 60.0, 38.0, 31.0, 18.0, 19.0, 3.0, 11.0, 2.0, 2.0, 4.0, 2.0, 2.0, 0.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 2.0], "bins": [-7.958078640513122e-13, -7.758238496080594e-13, -7.558398351648066e-13, -7.358558207215538e-13, -7.158718062783009e-13, -6.958877918350481e-13, -6.759037773917953e-13, -6.559197629485425e-13, -6.359357485052897e-13, -6.159517340620368e-13, -5.95967719618784e-13, -5.759837051755312e-13, -5.559996907322784e-13, -5.360156762890256e-13, -5.160316618457728e-13, -4.960476474025199e-13, -4.760636329592671e-13, -4.560796185160143e-13, -4.360956040727615e-13, -4.1611158962950867e-13, -3.9612757518625585e-13, -3.7614356074300304e-13, -3.561595462997502e-13, -3.361755318564974e-13, -3.161915174132446e-13, -2.9620750296999176e-13, -2.7622348852673895e-13, -2.5623947408348613e-13, -2.362554596402333e-13, -2.162714451969805e-13, -1.9628743075372768e-13, -1.7630341631047486e-13, -1.5631940186722204e-13, -1.3633538742396922e-13, -1.163513729807164e-13, -9.636735853746359e-14, -7.638334409421077e-14, -5.639932965095795e-14, -3.6415315207705135e-14, -1.6431300764452317e-14, 3.552713678800501e-15, 2.353672812205332e-14, 4.3520742565306136e-14, 6.350475700855895e-14, 8.348877145181177e-14, 1.0347278589506459e-13, 1.234568003383174e-13, 1.4344081478157023e-13, 1.6342482922482304e-13, 1.8340884366807586e-13, 2.0339285811132868e-13, 2.233768725545815e-13, 2.433608869978343e-13, 2.6334490144108713e-13, 2.8332891588433995e-13, 3.0331293032759277e-13, 3.232969447708456e-13, 3.432809592140984e-13, 3.632649736573512e-13, 3.8324898810060404e-13, 4.0323300254385686e-13, 4.2321701698710967e-13, 4.432010314303625e-13, 4.631850458736153e-13, 4.831690603168681e-13]}, "gradients/bert.encoder.layer.2.attention.self.key.weight": {"_type": "histogram", "values": [1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 4.0, 1.0, 1.0, 1.0, 1.0, 1.0, 1.0, 5.0, 6.0, 9.0, 9.0, 10.0, 15.0, 20.0, 29.0, 46.0, 73.0, 103.0, 160.0, 334.0, 594.0, 1235.0, 2823.0, 6847.0, 19591.0, 75426.0, 396668.0, 427664.0, 83035.0, 20869.0, 7319.0, 2932.0, 1274.0, 611.0, 305.0, 187.0, 106.0, 68.0, 47.0, 40.0, 25.0, 25.0, 12.0, 5.0, 9.0, 10.0, 3.0, 1.0, 2.0, 2.0, 2.0, 2.0, 1.0, 3.0, 1.0], "bins": [-7.79757829150185e-06, -7.581159479741473e-06, -7.364740667981096e-06, -7.1483218562207185e-06, -6.931903499207692e-06, -6.715484687447315e-06, -6.499065875686938e-06, -6.282647063926561e-06, -6.0662287069135346e-06, -5.849809895153157e-06, -5.63339108339278e-06, -5.416972271632403e-06, -5.200553914619377e-06, -4.984135102859e-06, -4.767716291098623e-06, -4.5512974793382455e-06, -4.334878667577868e-06, -4.118459855817491e-06, -3.902041044057114e-06, -3.6856224596704124e-06, -3.4692038752837107e-06, -3.2527850635233335e-06, -3.0363662517629564e-06, -2.8199474400025792e-06, -2.6035288556158775e-06, -2.3871100438555004e-06, -2.1706914594687987e-06, -1.9542726477084216e-06, -1.7378539496348822e-06, -1.5214352515613427e-06, -1.3050164398009656e-06, -1.0885977417274262e-06, -8.721790436538868e-07, -6.557603455803473e-07, -4.3934159066338907e-07, -2.229228357464308e-07, -6.504137672891375e-09, 2.0991456040064804e-07, 4.263333721610252e-07, 6.427520702345646e-07, 8.59170768308104e-07, 1.0755894663816434e-06, 1.2920081644551829e-06, 1.50842697621556e-06, 1.7248456742890994e-06, 1.941264372362639e-06, 2.157683184123016e-06, 2.3741017685097177e-06, 2.590520580270095e-06, 2.806939392030472e-06, 3.0233579764171736e-06, 3.2397767881775508e-06, 3.4561953725642525e-06, 3.6726141843246296e-06, 3.889032996085007e-06, 4.105451807845384e-06, 4.321870619605761e-06, 4.538289431366138e-06, 4.754708243126515e-06, 4.9711270548868924e-06, 5.187545411899919e-06, 5.403964223660296e-06, 5.620383035420673e-06, 5.83680184718105e-06, 6.053220204194076e-06]}, "gradients/bert.encoder.layer.2.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 7.0, 4.0, 1.0, 6.0, 4.0, 10.0, 17.0, 16.0, 19.0, 29.0, 61.0, 79.0, 93.0, 109.0, 136.0, 109.0, 75.0, 74.0, 41.0, 41.0, 19.0, 19.0, 16.0, 9.0, 4.0, 5.0, 1.0, 5.0, 0.0, 0.0, 1.0, 3.0, 3.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.6759480533655733e-06, -2.604247811177629e-06, -2.532547568989685e-06, -2.4608473268017406e-06, -2.3891470846137963e-06, -2.317446842425852e-06, -2.245746600237908e-06, -2.174046585423639e-06, -2.1023461158620194e-06, -2.030645873674075e-06, -1.958945631486131e-06, -1.8872453892981866e-06, -1.8155451471102424e-06, -1.7438449049222982e-06, -1.6721447764211916e-06, -1.6004445342332474e-06, -1.5287444057321409e-06, -1.4570441635441966e-06, -1.3853439213562524e-06, -1.3136436791683082e-06, -1.241943436980364e-06, -1.1702431947924197e-06, -1.0985430662913132e-06, -1.026842824103369e-06, -9.551425819154247e-07, -8.834423397274804e-07, -8.117420975395362e-07, -7.400419121950108e-07, -6.683416700070666e-07, -5.966414278191223e-07, -5.24941242474597e-07, -4.532410002866527e-07, -3.8154075809870847e-07, -3.098405159107642e-07, -2.3814030214452941e-07, -1.664400741674399e-07, -9.473984619035036e-08, -2.3039604002406122e-08, 4.866060976382869e-08, 1.203608235300635e-07, 1.9206106571800774e-07, 2.63761307905952e-07, 3.354615216721868e-07, 4.071617354384216e-07, 4.788619776263658e-07, 5.505622198143101e-07, 6.222624051588355e-07, 6.939626473467797e-07, 7.656628895347239e-07, 8.373631317226682e-07, 9.090633739106124e-07, 9.807636160985567e-07, 1.052463858286501e-06, 1.1241641004744451e-06, 1.1958642289755517e-06, 1.267564471163496e-06, 1.3392647133514402e-06, 1.4109649555393844e-06, 1.4826651977273286e-06, 1.5543654399152729e-06, 1.6260655684163794e-06, 1.6977658106043236e-06, 1.7694660527922679e-06, 1.8411662949802121e-06, 1.9128665371681564e-06]}, "gradients/bert.encoder.layer.2.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 1.0, 4.0, 2.0, 4.0, 4.0, 5.0, 9.0, 13.0, 14.0, 21.0, 28.0, 42.0, 69.0, 135.0, 531.0, 3174.0, 46961.0, 901093.0, 90708.0, 4645.0, 678.0, 187.0, 76.0, 44.0, 46.0, 23.0, 16.0, 10.0, 2.0, 6.0, 2.0, 4.0, 3.0, 2.0, 2.0, 0.0, 2.0, 0.0, 2.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.283797221025452e-05, -2.219624184363056e-05, -2.15545114770066e-05, -2.0912779291393235e-05, -2.0271048924769275e-05, -1.9629318558145314e-05, -1.898758637253195e-05, -1.834585600590799e-05, -1.770412563928403e-05, -1.706239527266007e-05, -1.642066490603611e-05, -1.5778932720422745e-05, -1.5137202353798784e-05, -1.4495471987174824e-05, -1.3853740711056162e-05, -1.32120094349375e-05, -1.2570279068313539e-05, -1.1928548701689579e-05, -1.1286817425570916e-05, -1.0645086149452254e-05, -1.0003355782828294e-05, -9.361625416204333e-06, -8.719894140085671e-06, -8.078162863967009e-06, -7.4364324973430485e-06, -6.794701675971737e-06, -6.152970854600426e-06, -5.5112400332291145e-06, -4.869509211857803e-06, -4.227778390486492e-06, -3.5860475691151805e-06, -2.944316747743869e-06, -2.3025877453619614e-06, -1.66085692399065e-06, -1.0191261026193388e-06, -3.7739528124802746e-07, 2.6433554012328386e-07, 9.060663614945952e-07, 1.5477971828659065e-06, 2.189528004237218e-06, 2.831258825608529e-06, 3.4729896469798405e-06, 4.114720468351152e-06, 4.756451289722463e-06, 5.3981821110937744e-06, 6.039912932465086e-06, 6.681643753836397e-06, 7.323374575207708e-06, 7.96510539657902e-06, 8.60683576320298e-06, 9.248567039321642e-06, 9.890298315440305e-06, 1.0532028682064265e-05, 1.1173759048688225e-05, 1.1815490324806888e-05, 1.245722160092555e-05, 1.309895196754951e-05, 1.374068233417347e-05, 1.4382413610292133e-05, 1.5024144886410795e-05, 1.5665875253034756e-05, 1.6307605619658716e-05, 1.6949335986282676e-05, 1.759106817189604e-05, 1.823279853852e-05]}, "gradients/bert.encoder.layer.1.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 1.0, 4.0, 8.0, 9.0, 17.0, 25.0, 47.0, 81.0, 98.0, 156.0, 137.0, 134.0, 117.0, 77.0, 37.0, 27.0, 18.0, 10.0, 8.0, 2.0, 3.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-2.9291812097653747e-05, -2.868660885724239e-05, -2.808140379784163e-05, -2.7476200557430275e-05, -2.6870995498029515e-05, -2.626579225761816e-05, -2.56605871982174e-05, -2.5055383957806043e-05, -2.4450178898405284e-05, -2.3844975657993928e-05, -2.3239770598593168e-05, -2.2634567358181812e-05, -2.2029362298781052e-05, -2.1424159058369696e-05, -2.0818953998968937e-05, -2.021375075855758e-05, -1.9608547518146224e-05, -1.9003344277734868e-05, -1.839813921833411e-05, -1.7792935977922752e-05, -1.7187730918521993e-05, -1.6582527678110637e-05, -1.5977322618709877e-05, -1.537211937829852e-05, -1.4766915228392463e-05, -1.4161711078486405e-05, -1.3556506928580347e-05, -1.295130277867429e-05, -1.2346099538262933e-05, -1.1740894478862174e-05, -1.1135691238450818e-05, -1.053048708854476e-05, -9.925284757628106e-06, -9.320080607722048e-06, -8.71487645781599e-06, -8.109672307909932e-06, -7.504468612751225e-06, -6.899264462845167e-06, -6.29406076768646e-06, -5.688856617780402e-06, -5.0836524678743444e-06, -4.4784483179682866e-06, -3.873244168062229e-06, -3.2680404729035217e-06, -2.662836322997464e-06, -2.057632173091406e-06, -1.4524282505590236e-06, -8.472243280266412e-07, -2.420201781205833e-07, 3.6318385809863685e-07, 9.68387894317857e-07, 1.5735919305370771e-06, 2.1787959667562973e-06, 2.784000116662355e-06, 3.3892040391947376e-06, 3.99440796172712e-06, 4.599612111633178e-06, 5.204816261539236e-06, 5.8100204114452936e-06, 6.4152241066040006e-06, 7.020428256510058e-06, 7.625632406416116e-06, 8.230836101574823e-06, 8.836040251480881e-06, 9.441244401386939e-06]}, "gradients/bert.encoder.layer.1.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 1.0, 1.0, 0.0, 2.0, 4.0, 5.0, 2.0, 0.0, 3.0, 4.0, 5.0, 7.0, 8.0, 8.0, 7.0, 12.0, 25.0, 13.0, 20.0, 20.0, 21.0, 26.0, 36.0, 39.0, 31.0, 32.0, 33.0, 54.0, 33.0, 35.0, 55.0, 40.0, 44.0, 46.0, 40.0, 48.0, 32.0, 22.0, 30.0, 27.0, 25.0, 22.0, 19.0, 14.0, 16.0, 11.0, 7.0, 8.0, 10.0, 5.0, 1.0, 2.0, 2.0, 1.0, 2.0, 4.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-7.77774130256148e-06, -7.524319698859472e-06, -7.270898095157463e-06, -7.017476491455454e-06, -6.764054887753446e-06, -6.510633284051437e-06, -6.257211225602077e-06, -6.003789621900069e-06, -5.75036801819806e-06, -5.496946414496051e-06, -5.243524810794042e-06, -4.990103207092034e-06, -4.736681148642674e-06, -4.483259544940665e-06, -4.229837941238657e-06, -3.976416337536648e-06, -3.722994733834639e-06, -3.4695731301326305e-06, -3.2161515264306217e-06, -2.9627296953549376e-06, -2.709308091652929e-06, -2.45588648795092e-06, -2.202464656875236e-06, -1.9490430531732272e-06, -1.6956214494712185e-06, -1.4421998457692098e-06, -1.1887781283803633e-06, -9.353564678349358e-07, -6.819348072895082e-07, -4.2851320358749945e-07, -1.75091486198653e-07, 7.833023119019344e-08, 3.3175274438690394e-07, 5.851744049323315e-07, 8.385960654777591e-07, 1.0920177828666056e-06, 1.3454393865686143e-06, 1.598860990270623e-06, 1.8522827076594695e-06, 2.105704425048316e-06, 2.3591260287503246e-06, 2.6125476324523333e-06, 2.865969236154342e-06, 3.1193910672300262e-06, 3.372812670932035e-06, 3.6262342746340437e-06, 3.879656105709728e-06, 4.133077709411737e-06, 4.386499313113745e-06, 4.639920916815754e-06, 4.893342520517763e-06, 5.1467641242197715e-06, 5.40018572792178e-06, 5.653607331623789e-06, 5.9070293900731485e-06, 6.160450993775157e-06, 6.413872597477166e-06, 6.667294201179175e-06, 6.9207158048811834e-06, 7.174137408583192e-06, 7.427559467032552e-06, 7.68098107073456e-06, 7.93440267443657e-06, 8.187824278138578e-06, 8.441245881840587e-06]}, "gradients/bert.encoder.layer.1.output.dense.bias": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 1.0, 0.0, 2.0, 1.0, 1.0, 3.0, 2.0, 7.0, 7.0, 4.0, 5.0, 6.0, 10.0, 12.0, 10.0, 12.0, 17.0, 16.0, 16.0, 23.0, 17.0, 22.0, 35.0, 34.0, 35.0, 39.0, 31.0, 42.0, 47.0, 41.0, 46.0, 45.0, 45.0, 54.0, 45.0, 33.0, 30.0, 33.0, 36.0, 26.0, 13.0, 25.0, 18.0, 13.0, 6.0, 5.0, 8.0, 10.0, 7.0, 7.0, 7.0, 0.0, 1.0, 2.0, 2.0, 2.0, 1.0, 1.0, 0.0, 0.0, 1.0], "bins": [-5.19980676472187e-06, -5.040684754931135e-06, -4.8815627451404e-06, -4.722441190097015e-06, -4.56331918030628e-06, -4.404197170515545e-06, -4.245075160724809e-06, -4.085953150934074e-06, -3.92683159589069e-06, -3.7677095860999543e-06, -3.6085878036828944e-06, -3.449465793892159e-06, -3.2903440114750993e-06, -3.131222001684364e-06, -2.9720999918936286e-06, -2.8129779821028933e-06, -2.653855972312158e-06, -2.4947339625214227e-06, -2.3356121801043628e-06, -2.1764901703136275e-06, -2.0173683878965676e-06, -1.8582463781058323e-06, -1.699124368315097e-06, -1.5400024722111993e-06, -1.3808805761073017e-06, -1.2217586800034042e-06, -1.0626367838995066e-06, -9.035147741087712e-07, -7.443928780048736e-07, -5.85270981900976e-07, -4.261489721102407e-07, -2.670270760063431e-07, -1.0790517990244552e-07, 5.12167446231615e-08, 2.1033866914876853e-07, 3.69460622096085e-07, 5.285825181999826e-07, 6.877044143038802e-07, 8.468264240946155e-07, 1.005948320198513e-06, 1.1650702163024107e-06, 1.3241921124063083e-06, 1.483314008510206e-06, 1.6424360183009412e-06, 1.8015579144048388e-06, 1.9606798105087364e-06, 2.1198018202994717e-06, 2.2789236027165316e-06, 2.438045612507267e-06, 2.5971676222980022e-06, 2.756289404715062e-06, 2.9154114145057974e-06, 3.0745331969228573e-06, 3.2336552067135926e-06, 3.392777216504328e-06, 3.5518992262950633e-06, 3.711021008712123e-06, 3.870142791129183e-06, 4.029264800919918e-06, 4.188386810710654e-06, 4.347508820501389e-06, 4.506630830292124e-06, 4.665752385335509e-06, 4.824874395126244e-06, 4.983996404916979e-06]}, "gradients/bert.encoder.layer.1.output.dense.weight": {"_type": "histogram", "values": [1.0, 1.0, 2.0, 0.0, 0.0, 1.0, 2.0, 0.0, 5.0, 5.0, 5.0, 7.0, 8.0, 12.0, 23.0, 23.0, 30.0, 46.0, 60.0, 83.0, 132.0, 185.0, 258.0, 376.0, 602.0, 889.0, 1417.0, 2407.0, 4699.0, 9847.0, 26222.0, 117642.0, 1894295.0, 1956299.0, 129242.0, 28116.0, 10192.0, 4675.0, 2469.0, 1507.0, 870.0, 561.0, 356.0, 217.0, 177.0, 118.0, 58.0, 59.0, 28.0, 17.0, 16.0, 14.0, 10.0, 4.0, 3.0, 3.0, 3.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0], "bins": [-1.3071561625110917e-05, -1.2675592188315932e-05, -1.2279622751520947e-05, -1.188365240523126e-05, -1.1487682968436275e-05, -1.109171353164129e-05, -1.0695744094846305e-05, -1.029977465805132e-05, -9.903804311761633e-06, -9.507834874966647e-06, -9.111865438171662e-06, -8.715895091881976e-06, -8.31992565508699e-06, -7.923956218292005e-06, -7.52798678149702e-06, -7.132017344702035e-06, -6.73604790790705e-06, -6.340078471112065e-06, -5.944108579569729e-06, -5.548139142774744e-06, -5.152169251232408e-06, -4.756199814437423e-06, -4.360230377642438e-06, -3.964260940847453e-06, -3.5682910493051168e-06, -3.1723213851364562e-06, -2.7763517209677957e-06, -2.3803822841728106e-06, -1.98441262000415e-06, -1.5884429558354896e-06, -1.1924735190405045e-06, -7.965038548718439e-07, -4.005341907031834e-07, -4.564583377941744e-09, 3.914050239472999e-07, 7.873745744291227e-07, 1.1833442385977833e-06, 1.5793139027664438e-06, 1.975283339561429e-06, 2.3712530037300894e-06, 2.76722266789875e-06, 3.1631923320674105e-06, 3.559161996236071e-06, 3.955131433031056e-06, 4.351100869826041e-06, 4.747070761368377e-06, 5.143040198163362e-06, 5.539010089705698e-06, 5.934979526500683e-06, 6.330948963295668e-06, 6.726918854838004e-06, 7.122888291632989e-06, 7.518858183175325e-06, 7.91482761997031e-06, 8.310797056765296e-06, 8.70676649356028e-06, 9.102735930355266e-06, 9.49870536715025e-06, 9.894674803945236e-06, 1.0290645150234923e-05, 1.0686614587029908e-05, 1.1082584023824893e-05, 1.1478553460619878e-05, 1.1874522897414863e-05, 1.227049324370455e-05]}, "gradients/bert.encoder.layer.1.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 2.0, 1.0, 1.0, 0.0, 1.0, 5.0, 5.0, 6.0, 12.0, 14.0, 26.0, 49.0, 79.0, 183.0, 398.0, 951.0, 1302.0, 598.0, 216.0, 80.0, 57.0, 27.0, 24.0, 17.0, 9.0, 6.0, 3.0, 0.0, 6.0, 1.0, 0.0, 1.0, 2.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.668445282935863e-06, -5.523921572603285e-06, -5.379397407523356e-06, -5.2348732424434274e-06, -5.090349532110849e-06, -4.945825821778271e-06, -4.801301656698342e-06, -4.6567774916184135e-06, -4.5122537812858354e-06, -4.367730070953257e-06, -4.2232059058733284e-06, -4.0786817407933995e-06, -3.9341580304608215e-06, -3.789634092754568e-06, -3.6451101550483145e-06, -3.500586217342061e-06, -3.3560622796358075e-06, -3.211538341929554e-06, -3.0670144042233005e-06, -2.922490466517047e-06, -2.7779665288107935e-06, -2.63344259110454e-06, -2.4889186533982866e-06, -2.344394715692033e-06, -2.1998707779857796e-06, -2.055346840279526e-06, -1.9108229025732726e-06, -1.766298964867019e-06, -1.6217750271607656e-06, -1.4772510894545121e-06, -1.3327271517482586e-06, -1.1882032140420051e-06, -1.0436797310831025e-06, -8.99155793376849e-07, -7.546318556705955e-07, -6.10107917964342e-07, -4.6558398025808856e-07, -3.2106004255183507e-07, -1.7653610484558158e-07, -3.2012167139328085e-08, 1.125117705669254e-07, 2.570357082731789e-07, 4.015596459794324e-07, 5.460835836856859e-07, 6.906075213919394e-07, 8.351314590981929e-07, 9.796553968044464e-07, 1.1241793345106998e-06, 1.2687032722169533e-06, 1.4132272099232068e-06, 1.5577511476294603e-06, 1.7022750853357138e-06, 1.8467990230419673e-06, 1.991322960748221e-06, 2.1358468984544743e-06, 2.2803708361607278e-06, 2.4248947738669813e-06, 2.5694187115732348e-06, 2.7139426492794883e-06, 2.8584665869857417e-06, 3.0029905246919952e-06, 3.1475144623982487e-06, 3.2920384001045022e-06, 3.4365623378107557e-06, 3.581086275517009e-06]}, "gradients/bert.encoder.layer.1.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 1.0, 0.0, 2.0, 4.0, 8.0, 6.0, 9.0, 16.0, 24.0, 72.0, 189.0, 906.0, 91036.0, 4099864.0, 1721.0, 257.0, 80.0, 48.0, 18.0, 12.0, 7.0, 4.0, 4.0, 4.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-0.0001512605231255293, -0.00014640175504609942, -0.00014154298696666956, -0.0001366842188872397, -0.00013182545080780983, -0.00012696668272837996, -0.0001221079146489501, -0.00011724915384547785, -0.00011239038576604798, -0.00010753161768661812, -0.00010267284960718825, -9.781408152775839e-05, -9.295532072428614e-05, -8.809655264485627e-05, -8.323778456542641e-05, -7.837901648599654e-05, -7.352024840656668e-05, -6.866148032713681e-05, -6.380271224770695e-05, -5.894394780625589e-05, -5.408517972682603e-05, -4.922641164739616e-05, -4.4367647205945104e-05, -3.950887912651524e-05, -3.4650111047085375e-05, -2.979134296765551e-05, -2.493257670721505e-05, -2.0073810446774587e-05, -1.5215042367344722e-05, -1.0356274287914857e-05, -5.497508027474396e-06, -6.387417670339346e-07, 4.22002631239593e-06, 9.078793482331093e-06, 1.3937560652266257e-05, 1.8796326912706718e-05, 2.3655094992136583e-05, 2.8513863071566448e-05, 3.3372627513017505e-05, 3.823139559244737e-05, 4.3090163671877235e-05, 4.79489317513071e-05, 5.2807699830736965e-05, 5.766646427218802e-05, 6.252522871363908e-05, 6.738399679306895e-05, 7.224276487249881e-05, 7.710153295192868e-05, 8.196030103135854e-05, 8.68190691107884e-05, 9.167783719021827e-05, 9.653660526964813e-05, 0.000101395373349078, 0.00010625414142850786, 0.00011111290223198012, 0.00011597167031140998, 0.00012083043839083984, 0.0001256891991943121, 0.00013054796727374196, 0.00013540673535317183, 0.0001402655034326017, 0.00014512427151203156, 0.00014998303959146142, 0.00015484180767089128, 0.00015970057575032115]}, "gradients/bert.encoder.layer.1.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 2.0, 4.0, 5.0, 6.0, 9.0, 13.0, 18.0, 13.0, 23.0, 25.0, 27.0, 67.0, 63.0, 72.0, 87.0, 96.0, 74.0, 74.0, 75.0, 64.0, 50.0, 31.0, 23.0, 26.0, 18.0, 14.0, 10.0, 10.0, 3.0, 1.0, 2.0, 4.0, 5.0, 3.0, 1.0], "bins": [-1.1851967428810894e-05, -1.1587540029722732e-05, -1.1323112630634569e-05, -1.1058685231546406e-05, -1.0794257832458243e-05, -1.0529831342864782e-05, -1.0265403943776619e-05, -1.0000976544688456e-05, -9.736549145600293e-06, -9.47212174651213e-06, -9.207694347423967e-06, -8.943266948335804e-06, -8.678840458742343e-06, -8.41441305965418e-06, -8.149985660566017e-06, -7.885558261477854e-06, -7.621130862389691e-06, -7.356703463301528e-06, -7.092276064213365e-06, -6.827849119872553e-06, -6.56342172078439e-06, -6.298994321696227e-06, -6.034567377355415e-06, -5.7701399782672524e-06, -5.5057125791790895e-06, -5.241285180090927e-06, -4.976857781002764e-06, -4.712430836661952e-06, -4.448003437573789e-06, -4.183576038485626e-06, -3.919149094144814e-06, -3.6547216950566508e-06, -3.390294295968488e-06, -3.125866896880325e-06, -2.8614397251658374e-06, -2.59701255345135e-06, -2.332585154363187e-06, -2.068157755275024e-06, -1.8037305835605366e-06, -1.5393032981592114e-06, -1.2748760127578862e-06, -1.010448727356561e-06, -7.460214419552358e-07, -4.815941565539106e-07, -2.1716687115258537e-07, 4.7260414248739835e-08, 3.1168769965006504e-07, 5.761149850513902e-07, 8.405422704527155e-07, 1.1049695558540407e-06, 1.3693968412553659e-06, 1.633824126656691e-06, 1.8982514120580163e-06, 2.1626788111461792e-06, 2.4271059828606667e-06, 2.691533154575154e-06, 2.955960553663317e-06, 3.22038795275148e-06, 3.4848151244659675e-06, 3.749242296180455e-06, 4.013669695268618e-06, 4.278097094356781e-06, 4.542524038697593e-06, 4.806951437785756e-06, 5.071378836873919e-06]}, "gradients/bert.encoder.layer.1.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 2.0, 1.0, 0.0, 3.0, 0.0, 3.0, 3.0, 5.0, 4.0, 1.0, 5.0, 2.0, 6.0, 5.0, 6.0, 4.0, 6.0, 16.0, 14.0, 9.0, 22.0, 17.0, 20.0, 22.0, 23.0, 34.0, 30.0, 30.0, 31.0, 40.0, 37.0, 39.0, 43.0, 37.0, 43.0, 33.0, 44.0, 33.0, 37.0, 34.0, 41.0, 23.0, 34.0, 26.0, 21.0, 12.0, 21.0, 10.0, 12.0, 18.0, 9.0, 8.0, 7.0, 9.0, 7.0, 5.0, 3.0, 1.0, 2.0, 0.0, 2.0, 4.0, 4.0], "bins": [-5.358809175959323e-06, -5.203986802371219e-06, -5.049164428783115e-06, -4.894342055195011e-06, -4.739519681606907e-06, -4.584697308018804e-06, -4.4298749344307e-06, -4.275052560842596e-06, -4.120230187254492e-06, -3.965407813666388e-06, -3.8105854400782846e-06, -3.655763066490181e-06, -3.500940692902077e-06, -3.346118319313973e-06, -3.1912959457258694e-06, -3.0364735721377656e-06, -2.8816511985496618e-06, -2.726828824961558e-06, -2.572006451373454e-06, -2.4171840777853504e-06, -2.2623617041972466e-06, -2.1075393306091428e-06, -1.952716957021039e-06, -1.7978945834329352e-06, -1.6430722098448314e-06, -1.4882498362567276e-06, -1.3334274626686238e-06, -1.17860508908052e-06, -1.0237827154924162e-06, -8.689603419043124e-07, -7.141379683162086e-07, -5.593155947281048e-07, -4.0449367588735186e-07, -2.4967130229924805e-07, -9.484892871114425e-08, 5.997344487695955e-08, 2.1479581846506335e-07, 3.6961819205316715e-07, 5.24440565641271e-07, 6.792629392293748e-07, 8.340853128174786e-07, 9.889076864055824e-07, 1.1437300599936862e-06, 1.29855243358179e-06, 1.4533748071698938e-06, 1.6081971807579976e-06, 1.7630195543461014e-06, 1.917841927934205e-06, 2.072664301522309e-06, 2.2274866751104128e-06, 2.3823090486985166e-06, 2.5371314222866204e-06, 2.691953795874724e-06, 2.846776169462828e-06, 3.0015985430509318e-06, 3.1564209166390356e-06, 3.3112432902271394e-06, 3.466065663815243e-06, 3.620888037403347e-06, 3.7757104109914508e-06, 3.9305327845795546e-06, 4.085355158167658e-06, 4.240177531755762e-06, 4.394999905343866e-06, 4.54982227893197e-06]}, "gradients/bert.encoder.layer.1.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 2.0, 4.0, 3.0, 1.0, 5.0, 5.0, 4.0, 5.0, 7.0, 8.0, 7.0, 19.0, 12.0, 13.0, 29.0, 17.0, 21.0, 29.0, 28.0, 33.0, 36.0, 33.0, 45.0, 50.0, 40.0, 43.0, 53.0, 47.0, 37.0, 36.0, 33.0, 36.0, 41.0, 32.0, 27.0, 20.0, 23.0, 14.0, 17.0, 13.0, 13.0, 19.0, 12.0, 9.0, 5.0, 8.0, 6.0, 5.0, 3.0, 3.0, 1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 2.0], "bins": [-6.558049335581018e-06, -6.358568498399109e-06, -6.1590876612172e-06, -5.959606824035291e-06, -5.760125986853382e-06, -5.560645149671473e-06, -5.3611647672369145e-06, -5.161683475307655e-06, -4.9622030928730965e-06, -4.7627222556911875e-06, -4.5632414185092784e-06, -4.3637605813273694e-06, -4.1642797441454604e-06, -3.964798906963551e-06, -3.765318297155318e-06, -3.565837459973409e-06, -3.3663563954178244e-06, -3.1668755582359154e-06, -2.9673947210540064e-06, -2.7679138838720974e-06, -2.5684330466901883e-06, -2.3689522095082793e-06, -2.1694715997000458e-06, -1.9699907625181368e-06, -1.7705099253362278e-06, -1.5710290881543187e-06, -1.3715482509724097e-06, -1.1720675274773384e-06, -9.725866902954294e-07, -7.731058531135204e-07, -5.736251296184491e-07, -3.7414429243654013e-07, -1.7466300050728023e-07, 2.481780825291935e-08, 2.2429861701311893e-07, 4.237793973516091e-07, 6.232602345335181e-07, 8.227410717154271e-07, 1.0222217952104984e-06, 1.2217026323924074e-06, 1.4211834695743164e-06, 1.6206643067562254e-06, 1.8201451439381344e-06, 2.019625753746368e-06, 2.219106590928277e-06, 2.418587428110186e-06, 2.618068265292095e-06, 2.817549102474004e-06, 3.017029939655913e-06, 3.216510776837822e-06, 3.415991614019731e-06, 3.61547245120164e-06, 3.814953288383549e-06, 4.014434125565458e-06, 4.213914508000016e-06, 4.413395799929276e-06, 4.612876182363834e-06, 4.812357019545743e-06, 5.011837856727652e-06, 5.211318693909561e-06, 5.41079953109147e-06, 5.610280368273379e-06, 5.809761205455288e-06, 6.009241587889846e-06, 6.208722879819106e-06]}, "gradients/bert.encoder.layer.1.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 0.0, 4.0, 1.0, 5.0, 14.0, 28.0, 22.0, 40.0, 70.0, 89.0, 146.0, 235.0, 416.0, 693.0, 1095.0, 1891.0, 3160.0, 5442.0, 9864.0, 18074.0, 32897.0, 61360.0, 111455.0, 177002.0, 211844.0, 173781.0, 107652.0, 59434.0, 31756.0, 17340.0, 9702.0, 5387.0, 3112.0, 1804.0, 1091.0, 614.0, 399.0, 230.0, 146.0, 93.0, 59.0, 43.0, 28.0, 13.0, 14.0, 10.0, 9.0, 4.0, 2.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.400459031079663e-06, -5.223232165008085e-06, -5.046005298936507e-06, -4.868778432864929e-06, -4.6915515667933505e-06, -4.514324700721772e-06, -4.337098289397545e-06, -4.159871423325967e-06, -3.982644557254389e-06, -3.805417691182811e-06, -3.6281908251112327e-06, -3.4509639590396546e-06, -3.2737370929680765e-06, -3.0965102268964984e-06, -2.9192835881985957e-06, -2.7420567221270176e-06, -2.564829628681764e-06, -2.387602762610186e-06, -2.2103758965386078e-06, -2.0331490304670297e-06, -1.8559222780822893e-06, -1.6786954120107112e-06, -1.5014686596259708e-06, -1.3242417935543926e-06, -1.1470149274828145e-06, -9.697880614112364e-07, -7.925612521830772e-07, -6.153344429549179e-07, -4.381075768833398e-07, -2.608807108117617e-07, -8.365395842702128e-08, 9.357290764455684e-08, 2.7079931896878406e-07, 4.4802615661865275e-07, 6.252529942685214e-07, 8.024798034966807e-07, 9.797066695682588e-07, 1.156933535639837e-06, 1.3341602880245773e-06, 1.5113871540961554e-06, 1.6886140201677335e-06, 1.8658408862393117e-06, 2.0430677523108898e-06, 2.2202943910087924e-06, 2.3975212570803706e-06, 2.5747481231519487e-06, 2.751974989223527e-06, 2.929201855295105e-06, 3.106428721366683e-06, 3.283655587438261e-06, 3.4608824535098393e-06, 3.6381093195814174e-06, 3.8153361856529955e-06, 3.992563051724574e-06, 4.169789463048801e-06, 4.347016329120379e-06, 4.524243195191957e-06, 4.701470061263535e-06, 4.878696927335113e-06, 5.055923793406691e-06, 5.2331506594782695e-06, 5.410377525549848e-06, 5.587604391621426e-06, 5.764831257693004e-06, 5.942058123764582e-06]}, "gradients/bert.encoder.layer.1.attention.self.value.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 3.0, 1.0, 3.0, 4.0, 4.0, 4.0, 7.0, 5.0, 10.0, 8.0, 8.0, 20.0, 15.0, 19.0, 21.0, 24.0, 34.0, 35.0, 37.0, 41.0, 31.0, 44.0, 45.0, 46.0, 49.0, 48.0, 47.0, 45.0, 42.0, 43.0, 40.0, 38.0, 29.0, 29.0, 31.0, 14.0, 23.0, 14.0, 13.0, 6.0, 7.0, 9.0, 7.0, 4.0, 4.0, 1.0, 2.0, 0.0, 1.0, 0.0, 1.0, 2.0, 1.0], "bins": [-6.33772651781328e-06, -6.159714757814072e-06, -5.981702997814864e-06, -5.803690783068305e-06, -5.625679023069097e-06, -5.447667263069889e-06, -5.2696550483233295e-06, -5.091643288324121e-06, -4.913631528324913e-06, -4.735619768325705e-06, -4.557608008326497e-06, -4.379595793579938e-06, -4.20158403358073e-06, -4.023572273581522e-06, -3.8455600588349625e-06, -3.6675482988357544e-06, -3.4895365388365462e-06, -3.311524778837338e-06, -3.1335127914644545e-06, -2.955500804091571e-06, -2.7774890440923627e-06, -2.5994772840931546e-06, -2.421465296720271e-06, -2.2434533093473874e-06, -2.0654415493481793e-06, -1.8874296756621334e-06, -1.7094178019760875e-06, -1.5314059282900416e-06, -1.3533940546039958e-06, -1.1753821809179499e-06, -9.97370307231904e-07, -8.193584335458581e-07, -6.413461051124614e-07, -4.633342314264155e-07, -2.853223577403696e-07, -1.0731048405432375e-07, 7.070138963172212e-08, 2.48713263317768e-07, 4.2672513700381387e-07, 6.047370106898597e-07, 7.827488843759056e-07, 9.607607580619515e-07, 1.1387726317479974e-06, 1.3167845054340432e-06, 1.4947963791200891e-06, 1.672808252806135e-06, 1.8508201264921809e-06, 2.0288321138650645e-06, 2.2068438738642726e-06, 2.3848556338634808e-06, 2.5628676212363644e-06, 2.740879608609248e-06, 2.918891368608456e-06, 3.0969031286076643e-06, 3.274915115980548e-06, 3.4529271033534314e-06, 3.6309388633526396e-06, 3.8089506233518478e-06, 3.986962838098407e-06, 4.164974598097615e-06, 4.342986358096823e-06, 4.520998118096031e-06, 4.699009878095239e-06, 4.8770220928417984e-06, 5.055033852841007e-06]}, "gradients/bert.encoder.layer.1.attention.self.value.weight": {"_type": "histogram", "values": [2.0, 2.0, 1.0, 0.0, 2.0, 1.0, 2.0, 3.0, 3.0, 4.0, 6.0, 12.0, 12.0, 13.0, 13.0, 14.0, 38.0, 24.0, 34.0, 51.0, 44.0, 60.0, 72.0, 77.0, 87.0, 91.0, 106.0, 277.0, 6706.0, 955186.0, 84134.0, 622.0, 168.0, 101.0, 87.0, 69.0, 84.0, 69.0, 56.0, 43.0, 37.0, 29.0, 34.0, 20.0, 12.0, 13.0, 12.0, 13.0, 4.0, 6.0, 1.0, 5.0, 2.0, 3.0, 4.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.035918366047554e-05, -4.866389645030722e-05, -4.696861287811771e-05, -4.52733293059282e-05, -4.3578042095759884e-05, -4.1882754885591567e-05, -4.018747131340206e-05, -3.849218774121255e-05, -3.679690053104423e-05, -3.510161332087591e-05, -3.34063297486864e-05, -3.171104617649689e-05, -3.0015758966328576e-05, -2.8320473575149663e-05, -2.662518818397075e-05, -2.4929902792791836e-05, -2.3234617401612923e-05, -2.153933201043401e-05, -1.9844046619255096e-05, -1.8148761228076182e-05, -1.645347583689727e-05, -1.4758190445718355e-05, -1.3062905054539442e-05, -1.1367619663360529e-05, -9.672334272181615e-06, -7.977048881002702e-06, -6.281763489823788e-06, -4.586478098644875e-06, -2.8911927074659616e-06, -1.1959073162870482e-06, 4.993780748918653e-07, 2.1946634660707787e-06, 3.889952495228499e-06, 5.585237886407413e-06, 7.280523277586326e-06, 8.97580866876524e-06, 1.0671094059944153e-05, 1.2366379451123066e-05, 1.406166484230198e-05, 1.5756950233480893e-05, 1.7452235624659806e-05, 1.914752101583872e-05, 2.0842806407017633e-05, 2.2538091798196547e-05, 2.423337718937546e-05, 2.5928662580554374e-05, 2.7623947971733287e-05, 2.93192333629122e-05, 3.1014518754091114e-05, 3.2709802326280624e-05, 3.440508953644894e-05, 3.610037674661726e-05, 3.779566031880677e-05, 3.949094389099628e-05, 4.1186231101164594e-05, 4.288151831133291e-05, 4.457680188352242e-05, 4.627208545571193e-05, 4.796737266588025e-05, 4.9662659876048565e-05, 5.1357943448238075e-05, 5.3053227020427585e-05, 5.47485142305959e-05, 5.644380144076422e-05, 5.813908501295373e-05]}, "gradients/bert.encoder.layer.1.attention.self.key.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0, 2.0, 2.0, 0.0, 7.0, 3.0, 3.0, 15.0, 10.0, 20.0, 13.0, 32.0, 43.0, 24.0, 69.0, 57.0, 118.0, 50.0, 116.0, 76.0, 39.0, 79.0, 51.0, 61.0, 24.0, 33.0, 24.0, 8.0, 5.0, 7.0, 6.0, 3.0, 7.0, 2.0, 1.0, 1.0, 0.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 2.0], "bins": [-2.984279490192421e-13, -2.8821389719269064e-13, -2.779998453661392e-13, -2.6778579353958776e-13, -2.575717417130363e-13, -2.473576898864849e-13, -2.3714363805993344e-13, -2.26929586233382e-13, -2.1671553440683056e-13, -2.0650148258027912e-13, -1.9628743075372768e-13, -1.8607337892717624e-13, -1.758593271006248e-13, -1.6564527527407336e-13, -1.5543122344752192e-13, -1.4521717162097048e-13, -1.3500311979441904e-13, -1.247890679678676e-13, -1.1457501614131615e-13, -1.0436096431476471e-13, -9.414691248821327e-14, -8.393286066166183e-14, -7.37188088351104e-14, -6.350475700855895e-14, -5.3290705182007514e-14, -4.3076653355456074e-14, -3.2862601528904634e-14, -2.2648549702353193e-14, -1.2434497875801753e-14, -2.220446049250313e-15, 7.993605777301127e-15, 1.8207657603852567e-14, 2.842170943040401e-14, 3.863576125695545e-14, 4.884981308350689e-14, 5.906386491005833e-14, 6.927791673660977e-14, 7.949196856316121e-14, 8.970602038971265e-14, 9.992007221626409e-14, 1.1013412404281553e-13, 1.2034817586936697e-13, 1.305622276959184e-13, 1.4077627952246985e-13, 1.509903313490213e-13, 1.6120438317557273e-13, 1.7141843500212417e-13, 1.816324868286756e-13, 1.9184653865522705e-13, 2.020605904817785e-13, 2.1227464230832993e-13, 2.2248869413488137e-13, 2.327027459614328e-13, 2.4291679778798425e-13, 2.531308496145357e-13, 2.6334490144108713e-13, 2.7355895326763857e-13, 2.8377300509419e-13, 2.9398705692074145e-13, 3.042011087472929e-13, 3.1441516057384433e-13, 3.2462921240039577e-13, 3.348432642269472e-13, 3.4505731605349865e-13, 3.552713678800501e-13]}, "gradients/bert.encoder.layer.1.attention.self.key.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 2.0, 3.0, 4.0, 1.0, 4.0, 6.0, 4.0, 7.0, 7.0, 16.0, 11.0, 21.0, 37.0, 60.0, 108.0, 172.0, 441.0, 1408.0, 5911.0, 36458.0, 279722.0, 579034.0, 123706.0, 16805.0, 3188.0, 773.0, 301.0, 122.0, 65.0, 56.0, 31.0, 25.0, 10.0, 11.0, 11.0, 10.0, 1.0, 5.0, 0.0, 1.0, 2.0, 3.0, 1.0, 1.0, 1.0, 2.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.0335566912544891e-05, -1.002515091386158e-05, -9.714734005683567e-06, -9.404317097505555e-06, -9.093901098822244e-06, -8.783485100138932e-06, -8.47306819196092e-06, -8.162651283782907e-06, -7.852235285099596e-06, -7.541818831668934e-06, -7.231402378238272e-06, -6.92098592480761e-06, -6.610569471376948e-06, -6.300153017946286e-06, -5.989736564515624e-06, -5.679320111084962e-06, -5.3689036576543e-06, -5.058487204223638e-06, -4.7480707507929765e-06, -4.4376542973623145e-06, -4.127237843931653e-06, -3.816821390500991e-06, -3.5064049370703287e-06, -3.195988483639667e-06, -2.885572030209005e-06, -2.575155576778343e-06, -2.264739123347681e-06, -1.954322669917019e-06, -1.6439062164863572e-06, -1.3334897630556952e-06, -1.0230733096250333e-06, -7.126568561943714e-07, -4.022413122584112e-07, -9.182485882774927e-08, 2.1859159460291266e-07, 5.290080480335746e-07, 8.394245014642365e-07, 1.1498409548948985e-06, 1.4602574083255604e-06, 1.7706738617562223e-06, 2.0810903151868843e-06, 2.391506768617546e-06, 2.701923222048208e-06, 3.01233967547887e-06, 3.322756128909532e-06, 3.633172582340194e-06, 3.943589035770856e-06, 4.254005489201518e-06, 4.56442194263218e-06, 4.874838396062842e-06, 5.1852548494935036e-06, 5.4956713029241655e-06, 5.8060877563548274e-06, 6.116504209785489e-06, 6.426920663216151e-06, 6.737337116646813e-06, 7.047753570077475e-06, 7.358170023508137e-06, 7.668586476938799e-06, 7.97900247562211e-06, 8.289419383800123e-06, 8.599836291978136e-06, 8.910252290661447e-06, 9.220668289344758e-06, 9.53108519752277e-06]}, "gradients/bert.encoder.layer.1.attention.self.query.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 1.0, 2.0, 0.0, 1.0, 3.0, 7.0, 4.0, 12.0, 8.0, 8.0, 13.0, 28.0, 33.0, 33.0, 57.0, 58.0, 57.0, 70.0, 73.0, 64.0, 69.0, 79.0, 64.0, 50.0, 44.0, 46.0, 23.0, 23.0, 30.0, 14.0, 9.0, 7.0, 9.0, 5.0, 4.0, 6.0, 1.0, 2.0, 2.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.1378727979026735e-06, -2.0851257431786507e-06, -2.032378688454628e-06, -1.9796316337306052e-06, -1.9268845790065825e-06, -1.874137410595722e-06, -1.8213902421848616e-06, -1.7686431874608388e-06, -1.715896132736816e-06, -1.6631490780127933e-06, -1.6104020232887706e-06, -1.5576548548779101e-06, -1.5049078001538874e-06, -1.4521607454298646e-06, -1.3994135770190042e-06, -1.3466665222949814e-06, -1.2939194675709587e-06, -1.241172412846936e-06, -1.1884253581229132e-06, -1.1356781897120527e-06, -1.08293113498803e-06, -1.0301840802640072e-06, -9.774369118531467e-07, -9.24689857129124e-07, -8.719428024051012e-07, -8.191957476810785e-07, -7.664486361136369e-07, -7.137015245461953e-07, -6.609544698221725e-07, -6.082074150981498e-07, -5.554603035307082e-07, -5.027131919632666e-07, -4.4996613723924384e-07, -3.9721905409351166e-07, -3.444719709477795e-07, -2.917248878020473e-07, -2.3897780465631513e-07, -1.8623072151058295e-07, -1.3348363836485078e-07, -8.07365552191186e-08, -2.7989472073386423e-08, 2.4757611072345753e-08, 7.750469421807793e-08, 1.302517773638101e-07, 1.8299886050954228e-07, 2.3574594365527446e-07, 2.8849302680100664e-07, 3.412401099467388e-07, 3.93987193092471e-07, 4.4673427623820317e-07, 4.994813593839353e-07, 5.52228470951377e-07, 6.049755256753997e-07, 6.577225803994224e-07, 7.10469691966864e-07, 7.632168035343057e-07, 8.159638582583284e-07, 8.687109129823511e-07, 9.214580245497928e-07, 9.742051361172344e-07, 1.0269521908412571e-06, 1.0796992455652799e-06, 1.1324464139761403e-06, 1.185193468700163e-06, 1.2379405234241858e-06]}, "gradients/bert.encoder.layer.1.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 2.0, 4.0, 2.0, 13.0, 21.0, 36.0, 53.0, 96.0, 190.0, 848.0, 7200.0, 145392.0, 806519.0, 82501.0, 4694.0, 634.0, 168.0, 84.0, 40.0, 30.0, 13.0, 12.0, 7.0, 4.0, 2.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.7932054106495343e-05, -1.7395435861544684e-05, -1.685881579760462e-05, -1.632219755265396e-05, -1.5785577488713898e-05, -1.5248958334268536e-05, -1.4712339179823175e-05, -1.4175720934872515e-05, -1.3639100870932452e-05, -1.3102481716487091e-05, -1.256586256204173e-05, -1.2029243407596368e-05, -1.1492624253151007e-05, -1.0956005098705646e-05, -1.0419385944260284e-05, -9.882767699309625e-06, -9.346148544864263e-06, -8.809529390418902e-06, -8.27291023597354e-06, -7.73629108152818e-06, -7.199671927082818e-06, -6.663052772637457e-06, -6.126434072939446e-06, -5.589814918494085e-06, -5.0531957640487235e-06, -4.516576609603362e-06, -3.979957455158001e-06, -3.443338528086315e-06, -2.9067193736409536e-06, -2.3701002191955922e-06, -1.8334812921239063e-06, -1.296862137678545e-06, -7.602429832331836e-07, -2.2362388563124114e-07, 3.1299521197070135e-07, 8.49614252729225e-07, 1.3862334071745863e-06, 1.9228525616199477e-06, 2.4594714886916336e-06, 2.996090643136995e-06, 3.5327097975823563e-06, 4.069328952027718e-06, 4.605948106473079e-06, 5.142566806171089e-06, 5.679185960616451e-06, 6.215805115061812e-06, 6.7524242695071734e-06, 7.289043423952535e-06, 7.825662578397896e-06, 8.362281732843257e-06, 8.898900887288619e-06, 9.43552004173398e-06, 9.972139196179342e-06, 1.0508758350624703e-05, 1.1045376595575362e-05, 1.1581996659515426e-05, 1.2118614904466085e-05, 1.2655234058911446e-05, 1.3191853213356808e-05, 1.372847236780217e-05, 1.426509152224753e-05, 1.4801710676692892e-05, 1.5338329831138253e-05, 1.5874948076088913e-05, 1.6411568140028976e-05]}, "gradients/bert.encoder.layer.0.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 2.0, 0.0, 6.0, 9.0, 12.0, 21.0, 40.0, 83.0, 119.0, 172.0, 175.0, 161.0, 96.0, 40.0, 41.0, 21.0, 11.0, 3.0, 5.0, 3.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.5739580703666434e-05, -1.5064299986988772e-05, -1.438901927031111e-05, -1.3713738553633448e-05, -1.3038457836955786e-05, -1.2363177120278124e-05, -1.1687896403600462e-05, -1.1012616596417502e-05, -1.0337334970245138e-05, -9.662054253567476e-06, -8.986773536889814e-06, -8.311492820212152e-06, -7.63621210353449e-06, -6.960931386856828e-06, -6.285651124926517e-06, -5.610370408248855e-06, -4.935090146318544e-06, -4.259809429640882e-06, -3.5845287129632197e-06, -2.909248223659233e-06, -2.233967506981571e-06, -1.5586867903039092e-06, -8.834063009999227e-07, -2.081255843222607e-07, 4.671551323554013e-07, 1.1424358490330633e-06, 1.8177164520238875e-06, 2.492997055014712e-06, 3.168277771692374e-06, 3.84355826099636e-06, 4.518838977674022e-06, 5.194119694351684e-06, 5.869400411029346e-06, 6.544681127707008e-06, 7.21996184438467e-06, 7.895242561062332e-06, 8.570523277739994e-06, 9.245803994417656e-06, 9.921084711095318e-06, 1.0596364518278278e-05, 1.1271646144450642e-05, 1.1946926861128304e-05, 1.2622207577805966e-05, 1.3297488294483628e-05, 1.397276901116129e-05, 1.4648049727838952e-05, 1.5323330444516614e-05, 1.5998610251699574e-05, 1.6673890058882535e-05, 1.7349169866065495e-05, 1.802445149223786e-05, 1.869973129942082e-05, 1.9375012925593182e-05, 2.0050292732776143e-05, 2.0725574358948506e-05, 2.1400854166131467e-05, 2.207613579230383e-05, 2.275141559948679e-05, 2.3426697225659154e-05, 2.4101977032842115e-05, 2.477725865901448e-05, 2.545253846619744e-05, 2.6127820092369802e-05, 2.6803099899552763e-05, 2.7478381525725126e-05]}, "gradients/bert.encoder.layer.0.output.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 2.0, 5.0, 1.0, 9.0, 3.0, 4.0, 6.0, 4.0, 7.0, 8.0, 6.0, 7.0, 16.0, 16.0, 22.0, 17.0, 15.0, 20.0, 20.0, 25.0, 40.0, 30.0, 33.0, 39.0, 39.0, 53.0, 42.0, 64.0, 36.0, 30.0, 40.0, 42.0, 37.0, 23.0, 29.0, 38.0, 21.0, 30.0, 17.0, 23.0, 22.0, 17.0, 16.0, 6.0, 5.0, 8.0, 6.0, 5.0, 5.0, 6.0, 2.0, 3.0, 1.0, 1.0], "bins": [-8.931423508329317e-06, -8.68637471285183e-06, -8.441326826869044e-06, -8.196278031391557e-06, -7.951230145408772e-06, -7.706181349931285e-06, -7.4611330092011485e-06, -7.216084668471012e-06, -6.971035872993525e-06, -6.725987532263389e-06, -6.480939191533253e-06, -6.2358903960557655e-06, -5.990842055325629e-06, -5.745793714595493e-06, -5.500745373865357e-06, -5.25569703313522e-06, -5.010648692405084e-06, -4.765600351674948e-06, -4.520552010944812e-06, -4.275503670214675e-06, -4.030454874737188e-06, -3.785406534007052e-06, -3.5403581932769157e-06, -3.2953098525467794e-06, -3.0502612844429677e-06, -2.8052129437128315e-06, -2.5601643756090198e-06, -2.3151160348788835e-06, -2.0700676941487473e-06, -1.8250191260449355e-06, -1.5799707853147993e-06, -1.3349223308978253e-06, -1.0898738764808513e-06, -8.448254220638773e-07, -5.997770244903222e-07, -3.547286269167671e-07, -1.0968017249979312e-07, 1.3536828191718087e-07, 3.804166226473171e-07, 6.254650770642911e-07, 8.705135314812651e-07, 1.115561985898239e-06, 1.360610440315213e-06, 1.6056587810453493e-06, 1.8507072354623233e-06, 2.0957556898792973e-06, 2.3408040306094335e-06, 2.5858525987132452e-06, 2.8309009394433815e-06, 3.0759492801735178e-06, 3.3209978482773295e-06, 3.5660461890074657e-06, 3.8110947571112774e-06, 4.056143097841414e-06, 4.30119143857155e-06, 4.546239779301686e-06, 4.7912881200318225e-06, 5.036336460761959e-06, 5.281384801492095e-06, 5.526433596969582e-06, 5.771481937699718e-06, 6.016530278429855e-06, 6.261578619159991e-06, 6.506626959890127e-06, 6.751675755367614e-06]}, "gradients/bert.encoder.layer.0.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 2.0, 2.0, 7.0, 6.0, 3.0, 8.0, 2.0, 2.0, 5.0, 7.0, 3.0, 7.0, 8.0, 13.0, 16.0, 14.0, 20.0, 19.0, 18.0, 26.0, 23.0, 26.0, 28.0, 33.0, 31.0, 43.0, 50.0, 44.0, 38.0, 47.0, 38.0, 42.0, 33.0, 40.0, 39.0, 25.0, 28.0, 27.0, 21.0, 23.0, 16.0, 24.0, 18.0, 18.0, 12.0, 15.0, 6.0, 9.0, 10.0, 2.0, 6.0, 4.0, 2.0, 5.0, 2.0, 2.0, 1.0], "bins": [-4.7574508243997116e-06, -4.624753728421638e-06, -4.492057087190915e-06, -4.359359991212841e-06, -4.226663349982118e-06, -4.0939662540040445e-06, -3.9612696127733216e-06, -3.828572516795248e-06, -3.6958756481908495e-06, -3.563178779586451e-06, -3.430481910982053e-06, -3.2977850423776545e-06, -3.1650879463995807e-06, -3.032391305168858e-06, -2.899694209190784e-06, -2.7669973405863857e-06, -2.6343004719819874e-06, -2.501603603377589e-06, -2.3689067347731907e-06, -2.2362098661687924e-06, -2.103512997564394e-06, -1.9708159015863203e-06, -1.838119032981922e-06, -1.7054221643775236e-06, -1.5727252957731253e-06, -1.440028427168727e-06, -1.3073315585643286e-06, -1.1746345762730925e-06, -1.0419377076686942e-06, -9.092408390642959e-07, -7.765439136164787e-07, -6.438469881686615e-07, -5.11150574311614e-07, -3.784536772855063e-07, -2.457567802593985e-07, -1.1305988323329075e-07, 1.9637013792817015e-08, 1.5233388239721535e-07, 2.8503080784503254e-07, 4.1772773329284973e-07, 5.504246018972481e-07, 6.831214705016464e-07, 8.158183959494636e-07, 9.485153213972808e-07, 1.0812121900016791e-06, 1.2139090586060775e-06, 1.3466060408973135e-06, 1.4793029095017118e-06, 1.6119997781061102e-06, 1.7446966467105085e-06, 1.8773935153149068e-06, 2.010090383919305e-06, 2.1427872525237035e-06, 2.2754843485017773e-06, 2.4081812171061756e-06, 2.540878085710574e-06, 2.6735749543149723e-06, 2.8062718229193706e-06, 2.938968691523769e-06, 3.0716655601281673e-06, 3.204362656106241e-06, 3.337059297336964e-06, 3.4697563933150377e-06, 3.602453261919436e-06, 3.7351501305238344e-06]}, "gradients/bert.encoder.layer.0.output.dense.weight": {"_type": "histogram", "values": [2.0, 0.0, 8.0, 4.0, 10.0, 17.0, 18.0, 15.0, 23.0, 24.0, 38.0, 56.0, 55.0, 67.0, 83.0, 134.0, 178.0, 224.0, 257.0, 399.0, 553.0, 783.0, 1225.0, 2188.0, 4237.0, 9860.0, 27719.0, 105504.0, 793764.0, 2691840.0, 443098.0, 73548.0, 21251.0, 8000.0, 3563.0, 1842.0, 1070.0, 744.0, 479.0, 354.0, 283.0, 195.0, 144.0, 101.0, 90.0, 72.0, 58.0, 25.0, 23.0, 11.0, 21.0, 10.0, 11.0, 10.0, 5.0, 4.0, 3.0, 2.0, 0.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-1.0194289643550292e-05, -9.84725102171069e-06, -9.500212399871089e-06, -9.153173778031487e-06, -8.806135156191885e-06, -8.459097443846986e-06, -8.112058822007384e-06, -7.765020200167783e-06, -7.417981578328181e-06, -7.0709429564885795e-06, -6.723904334648978e-06, -6.376866167556727e-06, -6.029827545717126e-06, -5.682788923877524e-06, -5.3357507567852736e-06, -4.988712134945672e-06, -4.6416735131060705e-06, -4.294634891266469e-06, -3.947596269426867e-06, -3.6005581023346167e-06, -3.253519480495015e-06, -2.9064808586554136e-06, -2.5594424641894875e-06, -2.2124040697235614e-06, -1.8653654478839599e-06, -1.518326939731196e-06, -1.1712884315784322e-06, -8.242499234256684e-07, -4.772114152729046e-07, -1.3017290712014074e-07, 2.168656010326231e-07, 5.639039954985492e-07, 9.109435268328525e-07, 1.2579820349856163e-06, 1.6050205431383802e-06, 1.9520589376043063e-06, 2.299097559443908e-06, 2.6461361812835094e-06, 2.9931745757494355e-06, 3.3402129702153616e-06, 3.687251592054963e-06, 4.034290213894565e-06, 4.381328835734166e-06, 4.728367002826417e-06, 5.075405624666018e-06, 5.42244424650562e-06, 5.769482413597871e-06, 6.116521035437472e-06, 6.463559657277074e-06, 6.810598279116675e-06, 7.157636900956277e-06, 7.5046750680485275e-06, 7.851713235140778e-06, 8.19875185698038e-06, 8.545790478819981e-06, 8.892829100659583e-06, 9.239867722499184e-06, 9.586906344338786e-06, 9.933944966178387e-06, 1.0280983588017989e-05, 1.062802220985759e-05, 1.097505992220249e-05, 1.1322098544042092e-05, 1.1669137165881693e-05, 1.2016175787721295e-05]}, "gradients/bert.encoder.layer.0.intermediate.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 3.0, 1.0, 3.0, 5.0, 9.0, 10.0, 11.0, 10.0, 21.0, 21.0, 28.0, 46.0, 74.0, 127.0, 163.0, 213.0, 358.0, 536.0, 629.0, 570.0, 388.0, 293.0, 189.0, 116.0, 62.0, 55.0, 43.0, 24.0, 15.0, 13.0, 12.0, 8.0, 8.0, 4.0, 4.0, 3.0, 4.0, 0.0, 2.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0], "bins": [-2.3544002942799125e-06, -2.2774729586672038e-06, -2.2005453956808196e-06, -2.1236178326944355e-06, -2.046690497081727e-06, -1.969763161469018e-06, -1.892835598482634e-06, -1.8159081491830875e-06, -1.738980699883541e-06, -1.6620532505839947e-06, -1.5851258012844482e-06, -1.5081983519849018e-06, -1.4312709026853554e-06, -1.354343453385809e-06, -1.2774160040862625e-06, -1.2004885547867161e-06, -1.1235611054871697e-06, -1.0466336561876233e-06, -9.697062068880768e-07, -8.927787575885304e-07, -8.15851308288984e-07, -7.389238589894376e-07, -6.619964096898912e-07, -5.850689603903447e-07, -5.081415110907983e-07, -4.312140617912519e-07, -3.5428661249170545e-07, -2.7735916319215903e-07, -2.004317138926126e-07, -1.2350426459306618e-07, -4.657681529351976e-08, 3.0350634006026667e-08, 1.0727808330557309e-07, 1.8420553260511952e-07, 2.6113298190466594e-07, 3.3806043120421236e-07, 4.149878805037588e-07, 4.919153298033052e-07, 5.688427791028516e-07, 6.457702284023981e-07, 7.226976777019445e-07, 7.996251270014909e-07, 8.765525763010373e-07, 9.534800256005838e-07, 1.0304074749001302e-06, 1.1073349241996766e-06, 1.184262373499223e-06, 1.2611898227987695e-06, 1.3381172720983159e-06, 1.4150447213978623e-06, 1.4919721706974087e-06, 1.5688996199969552e-06, 1.6458270692965016e-06, 1.722754518596048e-06, 1.7996819678955944e-06, 1.8766094171951408e-06, 1.9535368664946873e-06, 2.030464202107396e-06, 2.10739176509378e-06, 2.1843193280801643e-06, 2.261246663692873e-06, 2.3381739993055817e-06, 2.415101562291966e-06, 2.49202912527835e-06, 2.5689564608910587e-06]}, "gradients/bert.encoder.layer.0.intermediate.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 0.0, 1.0, 1.0, 1.0, 1.0, 5.0, 2.0, 3.0, 5.0, 7.0, 8.0, 13.0, 23.0, 44.0, 81.0, 122.0, 320.0, 1125.0, 9714.0, 3611474.0, 565552.0, 4497.0, 702.0, 284.0, 122.0, 75.0, 37.0, 23.0, 14.0, 12.0, 10.0, 7.0, 2.0, 3.0, 3.0, 1.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-6.902163295308128e-05, -6.724593549733981e-05, -6.547023804159835e-05, -6.369454058585688e-05, -6.191884313011542e-05, -6.0143145674373955e-05, -5.836744821863249e-05, -5.6591750762891024e-05, -5.481605330714956e-05, -5.3040355851408094e-05, -5.126465839566663e-05, -4.9488960939925164e-05, -4.77132634841837e-05, -4.5937566028442234e-05, -4.416186857270077e-05, -4.2386171116959304e-05, -4.061047002323903e-05, -3.8834772567497566e-05, -3.70590751117561e-05, -3.5283377656014636e-05, -3.350768020027317e-05, -3.1731982744531706e-05, -2.9956283469800837e-05, -2.8180586014059372e-05, -2.6404888558317907e-05, -2.4629191102576442e-05, -2.2853493646834977e-05, -2.107779437210411e-05, -1.9302096916362643e-05, -1.7526399460621178e-05, -1.5750702004879713e-05, -1.3975004549138248e-05, -1.2199303455417976e-05, -1.042360599967651e-05, -8.647908543935046e-06, -6.872210178698879e-06, -5.096512722957414e-06, -3.3208152672159486e-06, -1.5451169019797817e-06, 2.305805537616834e-07, 2.0062780095031485e-06, 3.781975692618289e-06, 5.5576733757334296e-06, 7.3333712862222455e-06, 9.10906874196371e-06, 1.0884766197705176e-05, 1.2660464562941343e-05, 1.4436162018682808e-05, 1.6211859474424273e-05, 1.7987556930165738e-05, 1.9763254385907203e-05, 2.1538951841648668e-05, 2.3314649297390133e-05, 2.5090346753131598e-05, 2.6866046027862467e-05, 2.8641743483603932e-05, 3.0417440939345397e-05, 3.2193140214076266e-05, 3.396883766981773e-05, 3.5744535125559196e-05, 3.752023258130066e-05, 3.9295930037042126e-05, 4.107162749278359e-05, 4.2847324948525056e-05, 4.462302240426652e-05]}, "gradients/bert.encoder.layer.0.attention.output.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 3.0, 1.0, 2.0, 3.0, 2.0, 5.0, 12.0, 4.0, 15.0, 19.0, 24.0, 25.0, 32.0, 43.0, 68.0, 78.0, 92.0, 96.0, 89.0, 81.0, 65.0, 64.0, 52.0, 36.0, 32.0, 29.0, 13.0, 8.0, 7.0, 5.0, 6.0, 3.0, 0.0, 2.0, 2.0, 1.0, 1.0, 0.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0], "bins": [-9.473455065744929e-06, -9.223076631315053e-06, -8.972698196885176e-06, -8.722320671950001e-06, -8.471942237520125e-06, -8.221563803090248e-06, -7.971185368660372e-06, -7.720807843725197e-06, -7.4704294092953205e-06, -7.220050974865444e-06, -6.969672995182918e-06, -6.719294560753042e-06, -6.468916581070516e-06, -6.21853814664064e-06, -5.968159712210763e-06, -5.717781732528238e-06, -5.467403298098361e-06, -5.217024863668485e-06, -4.966646883985959e-06, -4.7162684495560825e-06, -4.465890469873557e-06, -4.21551203544368e-06, -3.965134055761155e-06, -3.7147556213312782e-06, -3.464377414275077e-06, -3.213999207218876e-06, -2.963621000162675e-06, -2.713242793106474e-06, -2.4628643586765975e-06, -2.212486378994072e-06, -1.9621079445641953e-06, -1.7117297375079943e-06, -1.4613515304517932e-06, -1.2109733233955922e-06, -9.60595116339391e-07, -7.102167955963523e-07, -4.5983858854015125e-07, -2.0946038148395019e-07, 4.09179392590886e-08, 2.9129614631528966e-07, 5.416743533714907e-07, 7.920525604276918e-07, 1.0424307674838929e-06, 1.2928090882269316e-06, 1.5431872952831327e-06, 1.7935655023393338e-06, 2.0439438230823725e-06, 2.2943220301385736e-06, 2.5447002371947747e-06, 2.7950784442509757e-06, 3.045456651307177e-06, 3.2958350857370533e-06, 3.546213065419579e-06, 3.7965914998494554e-06, 4.046969479531981e-06, 4.2973479139618576e-06, 4.547726348391734e-06, 4.7981047828216106e-06, 5.048482762504136e-06, 5.298861196934013e-06, 5.549239176616538e-06, 5.799617611046415e-06, 6.049996045476291e-06, 6.300374025158817e-06, 6.5507520048413426e-06]}, "gradients/bert.encoder.layer.0.attention.output.LayerNorm.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 1.0, 1.0, 4.0, 5.0, 3.0, 5.0, 6.0, 3.0, 8.0, 5.0, 11.0, 10.0, 13.0, 12.0, 16.0, 11.0, 18.0, 12.0, 26.0, 17.0, 31.0, 28.0, 24.0, 44.0, 36.0, 42.0, 41.0, 35.0, 44.0, 43.0, 34.0, 45.0, 40.0, 39.0, 30.0, 39.0, 33.0, 20.0, 25.0, 24.0, 24.0, 17.0, 12.0, 17.0, 9.0, 12.0, 8.0, 6.0, 5.0, 5.0, 3.0, 4.0, 5.0, 3.0, 2.0, 4.0, 1.0, 0.0, 1.0], "bins": [-5.354614586394746e-06, -5.195976427785354e-06, -5.037337814428611e-06, -4.878699655819219e-06, -4.7200614972098265e-06, -4.561423338600434e-06, -4.402784725243691e-06, -4.244146566634299e-06, -4.085508408024907e-06, -3.926870249415515e-06, -3.7682318634324474e-06, -3.60959347744938e-06, -3.4509553188399877e-06, -3.29231693285692e-06, -3.1336785468738526e-06, -2.9750403882644605e-06, -2.8164017749077175e-06, -2.65776338892465e-06, -2.499125230315258e-06, -2.3404868443321902e-06, -2.181848685722798e-06, -2.0232102997397305e-06, -1.864571913756663e-06, -1.7059336414604331e-06, -1.5472953691642033e-06, -1.3886570968679735e-06, -1.2300188245717436e-06, -1.071380438588676e-06, -9.127421662924462e-07, -7.541038939962164e-07, -5.954655648565677e-07, -4.3682723571691895e-07, -2.781889634206891e-07, -1.1955066270274983e-07, 3.908763801518944e-08, 1.9772593873312871e-07, 3.56364239451068e-07, 5.150025117472978e-07, 6.736408408869465e-07, 8.322791700265952e-07, 9.90917442322825e-07, 1.149555714619055e-06, 1.3081939869152848e-06, 1.4668323728983523e-06, 1.6254706451945822e-06, 1.784108917490812e-06, 1.9427473034738796e-06, 2.101385689456947e-06, 2.2600238480663393e-06, 2.418662234049407e-06, 2.577300392658799e-06, 2.7359387786418665e-06, 2.8945769372512586e-06, 3.053215323234326e-06, 3.2118537092173938e-06, 3.370491867826786e-06, 3.5291302538098535e-06, 3.687768639792921e-06, 3.846406798402313e-06, 4.005044957011705e-06, 4.163683570368448e-06, 4.32232172897784e-06, 4.4809598875872325e-06, 4.6395985009439755e-06, 4.798236659553368e-06]}, "gradients/bert.encoder.layer.0.attention.output.dense.bias": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 0.0, 3.0, 5.0, 6.0, 4.0, 3.0, 8.0, 8.0, 10.0, 8.0, 11.0, 14.0, 12.0, 12.0, 18.0, 16.0, 12.0, 23.0, 21.0, 24.0, 39.0, 49.0, 32.0, 28.0, 34.0, 40.0, 44.0, 37.0, 39.0, 49.0, 41.0, 35.0, 36.0, 34.0, 37.0, 38.0, 23.0, 23.0, 23.0, 14.0, 22.0, 8.0, 13.0, 9.0, 7.0, 10.0, 12.0, 5.0, 3.0, 3.0, 4.0, 3.0, 2.0, 2.0, 0.0, 1.0, 1.0, 0.0, 1.0], "bins": [-8.322054782183841e-06, -8.064332178037148e-06, -7.806609573890455e-06, -7.548886969743762e-06, -7.291164365597069e-06, -7.033441761450376e-06, -6.775719612051034e-06, -6.5179970079043414e-06, -6.2602744037576485e-06, -6.002551799610956e-06, -5.744829195464263e-06, -5.48710659131757e-06, -5.229384441918228e-06, -4.971661837771535e-06, -4.713939233624842e-06, -4.456216629478149e-06, -4.198494025331456e-06, -3.940771421184763e-06, -3.6830488170380704e-06, -3.425326440265053e-06, -3.16760383611836e-06, -2.909881231971667e-06, -2.6521588551986497e-06, -2.3944362510519568e-06, -2.136713646905264e-06, -1.878991042758571e-06, -1.6212685522987158e-06, -1.3635460618388606e-06, -1.1058234576921677e-06, -8.481008535454748e-07, -5.903783630856196e-07, -3.3265587262576446e-07, -7.493326847907156e-08, 1.8278927882420248e-07, 4.405118261274765e-07, 6.982343734307506e-07, 9.559569207340246e-07, 1.2136795248807175e-06, 1.4714020153405727e-06, 1.7291245058004279e-06, 1.9868471099471208e-06, 2.2445697140938137e-06, 2.5022923182405066e-06, 2.760014695013524e-06, 3.017737299160217e-06, 3.27545990330691e-06, 3.5331822800799273e-06, 3.79090488422662e-06, 4.048627488373313e-06, 4.306350092520006e-06, 4.564072696666699e-06, 4.821795300813392e-06, 5.079517904960085e-06, 5.337240509106778e-06, 5.59496265850612e-06, 5.8526852626528125e-06, 6.1104078667995054e-06, 6.368130470946198e-06, 6.625853075092891e-06, 6.883575679239584e-06, 7.141297828638926e-06, 7.399020432785619e-06, 7.656743036932312e-06, 7.914465641079005e-06, 8.172188245225698e-06]}, "gradients/bert.encoder.layer.0.attention.output.dense.weight": {"_type": "histogram", "values": [1.0, 0.0, 1.0, 1.0, 2.0, 1.0, 2.0, 4.0, 10.0, 2.0, 12.0, 11.0, 20.0, 15.0, 24.0, 28.0, 29.0, 27.0, 36.0, 51.0, 96.0, 130.0, 227.0, 418.0, 933.0, 2008.0, 5072.0, 13787.0, 42603.0, 144185.0, 375158.0, 311789.0, 103518.0, 30719.0, 10233.0, 3934.0, 1596.0, 811.0, 409.0, 204.0, 125.0, 89.0, 49.0, 34.0, 23.0, 26.0, 22.0, 20.0, 13.0, 16.0, 10.0, 8.0, 5.0, 8.0, 6.0, 4.0, 2.0, 4.0, 2.0, 1.0, 0.0, 1.0, 0.0, 1.0], "bins": [-1.1164429452037439e-05, -1.0802692486322485e-05, -1.044095461111283e-05, -1.0079217645397875e-05, -9.71747977018822e-06, -9.355742804473266e-06, -8.99400492926361e-06, -8.632267963548657e-06, -8.270530088339001e-06, -7.908793122624047e-06, -7.5470552474143915e-06, -7.185317826952087e-06, -6.823580406489782e-06, -6.461842986027477e-06, -6.100105565565173e-06, -5.738368599850219e-06, -5.376631179387914e-06, -5.014893758925609e-06, -4.6531563384633046e-06, -4.291418918001e-06, -3.929681497538695e-06, -3.5679440770763904e-06, -3.206206883987761e-06, -2.8444694635254564e-06, -2.4827320430631517e-06, -2.120994622600847e-06, -1.7592572021385422e-06, -1.3975198953630752e-06, -1.0357824749007705e-06, -6.740450544384657e-07, -3.1230774766299874e-07, 4.942967279930599e-08, 4.111670932616107e-07, 7.729045137239154e-07, 1.1346419341862202e-06, 1.4963792409616872e-06, 1.858116661423992e-06, 2.2198541955731343e-06, 2.5815913886617636e-06, 2.9433288091240684e-06, 3.305066229586373e-06, 3.666803650048678e-06, 4.028540843137307e-06, 4.390278263599612e-06, 4.7520156840619165e-06, 5.113753104524221e-06, 5.475490524986526e-06, 5.837227945448831e-06, 6.1989653659111355e-06, 6.56070278637344e-06, 6.922440206835745e-06, 7.28417762729805e-06, 7.645914593013003e-06, 8.007652468222659e-06, 8.369389433937613e-06, 8.731127309147269e-06, 9.092864274862222e-06, 9.454601240577176e-06, 9.816339115786832e-06, 1.0178076081501786e-05, 1.0539813956711441e-05, 1.0901550922426395e-05, 1.126328879763605e-05, 1.1625025763351005e-05, 1.198676363856066e-05]}, "gradients/bert.encoder.layer.0.attention.self.value.bias": {"_type": "histogram", "values": [2.0, 1.0, 1.0, 3.0, 4.0, 7.0, 5.0, 8.0, 7.0, 12.0, 17.0, 22.0, 15.0, 14.0, 28.0, 28.0, 21.0, 44.0, 40.0, 43.0, 37.0, 48.0, 46.0, 44.0, 55.0, 45.0, 51.0, 56.0, 33.0, 38.0, 38.0, 36.0, 28.0, 30.0, 25.0, 13.0, 11.0, 17.0, 12.0, 3.0, 5.0, 7.0, 7.0, 5.0, 3.0, 1.0, 3.0, 0.0, 0.0, 2.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-5.566598247241927e-06, -5.334838533599395e-06, -5.103078365209512e-06, -4.87131865156698e-06, -4.639558937924448e-06, -4.407799224281916e-06, -4.176039510639384e-06, -3.9442793422495015e-06, -3.7125196286069695e-06, -3.4807599149644375e-06, -3.24899997394823e-06, -3.0172400329320226e-06, -2.7854803192894906e-06, -2.5537206056469586e-06, -2.321960664630751e-06, -2.0902007236145437e-06, -1.8584410099720117e-06, -1.626681182642642e-06, -1.3949213553132722e-06, -1.1631615279839025e-06, -9.314017006545328e-07, -6.99641873325163e-07, -4.678820459957933e-07, -2.3612221866642358e-07, -4.36239133705385e-09, 2.2739743599231588e-07, 4.591572633216856e-07, 6.909170906510553e-07, 9.226769179804251e-07, 1.1544367453097948e-06, 1.3861965726391645e-06, 1.6179563999685342e-06, 1.849715772550553e-06, 2.081475486193085e-06, 2.3132354272092925e-06, 2.5449953682255e-06, 2.776755081868032e-06, 3.008514795510564e-06, 3.2402747365267714e-06, 3.472034677542979e-06, 3.703794391185511e-06, 3.935554104828043e-06, 4.167313818470575e-06, 4.399073986860458e-06, 4.63083370050299e-06, 4.862593414145522e-06, 5.094353582535405e-06, 5.326113296177937e-06, 5.557873009820469e-06, 5.789632723463001e-06, 6.021392437105533e-06, 6.253152605495416e-06, 6.484912319137948e-06, 6.71667203278048e-06, 6.9484322011703625e-06, 7.1801919148128945e-06, 7.4119516284554265e-06, 7.64371179684531e-06, 7.87547105574049e-06, 8.107231224130373e-06, 8.338991392520256e-06, 8.570750651415437e-06, 8.80251081980532e-06, 9.034270078700501e-06, 9.266030247090384e-06]}, "gradients/bert.encoder.layer.0.attention.self.value.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 1.0, 3.0, 6.0, 2.0, 2.0, 5.0, 5.0, 4.0, 13.0, 18.0, 16.0, 13.0, 23.0, 39.0, 41.0, 49.0, 64.0, 97.0, 190.0, 510.0, 2680.0, 25890.0, 341909.0, 611720.0, 58399.0, 5353.0, 861.0, 232.0, 115.0, 68.0, 50.0, 27.0, 31.0, 31.0, 15.0, 23.0, 22.0, 9.0, 4.0, 9.0, 6.0, 10.0, 1.0, 2.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.4819659302011132e-05, -2.409310582152102e-05, -2.336655234103091e-05, -2.2639997041551396e-05, -2.1913443561061285e-05, -2.1186890080571175e-05, -2.0460336600081064e-05, -1.9733783119590953e-05, -1.9007229639100842e-05, -1.828067615861073e-05, -1.755412267812062e-05, -1.682756919763051e-05, -1.6101013898150995e-05, -1.5374460417660885e-05, -1.4647906937170774e-05, -1.3921353456680663e-05, -1.319479906669585e-05, -1.246824558620574e-05, -1.1741691196220927e-05, -1.1015137715730816e-05, -1.0288584235240705e-05, -9.562030754750594e-06, -8.835476364765782e-06, -8.108922884275671e-06, -7.382368949038209e-06, -6.655815013800748e-06, -5.929261533310637e-06, -5.202707598073175e-06, -4.4761536628357135e-06, -3.7496001823456027e-06, -3.023046247108141e-06, -2.29649276661803e-06, -1.5699388313805684e-06, -8.433850666733633e-07, -1.1683130196615821e-07, 6.097225195844658e-07, 1.336276227448252e-06, 2.0628299353120383e-06, 2.7893838705495e-06, 3.515937351039611e-06, 4.2424912862770725e-06, 4.969045221514534e-06, 5.695598702004645e-06, 6.422152637242107e-06, 7.148706572479568e-06, 7.87526005296968e-06, 8.60181353345979e-06, 9.328367013949901e-06, 1.0054921403934713e-05, 1.0781474884424824e-05, 1.1508029274409637e-05, 1.2234582754899748e-05, 1.2961136235389858e-05, 1.368768971587997e-05, 1.4414244105864782e-05, 1.5140797586354893e-05, 1.5867351976339705e-05, 1.6593905456829816e-05, 1.7320458937319927e-05, 1.8047012417810038e-05, 1.8773567717289552e-05, 1.9500121197779663e-05, 2.0226674678269774e-05, 2.0953228158759885e-05, 2.1679781639249995e-05]}, "gradients/bert.encoder.layer.0.attention.self.key.bias": {"_type": "histogram", "values": [2.0, 0.0, 2.0, 0.0, 1.0, 1.0, 1.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 4.0, 3.0, 12.0, 7.0, 16.0, 12.0, 3.0, 34.0, 26.0, 49.0, 33.0, 76.0, 36.0, 71.0, 54.0, 112.0, 74.0, 14.0, 85.0, 44.0, 64.0, 34.0, 49.0, 15.0, 26.0, 9.0, 10.0, 7.0, 16.0, 1.0, 3.0, 4.0, 1.0, 5.0, 1.0, 0.0, 1.0, 1.0, 1.0, 0.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.1316282072803006e-13, -2.066680160339729e-13, -2.0017321133991572e-13, -1.9367840664585856e-13, -1.871836019518014e-13, -1.8068879725774423e-13, -1.7419399256368706e-13, -1.676991878696299e-13, -1.6120438317557273e-13, -1.5470957848151556e-13, -1.482147737874584e-13, -1.4171996909340123e-13, -1.3522516439934407e-13, -1.287303597052869e-13, -1.2223555501122974e-13, -1.1574075031717257e-13, -1.092459456231154e-13, -1.0275114092905824e-13, -9.625633623500107e-14, -8.97615315409439e-14, -8.326672684688674e-14, -7.677192215282957e-14, -7.027711745877241e-14, -6.378231276471524e-14, -5.728750807065808e-14, -5.079270337660091e-14, -4.4297898682543746e-14, -3.780309398848658e-14, -3.1308289294429414e-14, -2.481348460037225e-14, -1.8318679906315083e-14, -1.1823875212257917e-14, -5.329070518200751e-15, 1.1657341758564144e-15, 7.66053886991358e-15, 1.4155343563970746e-14, 2.0650148258027912e-14, 2.7144952952085077e-14, 3.3639757646142243e-14, 4.013456234019941e-14, 4.6629367034256575e-14, 5.312417172831374e-14, 5.96189764223709e-14, 6.611378111642807e-14, 7.260858581048524e-14, 7.91033905045424e-14, 8.559819519859957e-14, 9.209299989265674e-14, 9.85878045867139e-14, 1.0508260928077107e-13, 1.1157741397482823e-13, 1.180722186688854e-13, 1.2456702336294256e-13, 1.3106182805699973e-13, 1.375566327510569e-13, 1.4405143744511406e-13, 1.5054624213917123e-13, 1.570410468332284e-13, 1.6353585152728556e-13, 1.7003065622134272e-13, 1.765254609153999e-13, 1.8302026560945706e-13, 1.8951507030351422e-13, 1.9600987499757139e-13, 2.0250467969162855e-13]}, "gradients/bert.encoder.layer.0.attention.self.key.weight": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 2.0, 0.0, 2.0, 1.0, 3.0, 1.0, 0.0, 6.0, 3.0, 7.0, 9.0, 15.0, 21.0, 27.0, 34.0, 52.0, 75.0, 123.0, 138.0, 253.0, 402.0, 623.0, 1002.0, 1880.0, 3453.0, 6914.0, 15555.0, 37998.0, 96014.0, 220907.0, 315615.0, 201069.0, 84992.0, 33604.0, 13906.0, 6240.0, 3189.0, 1753.0, 985.0, 595.0, 329.0, 244.0, 157.0, 115.0, 67.0, 59.0, 38.0, 21.0, 23.0, 14.0, 10.0, 3.0, 6.0, 3.0, 3.0, 3.0, 2.0, 2.0, 3.0, 0.0, 4.0], "bins": [-3.3028477446350735e-06, -3.2040647965914104e-06, -3.105281621174072e-06, -3.006498673130409e-06, -2.907715725086746e-06, -2.8089325496694073e-06, -2.7101496016257443e-06, -2.611366653582081e-06, -2.512583705538418e-06, -2.413800757494755e-06, -2.3150175820774166e-06, -2.2162346340337535e-06, -2.1174516859900905e-06, -2.018668510572752e-06, -1.919885562529089e-06, -1.8211026144854259e-06, -1.7223194390680874e-06, -1.6235363773375866e-06, -1.5247534292939235e-06, -1.4259703675634228e-06, -1.3271874195197597e-06, -1.228404357789259e-06, -1.1296212960587582e-06, -1.0308383480150951e-06, -9.320552862845943e-07, -8.332722813975124e-07, -7.344892765104305e-07, -6.357062147799297e-07, -5.369232098928478e-07, -4.381402050057659e-07, -3.393571432752651e-07, -2.405741383881832e-07, -1.4179113350110129e-07, -4.3008114403164655e-08, 5.5774904694771976e-08, 1.5455793800356332e-07, 2.5334094289064524e-07, 3.5212394777772715e-07, 4.5090700950822793e-07, 5.496900143953098e-07, 6.484730192823918e-07, 7.472560241694737e-07, 8.460390290565556e-07, 9.448220907870564e-07, 1.0436051525175571e-06, 1.1423881005612202e-06, 1.241171162291721e-06, 1.3399542240222218e-06, 1.4387371720658848e-06, 1.5375202337963856e-06, 1.6363031818400486e-06, 1.7350862435705494e-06, 1.8338691916142125e-06, 1.9326521396578755e-06, 2.031435315075214e-06, 2.130218263118877e-06, 2.2290014385362156e-06, 2.3277843865798786e-06, 2.426567561997217e-06, 2.52535051004088e-06, 2.6241334580845432e-06, 2.7229166335018817e-06, 2.8216995815455448e-06, 2.920482529589208e-06, 3.019265477632871e-06]}, "gradients/bert.encoder.layer.0.attention.self.query.bias": {"_type": "histogram", "values": [2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 2.0, 0.0, 1.0, 1.0, 0.0, 0.0, 4.0, 8.0, 4.0, 5.0, 4.0, 9.0, 12.0, 14.0, 7.0, 20.0, 23.0, 32.0, 35.0, 49.0, 38.0, 35.0, 53.0, 61.0, 58.0, 55.0, 60.0, 71.0, 62.0, 47.0, 43.0, 34.0, 30.0, 17.0, 23.0, 18.0, 24.0, 13.0, 8.0, 12.0, 9.0, 7.0, 5.0, 1.0, 0.0, 3.0, 1.0, 1.0, 2.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-1.3164598158255103e-06, -1.2764138546117465e-06, -1.2363678933979827e-06, -1.196321932184219e-06, -1.156275970970455e-06, -1.1162300097566913e-06, -1.0761841622297652e-06, -1.0361382010160014e-06, -9.960922398022376e-07, -9.560462785884738e-07, -9.1600031737471e-07, -8.759543561609462e-07, -8.359083949471824e-07, -7.958624337334186e-07, -7.558165293630736e-07, -7.157705681493098e-07, -6.757245500921272e-07, -6.356785888783634e-07, -5.956326276645996e-07, -5.555866664508358e-07, -5.15540705237072e-07, -4.754947724450176e-07, -4.354488396529632e-07, -3.954028784391994e-07, -3.553569172254356e-07, -3.153109560116718e-07, -2.75264994797908e-07, -2.3521906200585363e-07, -1.9517310079208983e-07, -1.5512713957832602e-07, -1.1508120678627165e-07, -7.503524557250785e-08, -3.498917067190632e-08, 5.056783436430123e-09, 4.510273754476657e-08, 8.514868454767566e-08, 1.2519464576143946e-07, 1.6524060697520326e-07, 2.0528653976725764e-07, 2.4533250098102144e-07, 2.8537846219478524e-07, 3.2542442340854905e-07, 3.6547038462231285e-07, 4.055163174143672e-07, 4.45562278628131e-07, 4.856082114201854e-07, 5.256541726339492e-07, 5.65700133847713e-07, 6.057460950614768e-07, 6.457920562752406e-07, 6.858380174890044e-07, 7.258839787027682e-07, 7.65929939916532e-07, 8.059759011302958e-07, 8.460218055006408e-07, 8.860677667144046e-07, 9.261137279281684e-07, 9.661596322985133e-07, 1.0062055935122771e-06, 1.046251554726041e-06, 1.0862975159398047e-06, 1.1263434771535685e-06, 1.1663894383673323e-06, 1.2064353995810961e-06, 1.24648136079486e-06]}, "gradients/bert.encoder.layer.0.attention.self.query.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 2.0, 6.0, 4.0, 6.0, 8.0, 8.0, 22.0, 28.0, 35.0, 65.0, 88.0, 150.0, 232.0, 484.0, 1025.0, 2306.0, 5474.0, 14921.0, 45528.0, 145371.0, 340184.0, 311673.0, 121590.0, 38028.0, 12820.0, 4675.0, 1932.0, 878.0, 429.0, 222.0, 130.0, 78.0, 54.0, 30.0, 21.0, 22.0, 21.0, 10.0, 2.0, 1.0, 3.0, 0.0, 1.0, 4.0, 0.0, 1.0, 0.0, 0.0, 1.0], "bins": [-4.667015673476271e-06, -4.5370866246230435e-06, -4.407157121022465e-06, -4.277228072169237e-06, -4.147299023316009e-06, -4.017369974462781e-06, -3.887440470862202e-06, -3.7575114220089745e-06, -3.627582145782071e-06, -3.497652869555168e-06, -3.36772382070194e-06, -3.2377945444750367e-06, -3.1078652682481334e-06, -2.9779362193949055e-06, -2.848006943168002e-06, -2.718077666941099e-06, -2.588148618087871e-06, -2.4582193418609677e-06, -2.32829029300774e-06, -2.1983610167808365e-06, -2.0684319679276086e-06, -1.9385026917007053e-06, -1.808573415473802e-06, -1.6786442529337364e-06, -1.5487150903936708e-06, -1.4187859278536052e-06, -1.2888567653135397e-06, -1.1589274890866363e-06, -1.0289983265465708e-06, -8.990691640065052e-07, -7.691399446230207e-07, -6.392107252395363e-07, -5.092811079521198e-07, -3.7935191699034476e-07, -2.4942272602856974e-07, -1.1949353506679472e-07, 1.04356558949803e-08, 1.403648184350459e-07, 2.7029403781853034e-07, 4.002232572020148e-07, 5.301524197420804e-07, 6.60081582282146e-07, 7.900108016656304e-07, 9.199400210491149e-07, 1.0498691835891805e-06, 1.179798346129246e-06, 1.3097276223561494e-06, 1.439656784896215e-06, 1.5695859474362805e-06, 1.6995151099763461e-06, 1.8294442725164117e-06, 1.959373548743315e-06, 2.089302597596543e-06, 2.2192318738234462e-06, 2.3491611500503495e-06, 2.4790901989035774e-06, 2.6090194751304807e-06, 2.738948751357384e-06, 2.868877800210612e-06, 2.998807076437515e-06, 3.1287363526644185e-06, 3.2586654015176464e-06, 3.3885946777445497e-06, 3.518523953971453e-06, 3.648453002824681e-06]}, "gradients/bert.embeddings.LayerNorm.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 1.0, 0.0, 0.0, 1.0, 0.0, 1.0, 7.0, 13.0, 54.0, 152.0, 324.0, 272.0, 128.0, 47.0, 12.0, 7.0, 1.0, 1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0, 1.0], "bins": [-2.3031352611724287e-05, -2.18732839130098e-05, -2.071521339530591e-05, -1.9557144696591422e-05, -1.8399075997876935e-05, -1.7241007299162447e-05, -1.6082936781458557e-05, -1.492486808274407e-05, -1.376679847453488e-05, -1.2608728866325691e-05, -1.1450660167611204e-05, -1.0292590559402015e-05, -9.134520951192826e-06, -7.976452252478339e-06, -6.81838264426915e-06, -5.6603139455546625e-06, -4.5022443373454735e-06, -3.3441751838836353e-06, -2.1861058030481217e-06, -1.0280364222126082e-06, 1.3003273124922998e-07, 1.2881018847110681e-06, 2.446171492920257e-06, 3.6042401916347444e-06, 4.7623097998439334e-06, 5.9203789533057716e-06, 7.07844810676761e-06, 8.236517714976799e-06, 9.394587323185988e-06, 1.0552656021900475e-05, 1.1710725630109664e-05, 1.2868794328824151e-05, 1.402686393703334e-05, 1.518493354524253e-05, 1.634300315345172e-05, 1.7501071852166206e-05, 1.8659140550880693e-05, 1.981720924959518e-05, 2.097527976729907e-05, 2.2133348466013558e-05, 2.3291417164728045e-05, 2.4449485863442533e-05, 2.5607556381146424e-05, 2.676562507986091e-05, 2.7923693778575398e-05, 2.9081762477289885e-05, 3.0239832994993776e-05, 3.139790351269767e-05, 3.255597403040156e-05, 3.371404454810545e-05, 3.487211142783053e-05, 3.603018194553442e-05, 3.7188252463238314e-05, 3.83463193429634e-05, 3.950438986066729e-05, 4.066246037837118e-05, 4.182052725809626e-05, 4.2978597775800154e-05, 4.413666465552524e-05, 4.529473517322913e-05, 4.645280569093302e-05, 4.76108725706581e-05, 4.8768943088361993e-05, 4.992700996808708e-05, 5.108508048579097e-05]}, "gradients/bert.embeddings.LayerNorm.bias": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 2.0, 0.0, 2.0, 0.0, 1.0, 3.0, 1.0, 4.0, 5.0, 4.0, 8.0, 6.0, 9.0, 13.0, 8.0, 8.0, 13.0, 16.0, 23.0, 21.0, 23.0, 11.0, 28.0, 23.0, 22.0, 32.0, 36.0, 35.0, 38.0, 32.0, 45.0, 40.0, 46.0, 38.0, 36.0, 36.0, 35.0, 32.0, 31.0, 27.0, 24.0, 24.0, 24.0, 21.0, 22.0, 18.0, 19.0, 11.0, 10.0, 13.0, 10.0, 7.0, 6.0, 2.0, 3.0, 1.0, 3.0, 3.0, 5.0, 1.0, 3.0], "bins": [-1.168152903119335e-05, -1.1344845916028135e-05, -1.100816280086292e-05, -1.0671479685697705e-05, -1.033479657053249e-05, -9.998113455367275e-06, -9.661429430707358e-06, -9.324747225036845e-06, -8.988063200376928e-06, -8.651380085211713e-06, -8.314696970046498e-06, -7.978013854881283e-06, -7.641330739716068e-06, -7.304647624550853e-06, -6.967964054638287e-06, -6.631280939473072e-06, -6.294598279055208e-06, -5.957915163889993e-06, -5.621232048724778e-06, -5.284548933559563e-06, -4.947865818394348e-06, -4.611182703229133e-06, -4.274499133316567e-06, -3.937816018151352e-06, -3.601132902986137e-06, -3.264449787820922e-06, -2.9277666726557072e-06, -2.591083330116817e-06, -2.254400214951602e-06, -1.917717099786387e-06, -1.5810337572474964e-06, -1.2443506420822814e-06, -9.076666174223647e-07, -5.709834454137308e-07, -2.3430027340509696e-07, 1.0238295544695575e-07, 4.3906607061217073e-07, 7.757491857773857e-07, 1.1124325283162761e-06, 1.4491156434814911e-06, 1.7857987586467061e-06, 2.122481873811921e-06, 2.459164988977136e-06, 2.7958483315160265e-06, 3.1325314466812415e-06, 3.4692145618464565e-06, 3.805897904385347e-06, 4.142581019550562e-06, 4.479264134715777e-06, 4.815947249880992e-06, 5.152630365046207e-06, 5.489313480211422e-06, 5.825996595376637e-06, 6.162679710541852e-06, 6.499363280454418e-06, 6.836046395619633e-06, 7.172729510784848e-06, 7.509412625950063e-06, 7.846096195862629e-06, 8.182779311027844e-06, 8.519462426193058e-06, 8.856145541358273e-06, 9.192828656523488e-06, 9.529511771688703e-06, 9.866194886853918e-06]}, "gradients/bert.embeddings.position_embeddings.weight": {"_type": "histogram", "values": [2.0, 4.0, 1.0, 2.0, 1.0, 1.0, 4.0, 4.0, 4.0, 3.0, 10.0, 6.0, 8.0, 8.0, 13.0, 18.0, 9.0, 14.0, 27.0, 29.0, 38.0, 52.0, 88.0, 96.0, 152.0, 201.0, 377.0, 705.0, 1247.0, 2751.0, 6659.0, 480732.0, 20200.0, 5519.0, 2375.0, 1143.0, 613.0, 359.0, 236.0, 128.0, 114.0, 78.0, 56.0, 38.0, 37.0, 31.0, 17.0, 14.0, 17.0, 7.0, 8.0, 8.0, 2.0, 4.0, 3.0, 2.0, 3.0, 2.0, 2.0, 0.0, 3.0, 0.0, 1.0, 2.0], "bins": [-7.0256668550428e-05, -6.805551674915478e-05, -6.585435767192394e-05, -6.365320587065071e-05, -6.145204679341987e-05, -5.9250891354167834e-05, -5.70497359149158e-05, -5.484858411364257e-05, -5.264742503641173e-05, -5.04462695971597e-05, -4.8245114157907665e-05, -4.604395871865563e-05, -4.38428032794036e-05, -4.164164784015156e-05, -3.944049240089953e-05, -3.72393405996263e-05, -3.503818516037427e-05, -3.2837029721122235e-05, -3.06358742818702e-05, -2.8434718842618167e-05, -2.6233563403366134e-05, -2.40324079641141e-05, -2.183125434385147e-05, -1.9630098904599436e-05, -1.7428943465347402e-05, -1.5227788026095368e-05, -1.3026632586843334e-05, -1.0825478057086002e-05, -8.624322617833968e-06, -6.423167178581934e-06, -4.222012648824602e-06, -2.0208572095725685e-06, 1.802982296794653e-07, 2.3814534415578237e-06, 4.582608653436182e-06, 6.783763637940865e-06, 8.984919077192899e-06, 1.1186074516444933e-05, 1.3387229046202265e-05, 1.55883844854543e-05, 1.7789539924706332e-05, 1.9990695363958366e-05, 2.21918508032104e-05, 2.439300442347303e-05, 2.6594159862725064e-05, 2.8795315301977098e-05, 3.099647074122913e-05, 3.3197626180481166e-05, 3.53987816197332e-05, 3.759993705898523e-05, 3.980109249823727e-05, 4.20022479374893e-05, 4.4203403376741335e-05, 4.640455881599337e-05, 4.8605710617266595e-05, 5.0806869694497436e-05, 5.300802149577066e-05, 5.52091769350227e-05, 5.741033237427473e-05, 5.9611487813526765e-05, 6.18126432527788e-05, 6.401379505405203e-05, 6.621495413128287e-05, 6.841610593255609e-05, 7.061726500978693e-05]}, "gradients/bert.embeddings.token_type_embeddings.weight": {"_type": "histogram", "values": [1.0, 0.0, 0.0, 1.0, 0.0, 2.0, 1.0, 0.0, 2.0, 1.0, 1.0, 4.0, 5.0, 7.0, 7.0, 8.0, 10.0, 13.0, 8.0, 11.0, 14.0, 29.0, 15.0, 23.0, 14.0, 20.0, 26.0, 23.0, 36.0, 31.0, 41.0, 42.0, 41.0, 46.0, 1071.0, 52.0, 41.0, 42.0, 37.0, 36.0, 33.0, 28.0, 23.0, 17.0, 27.0, 28.0, 26.0, 11.0, 18.0, 16.0, 9.0, 10.0, 9.0, 8.0, 4.0, 3.0, 0.0, 5.0, 3.0, 2.0, 2.0, 3.0, 0.0, 1.0], "bins": [-0.00020762723579537123, -0.00020159731502644718, -0.00019556739425752312, -0.00018953747348859906, -0.000183507552719675, -0.00017747763195075095, -0.00017144772573374212, -0.00016541779041290283, -0.000159387884195894, -0.00015335796342696995, -0.0001473280426580459, -0.00014129812188912183, -0.00013526820112019777, -0.00012923828035127372, -0.00012320835958234966, -0.00011717844608938321, -0.00011114851804450154, -0.00010511859727557749, -9.908867650665343e-05, -9.305875573772937e-05, -8.702883496880531e-05, -8.099891419988126e-05, -7.496900070691481e-05, -6.893907993799075e-05, -6.29091591690667e-05, -5.687923840014264e-05, -5.084931763121858e-05, -4.481940050027333e-05, -3.8789479731349275e-05, -3.275955896242522e-05, -2.6729641831479967e-05, -2.069972106255591e-05, -1.466981484554708e-05, -8.639894986117724e-06, -2.6099751266883686e-06, 3.4199438232462853e-06, 9.449864592170343e-06, 1.54797853610944e-05, 2.150970249203965e-05, 2.7539623260963708e-05, 3.3569544029887766e-05, 3.959946479881182e-05, 4.562938556773588e-05, 5.165930269868113e-05, 5.768922346760519e-05, 6.371914059855044e-05, 6.97490613674745e-05, 7.577898213639855e-05, 8.180890290532261e-05, 8.783882367424667e-05, 9.386874444317073e-05, 9.989866521209478e-05, 0.00010592858598101884, 0.0001119585067499429, 0.00011798842024290934, 0.00012401834828779101, 0.00013004825450479984, 0.0001360781752737239, 0.00014210809604264796, 0.00014813801681157202, 0.00015416793758049607, 0.00016019785834942013, 0.0001662277791183442, 0.00017225768533535302, 0.0001782876206561923]}, "gradients/bert.embeddings.word_embeddings.weight": {"_type": "histogram", "values": [3.0, 3.0, 2.0, 1.0, 1.0, 2.0, 2.0, 6.0, 2.0, 7.0, 5.0, 8.0, 6.0, 11.0, 10.0, 19.0, 13.0, 9.0, 29.0, 26.0, 38.0, 49.0, 79.0, 91.0, 135.0, 186.0, 337.0, 614.0, 1173.0, 2454.0, 5661.0, 30554.0, 60356144.0, 7864.0, 2935.0, 1425.0, 715.0, 430.0, 253.0, 146.0, 115.0, 69.0, 68.0, 40.0, 35.0, 32.0, 21.0, 9.0, 20.0, 8.0, 11.0, 6.0, 4.0, 4.0, 3.0, 1.0, 4.0, 2.0, 2.0, 1.0, 0.0, 2.0, 2.0, 2.0], "bins": [-6.99516967870295e-05, -6.777516682632267e-05, -6.559863686561584e-05, -6.342210690490901e-05, -6.124557694420218e-05, -5.906904334551655e-05, -5.689250974683091e-05, -5.471597978612408e-05, -5.253944982541725e-05, -5.036291986471042e-05, -4.818638990400359e-05, -4.600985630531795e-05, -4.383332634461112e-05, -4.165679638390429e-05, -3.9480262785218656e-05, -3.7303732824511826e-05, -3.5127202863804996e-05, -3.2950672903098166e-05, -3.0774142942391336e-05, -2.85976093437057e-05, -2.642107938299887e-05, -2.424454942229204e-05, -2.2068017642595805e-05, -1.989148586289957e-05, -1.771495590219274e-05, -1.553842594148591e-05, -1.3361894161789678e-05, -1.1185363291588146e-05, -9.008832421386614e-06, -6.832301551185083e-06, -4.655770680983551e-06, -2.479239810782019e-06, -3.0270894058048725e-07, 1.8738219296210445e-06, 4.050352799822576e-06, 6.226883670024108e-06, 8.40341454022564e-06, 1.0579945410427172e-05, 1.2756476280628704e-05, 1.4933007150830235e-05, 1.7109538021031767e-05, 1.9286067981738597e-05, 2.146259976143483e-05, 2.3639131541131064e-05, 2.5815661501837894e-05, 2.7992191462544724e-05, 3.0168723242240958e-05, 3.234525502193719e-05, 3.452178498264402e-05, 3.669831494335085e-05, 3.887484490405768e-05, 4.105137850274332e-05, 4.322790846345015e-05, 4.540443842415698e-05, 4.7580972022842616e-05, 4.9757501983549446e-05, 5.1934031944256276e-05, 5.4110561904963106e-05, 5.6287091865669936e-05, 5.846362546435557e-05, 6.06401554250624e-05, 6.281668902374804e-05, 6.499321898445487e-05, 6.71697489451617e-05, 6.934627890586853e-05]}, "train/loss": 0.0146, "train/learning_rate": 3.2153110047846893e-06, "train/epoch": 4.0, "train/global_step": 1112, "_runtime": 1728, "_timestamp": 1642029944, "_step": 3, "train/train_runtime": 1640.6788, "train/train_samples_per_second": 10.83, "train/train_steps_per_second": 0.678, "train/total_flos": 4125470315698176.0, "train/train_loss": 0.06982729492856445, "eval/loss": 0.03680631145834923, "eval/precision": 0.8235294117647058, "eval/recall": 0.8506944444444444, "eval/f1": 0.8368915456874466, "eval/runtime": 79.8431, "eval/samples_per_second": 15.142, "eval/steps_per_second": 1.904, "_wandb": {"runtime": 1813}}