alchemist69 commited on
Commit
3f92982
·
verified ·
1 Parent(s): 8ccc8fd

Training in progress, step 450, checkpoint

Browse files
last-checkpoint/adapter_model.safetensors CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:31abb3abf745a31fa3e91a9d6557b026e0b022dc8c17b31faf21b9d0a2d04ca0
3
  size 313820248
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:7f2949f8bfd6c2486e8c8437272fec824b2b55d5651e8271f224549cbbf155f8
3
  size 313820248
last-checkpoint/optimizer.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:543196211e770e50590194bf4656d87a9cc07c170365608b040942d8a91d2ef8
3
  size 159641284
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:d4a3e3200cf21bb308bc55748d4cf98703787dd3c5a0f95c6b4e89c003cb94c0
3
  size 159641284
last-checkpoint/rng_state.pth CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:07cac475cd3c2db2e9d65144b80211af31f218ae1bb46eeef8f2e342f0fc8cfc
3
  size 14244
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:69e1c2bebba41f590f9467ccff5fca3b020c9e3c3da34a470b54a2ff645a049e
3
  size 14244
last-checkpoint/scheduler.pt CHANGED
@@ -1,3 +1,3 @@
1
  version https://git-lfs.github.com/spec/v1
2
- oid sha256:2681c20f6b04cb297ca42ba79b92543a57c49e07fb40458eca8cb625497628aa
3
  size 1064
 
1
  version https://git-lfs.github.com/spec/v1
2
+ oid sha256:c9636ae38b683f4b5b714bdf172e563b0c593e0efe94f07eea78547963bfbfae
3
  size 1064
last-checkpoint/trainer_state.json CHANGED
@@ -1,9 +1,9 @@
1
  {
2
- "best_metric": 1.901733160018921,
3
- "best_model_checkpoint": "miner_id_24/checkpoint-300",
4
- "epoch": 0.19598236158745713,
5
  "eval_steps": 150,
6
- "global_step": 300,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
@@ -2131,6 +2131,1064 @@
2131
  "eval_samples_per_second": 51.917,
2132
  "eval_steps_per_second": 12.989,
2133
  "step": 300
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
2134
  }
2135
  ],
2136
  "logging_steps": 1,
@@ -2154,12 +3212,12 @@
2154
  "should_evaluate": false,
2155
  "should_log": false,
2156
  "should_save": true,
2157
- "should_training_stop": false
2158
  },
2159
  "attributes": {}
2160
  }
2161
  },
2162
- "total_flos": 6.162242363562394e+16,
2163
  "train_batch_size": 8,
2164
  "trial_name": null,
2165
  "trial_params": null
 
1
  {
2
+ "best_metric": 1.8720966577529907,
3
+ "best_model_checkpoint": "miner_id_24/checkpoint-450",
4
+ "epoch": 0.29397354238118567,
5
  "eval_steps": 150,
6
+ "global_step": 450,
7
  "is_hyper_param_search": false,
8
  "is_local_process_zero": true,
9
  "is_world_process_zero": true,
 
2131
  "eval_samples_per_second": 51.917,
2132
  "eval_steps_per_second": 12.989,
2133
  "step": 300
2134
+ },
2135
+ {
2136
+ "epoch": 0.19663563612608198,
2137
+ "grad_norm": 0.6562613844871521,
2138
+ "learning_rate": 2.6813618894527138e-05,
2139
+ "loss": 1.4429,
2140
+ "step": 301
2141
+ },
2142
+ {
2143
+ "epoch": 0.19728891066470686,
2144
+ "grad_norm": 0.7796823978424072,
2145
+ "learning_rate": 2.6490591592961578e-05,
2146
+ "loss": 1.6504,
2147
+ "step": 302
2148
+ },
2149
+ {
2150
+ "epoch": 0.1979421852033317,
2151
+ "grad_norm": 0.7866513729095459,
2152
+ "learning_rate": 2.6168819172567392e-05,
2153
+ "loss": 1.7214,
2154
+ "step": 303
2155
+ },
2156
+ {
2157
+ "epoch": 0.19859545974195655,
2158
+ "grad_norm": 0.7742399573326111,
2159
+ "learning_rate": 2.5848318808857606e-05,
2160
+ "loss": 1.708,
2161
+ "step": 304
2162
+ },
2163
+ {
2164
+ "epoch": 0.1992487342805814,
2165
+ "grad_norm": 0.8145656585693359,
2166
+ "learning_rate": 2.5529107609445733e-05,
2167
+ "loss": 1.8016,
2168
+ "step": 305
2169
+ },
2170
+ {
2171
+ "epoch": 0.19990200881920628,
2172
+ "grad_norm": 0.7754919528961182,
2173
+ "learning_rate": 2.521120261313241e-05,
2174
+ "loss": 1.3985,
2175
+ "step": 306
2176
+ },
2177
+ {
2178
+ "epoch": 0.20055528335783113,
2179
+ "grad_norm": 0.8018137812614441,
2180
+ "learning_rate": 2.4894620788996037e-05,
2181
+ "loss": 1.7272,
2182
+ "step": 307
2183
+ },
2184
+ {
2185
+ "epoch": 0.20120855789645598,
2186
+ "grad_norm": 0.8388513922691345,
2187
+ "learning_rate": 2.457937903548695e-05,
2188
+ "loss": 1.7512,
2189
+ "step": 308
2190
+ },
2191
+ {
2192
+ "epoch": 0.20186183243508085,
2193
+ "grad_norm": 0.8507857918739319,
2194
+ "learning_rate": 2.426549417952542e-05,
2195
+ "loss": 1.7692,
2196
+ "step": 309
2197
+ },
2198
+ {
2199
+ "epoch": 0.2025151069737057,
2200
+ "grad_norm": 0.852091372013092,
2201
+ "learning_rate": 2.3952982975603496e-05,
2202
+ "loss": 1.7928,
2203
+ "step": 310
2204
+ },
2205
+ {
2206
+ "epoch": 0.20316838151233055,
2207
+ "grad_norm": 0.8825722336769104,
2208
+ "learning_rate": 2.3641862104890595e-05,
2209
+ "loss": 1.7296,
2210
+ "step": 311
2211
+ },
2212
+ {
2213
+ "epoch": 0.20382165605095542,
2214
+ "grad_norm": 0.8713802099227905,
2215
+ "learning_rate": 2.3332148174343254e-05,
2216
+ "loss": 1.6381,
2217
+ "step": 312
2218
+ },
2219
+ {
2220
+ "epoch": 0.20447493058958027,
2221
+ "grad_norm": 0.9311487078666687,
2222
+ "learning_rate": 2.3023857715818532e-05,
2223
+ "loss": 1.6957,
2224
+ "step": 313
2225
+ },
2226
+ {
2227
+ "epoch": 0.20512820512820512,
2228
+ "grad_norm": 0.932761013507843,
2229
+ "learning_rate": 2.2717007185191674e-05,
2230
+ "loss": 1.5765,
2231
+ "step": 314
2232
+ },
2233
+ {
2234
+ "epoch": 0.20578147966683,
2235
+ "grad_norm": 0.9953693151473999,
2236
+ "learning_rate": 2.24116129614777e-05,
2237
+ "loss": 1.9627,
2238
+ "step": 315
2239
+ },
2240
+ {
2241
+ "epoch": 0.20643475420545485,
2242
+ "grad_norm": 1.0859706401824951,
2243
+ "learning_rate": 2.2107691345957133e-05,
2244
+ "loss": 1.9455,
2245
+ "step": 316
2246
+ },
2247
+ {
2248
+ "epoch": 0.2070880287440797,
2249
+ "grad_norm": 1.123296856880188,
2250
+ "learning_rate": 2.1805258561305862e-05,
2251
+ "loss": 1.9259,
2252
+ "step": 317
2253
+ },
2254
+ {
2255
+ "epoch": 0.20774130328270457,
2256
+ "grad_norm": 1.0700737237930298,
2257
+ "learning_rate": 2.1504330750729186e-05,
2258
+ "loss": 1.6377,
2259
+ "step": 318
2260
+ },
2261
+ {
2262
+ "epoch": 0.20839457782132942,
2263
+ "grad_norm": 1.1277694702148438,
2264
+ "learning_rate": 2.120492397710022e-05,
2265
+ "loss": 1.7249,
2266
+ "step": 319
2267
+ },
2268
+ {
2269
+ "epoch": 0.20904785235995427,
2270
+ "grad_norm": 1.2123768329620361,
2271
+ "learning_rate": 2.090705422210237e-05,
2272
+ "loss": 1.9393,
2273
+ "step": 320
2274
+ },
2275
+ {
2276
+ "epoch": 0.20970112689857912,
2277
+ "grad_norm": 1.2336665391921997,
2278
+ "learning_rate": 2.061073738537635e-05,
2279
+ "loss": 1.7775,
2280
+ "step": 321
2281
+ },
2282
+ {
2283
+ "epoch": 0.210354401437204,
2284
+ "grad_norm": 1.2337082624435425,
2285
+ "learning_rate": 2.0315989283671473e-05,
2286
+ "loss": 1.8453,
2287
+ "step": 322
2288
+ },
2289
+ {
2290
+ "epoch": 0.21100767597582884,
2291
+ "grad_norm": 1.2970980405807495,
2292
+ "learning_rate": 2.0022825650001387e-05,
2293
+ "loss": 1.8926,
2294
+ "step": 323
2295
+ },
2296
+ {
2297
+ "epoch": 0.2116609505144537,
2298
+ "grad_norm": 1.3687418699264526,
2299
+ "learning_rate": 1.9731262132804274e-05,
2300
+ "loss": 2.0265,
2301
+ "step": 324
2302
+ },
2303
+ {
2304
+ "epoch": 0.21231422505307856,
2305
+ "grad_norm": 1.4175206422805786,
2306
+ "learning_rate": 1.9441314295107537e-05,
2307
+ "loss": 1.9937,
2308
+ "step": 325
2309
+ },
2310
+ {
2311
+ "epoch": 0.2129674995917034,
2312
+ "grad_norm": 1.4179284572601318,
2313
+ "learning_rate": 1.9152997613697183e-05,
2314
+ "loss": 1.7641,
2315
+ "step": 326
2316
+ },
2317
+ {
2318
+ "epoch": 0.21362077413032826,
2319
+ "grad_norm": 1.5280499458312988,
2320
+ "learning_rate": 1.8866327478291546e-05,
2321
+ "loss": 1.9075,
2322
+ "step": 327
2323
+ },
2324
+ {
2325
+ "epoch": 0.21427404866895314,
2326
+ "grad_norm": 1.6011749505996704,
2327
+ "learning_rate": 1.8581319190720035e-05,
2328
+ "loss": 1.9116,
2329
+ "step": 328
2330
+ },
2331
+ {
2332
+ "epoch": 0.21492732320757799,
2333
+ "grad_norm": 1.6942389011383057,
2334
+ "learning_rate": 1.8297987964106115e-05,
2335
+ "loss": 1.9134,
2336
+ "step": 329
2337
+ },
2338
+ {
2339
+ "epoch": 0.21558059774620283,
2340
+ "grad_norm": 1.9133878946304321,
2341
+ "learning_rate": 1.801634892205545e-05,
2342
+ "loss": 1.9993,
2343
+ "step": 330
2344
+ },
2345
+ {
2346
+ "epoch": 0.2162338722848277,
2347
+ "grad_norm": 1.8108885288238525,
2348
+ "learning_rate": 1.7736417097848506e-05,
2349
+ "loss": 1.6007,
2350
+ "step": 331
2351
+ },
2352
+ {
2353
+ "epoch": 0.21688714682345256,
2354
+ "grad_norm": 2.2170968055725098,
2355
+ "learning_rate": 1.7458207433638223e-05,
2356
+ "loss": 2.0009,
2357
+ "step": 332
2358
+ },
2359
+ {
2360
+ "epoch": 0.2175404213620774,
2361
+ "grad_norm": 2.21116042137146,
2362
+ "learning_rate": 1.718173477965236e-05,
2363
+ "loss": 1.7992,
2364
+ "step": 333
2365
+ },
2366
+ {
2367
+ "epoch": 0.21819369590070228,
2368
+ "grad_norm": 2.4326541423797607,
2369
+ "learning_rate": 1.6907013893400837e-05,
2370
+ "loss": 2.0342,
2371
+ "step": 334
2372
+ },
2373
+ {
2374
+ "epoch": 0.21884697043932713,
2375
+ "grad_norm": 2.476644515991211,
2376
+ "learning_rate": 1.6634059438888033e-05,
2377
+ "loss": 1.6655,
2378
+ "step": 335
2379
+ },
2380
+ {
2381
+ "epoch": 0.21950024497795198,
2382
+ "grad_norm": 2.754042387008667,
2383
+ "learning_rate": 1.636288598583e-05,
2384
+ "loss": 2.1341,
2385
+ "step": 336
2386
+ },
2387
+ {
2388
+ "epoch": 0.22015351951657683,
2389
+ "grad_norm": 2.8820323944091797,
2390
+ "learning_rate": 1.6093508008876857e-05,
2391
+ "loss": 1.7264,
2392
+ "step": 337
2393
+ },
2394
+ {
2395
+ "epoch": 0.2208067940552017,
2396
+ "grad_norm": 2.952387571334839,
2397
+ "learning_rate": 1.5825939886840037e-05,
2398
+ "loss": 1.9281,
2399
+ "step": 338
2400
+ },
2401
+ {
2402
+ "epoch": 0.22146006859382655,
2403
+ "grad_norm": 2.917340040206909,
2404
+ "learning_rate": 1.5560195901924894e-05,
2405
+ "loss": 1.9721,
2406
+ "step": 339
2407
+ },
2408
+ {
2409
+ "epoch": 0.2221133431324514,
2410
+ "grad_norm": 3.519662380218506,
2411
+ "learning_rate": 1.5296290238968303e-05,
2412
+ "loss": 2.2708,
2413
+ "step": 340
2414
+ },
2415
+ {
2416
+ "epoch": 0.22276661767107628,
2417
+ "grad_norm": 3.6640732288360596,
2418
+ "learning_rate": 1.50342369846815e-05,
2419
+ "loss": 1.9861,
2420
+ "step": 341
2421
+ },
2422
+ {
2423
+ "epoch": 0.22341989220970113,
2424
+ "grad_norm": 3.531583547592163,
2425
+ "learning_rate": 1.4774050126898164e-05,
2426
+ "loss": 2.135,
2427
+ "step": 342
2428
+ },
2429
+ {
2430
+ "epoch": 0.22407316674832597,
2431
+ "grad_norm": 4.102410793304443,
2432
+ "learning_rate": 1.451574355382776e-05,
2433
+ "loss": 2.0721,
2434
+ "step": 343
2435
+ },
2436
+ {
2437
+ "epoch": 0.22472644128695085,
2438
+ "grad_norm": 3.8423666954040527,
2439
+ "learning_rate": 1.425933105331429e-05,
2440
+ "loss": 2.0958,
2441
+ "step": 344
2442
+ },
2443
+ {
2444
+ "epoch": 0.2253797158255757,
2445
+ "grad_norm": 3.899322986602783,
2446
+ "learning_rate": 1.4004826312100216e-05,
2447
+ "loss": 2.1085,
2448
+ "step": 345
2449
+ },
2450
+ {
2451
+ "epoch": 0.22603299036420055,
2452
+ "grad_norm": 4.240949630737305,
2453
+ "learning_rate": 1.3752242915095992e-05,
2454
+ "loss": 2.0961,
2455
+ "step": 346
2456
+ },
2457
+ {
2458
+ "epoch": 0.22668626490282542,
2459
+ "grad_norm": 4.414612293243408,
2460
+ "learning_rate": 1.3501594344654884e-05,
2461
+ "loss": 1.8973,
2462
+ "step": 347
2463
+ },
2464
+ {
2465
+ "epoch": 0.22733953944145027,
2466
+ "grad_norm": 5.2035746574401855,
2467
+ "learning_rate": 1.3252893979853304e-05,
2468
+ "loss": 2.3987,
2469
+ "step": 348
2470
+ },
2471
+ {
2472
+ "epoch": 0.22799281398007512,
2473
+ "grad_norm": 6.975047588348389,
2474
+ "learning_rate": 1.3006155095776707e-05,
2475
+ "loss": 2.3935,
2476
+ "step": 349
2477
+ },
2478
+ {
2479
+ "epoch": 0.2286460885187,
2480
+ "grad_norm": 9.769250869750977,
2481
+ "learning_rate": 1.2761390862810907e-05,
2482
+ "loss": 3.1776,
2483
+ "step": 350
2484
+ },
2485
+ {
2486
+ "epoch": 0.22929936305732485,
2487
+ "grad_norm": 0.6493518948554993,
2488
+ "learning_rate": 1.2518614345939212e-05,
2489
+ "loss": 1.517,
2490
+ "step": 351
2491
+ },
2492
+ {
2493
+ "epoch": 0.2299526375959497,
2494
+ "grad_norm": 0.7682214379310608,
2495
+ "learning_rate": 1.227783850404487e-05,
2496
+ "loss": 1.7512,
2497
+ "step": 352
2498
+ },
2499
+ {
2500
+ "epoch": 0.23060591213457454,
2501
+ "grad_norm": 0.7854646444320679,
2502
+ "learning_rate": 1.2039076189219517e-05,
2503
+ "loss": 1.7238,
2504
+ "step": 353
2505
+ },
2506
+ {
2507
+ "epoch": 0.23125918667319942,
2508
+ "grad_norm": 0.7929527163505554,
2509
+ "learning_rate": 1.1802340146077045e-05,
2510
+ "loss": 1.8564,
2511
+ "step": 354
2512
+ },
2513
+ {
2514
+ "epoch": 0.23191246121182427,
2515
+ "grad_norm": 0.8244699835777283,
2516
+ "learning_rate": 1.1567643011073392e-05,
2517
+ "loss": 1.6421,
2518
+ "step": 355
2519
+ },
2520
+ {
2521
+ "epoch": 0.23256573575044912,
2522
+ "grad_norm": 0.8072249889373779,
2523
+ "learning_rate": 1.1334997311832002e-05,
2524
+ "loss": 1.6762,
2525
+ "step": 356
2526
+ },
2527
+ {
2528
+ "epoch": 0.233219010289074,
2529
+ "grad_norm": 0.8119028806686401,
2530
+ "learning_rate": 1.1104415466475087e-05,
2531
+ "loss": 1.6528,
2532
+ "step": 357
2533
+ },
2534
+ {
2535
+ "epoch": 0.23387228482769884,
2536
+ "grad_norm": 0.8597144484519958,
2537
+ "learning_rate": 1.0875909782960886e-05,
2538
+ "loss": 1.8121,
2539
+ "step": 358
2540
+ },
2541
+ {
2542
+ "epoch": 0.2345255593663237,
2543
+ "grad_norm": 0.8278293609619141,
2544
+ "learning_rate": 1.0649492458426564e-05,
2545
+ "loss": 1.6059,
2546
+ "step": 359
2547
+ },
2548
+ {
2549
+ "epoch": 0.23517883390494856,
2550
+ "grad_norm": 0.8635007739067078,
2551
+ "learning_rate": 1.0425175578537299e-05,
2552
+ "loss": 1.7619,
2553
+ "step": 360
2554
+ },
2555
+ {
2556
+ "epoch": 0.2358321084435734,
2557
+ "grad_norm": 0.873079776763916,
2558
+ "learning_rate": 1.020297111684101e-05,
2559
+ "loss": 1.7476,
2560
+ "step": 361
2561
+ },
2562
+ {
2563
+ "epoch": 0.23648538298219826,
2564
+ "grad_norm": 0.8993417024612427,
2565
+ "learning_rate": 9.98289093412938e-06,
2566
+ "loss": 1.7883,
2567
+ "step": 362
2568
+ },
2569
+ {
2570
+ "epoch": 0.23713865752082314,
2571
+ "grad_norm": 0.8890747427940369,
2572
+ "learning_rate": 9.764946777804646e-06,
2573
+ "loss": 1.6988,
2574
+ "step": 363
2575
+ },
2576
+ {
2577
+ "epoch": 0.23779193205944799,
2578
+ "grad_norm": 0.926846981048584,
2579
+ "learning_rate": 9.549150281252633e-06,
2580
+ "loss": 1.618,
2581
+ "step": 364
2582
+ },
2583
+ {
2584
+ "epoch": 0.23844520659807283,
2585
+ "grad_norm": 0.9523332118988037,
2586
+ "learning_rate": 9.335512963221732e-06,
2587
+ "loss": 1.6626,
2588
+ "step": 365
2589
+ },
2590
+ {
2591
+ "epoch": 0.2390984811366977,
2592
+ "grad_norm": 0.9900181293487549,
2593
+ "learning_rate": 9.124046227208082e-06,
2594
+ "loss": 1.646,
2595
+ "step": 366
2596
+ },
2597
+ {
2598
+ "epoch": 0.23975175567532256,
2599
+ "grad_norm": 1.0082789659500122,
2600
+ "learning_rate": 8.914761360846869e-06,
2601
+ "loss": 1.7179,
2602
+ "step": 367
2603
+ },
2604
+ {
2605
+ "epoch": 0.2404050302139474,
2606
+ "grad_norm": 1.045430302619934,
2607
+ "learning_rate": 8.707669535309793e-06,
2608
+ "loss": 1.6883,
2609
+ "step": 368
2610
+ },
2611
+ {
2612
+ "epoch": 0.24105830475257226,
2613
+ "grad_norm": 1.0794562101364136,
2614
+ "learning_rate": 8.502781804708826e-06,
2615
+ "loss": 1.8601,
2616
+ "step": 369
2617
+ },
2618
+ {
2619
+ "epoch": 0.24171157929119713,
2620
+ "grad_norm": 1.1484591960906982,
2621
+ "learning_rate": 8.30010910550611e-06,
2622
+ "loss": 1.7968,
2623
+ "step": 370
2624
+ },
2625
+ {
2626
+ "epoch": 0.24236485382982198,
2627
+ "grad_norm": 1.1732699871063232,
2628
+ "learning_rate": 8.09966225593024e-06,
2629
+ "loss": 1.6156,
2630
+ "step": 371
2631
+ },
2632
+ {
2633
+ "epoch": 0.24301812836844683,
2634
+ "grad_norm": 1.1297372579574585,
2635
+ "learning_rate": 7.901451955398792e-06,
2636
+ "loss": 1.5771,
2637
+ "step": 372
2638
+ },
2639
+ {
2640
+ "epoch": 0.2436714029070717,
2641
+ "grad_norm": 1.2523436546325684,
2642
+ "learning_rate": 7.705488783947202e-06,
2643
+ "loss": 2.0035,
2644
+ "step": 373
2645
+ },
2646
+ {
2647
+ "epoch": 0.24432467744569655,
2648
+ "grad_norm": 1.260083794593811,
2649
+ "learning_rate": 7.511783201664052e-06,
2650
+ "loss": 1.8555,
2651
+ "step": 374
2652
+ },
2653
+ {
2654
+ "epoch": 0.2449779519843214,
2655
+ "grad_norm": 1.3140181303024292,
2656
+ "learning_rate": 7.320345548132679e-06,
2657
+ "loss": 1.8955,
2658
+ "step": 375
2659
+ },
2660
+ {
2661
+ "epoch": 0.24563122652294628,
2662
+ "grad_norm": 1.4021167755126953,
2663
+ "learning_rate": 7.131186041879357e-06,
2664
+ "loss": 1.7796,
2665
+ "step": 376
2666
+ },
2667
+ {
2668
+ "epoch": 0.24628450106157113,
2669
+ "grad_norm": 1.448630690574646,
2670
+ "learning_rate": 6.944314779827749e-06,
2671
+ "loss": 1.9388,
2672
+ "step": 377
2673
+ },
2674
+ {
2675
+ "epoch": 0.24693777560019597,
2676
+ "grad_norm": 1.4907878637313843,
2677
+ "learning_rate": 6.759741736760061e-06,
2678
+ "loss": 1.7724,
2679
+ "step": 378
2680
+ },
2681
+ {
2682
+ "epoch": 0.24759105013882085,
2683
+ "grad_norm": 1.641314148902893,
2684
+ "learning_rate": 6.577476764784546e-06,
2685
+ "loss": 1.8177,
2686
+ "step": 379
2687
+ },
2688
+ {
2689
+ "epoch": 0.2482443246774457,
2690
+ "grad_norm": 1.7289384603500366,
2691
+ "learning_rate": 6.397529592809614e-06,
2692
+ "loss": 2.0931,
2693
+ "step": 380
2694
+ },
2695
+ {
2696
+ "epoch": 0.24889759921607055,
2697
+ "grad_norm": 1.696372389793396,
2698
+ "learning_rate": 6.219909826024589e-06,
2699
+ "loss": 1.7295,
2700
+ "step": 381
2701
+ },
2702
+ {
2703
+ "epoch": 0.24955087375469542,
2704
+ "grad_norm": 2.057739496231079,
2705
+ "learning_rate": 6.0446269453868945e-06,
2706
+ "loss": 1.9874,
2707
+ "step": 382
2708
+ },
2709
+ {
2710
+ "epoch": 0.25020414829332027,
2711
+ "grad_norm": 2.0013246536254883,
2712
+ "learning_rate": 5.871690307116107e-06,
2713
+ "loss": 1.8563,
2714
+ "step": 383
2715
+ },
2716
+ {
2717
+ "epoch": 0.2508574228319451,
2718
+ "grad_norm": 2.1932458877563477,
2719
+ "learning_rate": 5.701109142194422e-06,
2720
+ "loss": 2.0006,
2721
+ "step": 384
2722
+ },
2723
+ {
2724
+ "epoch": 0.25151069737056997,
2725
+ "grad_norm": 2.1517393589019775,
2726
+ "learning_rate": 5.532892555874059e-06,
2727
+ "loss": 1.9219,
2728
+ "step": 385
2729
+ },
2730
+ {
2731
+ "epoch": 0.2521639719091948,
2732
+ "grad_norm": 2.4914627075195312,
2733
+ "learning_rate": 5.3670495271910925e-06,
2734
+ "loss": 2.1114,
2735
+ "step": 386
2736
+ },
2737
+ {
2738
+ "epoch": 0.2528172464478197,
2739
+ "grad_norm": 2.510403633117676,
2740
+ "learning_rate": 5.203588908486279e-06,
2741
+ "loss": 1.6452,
2742
+ "step": 387
2743
+ },
2744
+ {
2745
+ "epoch": 0.25347052098644457,
2746
+ "grad_norm": 3.1688222885131836,
2747
+ "learning_rate": 5.042519424932513e-06,
2748
+ "loss": 2.1944,
2749
+ "step": 388
2750
+ },
2751
+ {
2752
+ "epoch": 0.2541237955250694,
2753
+ "grad_norm": 3.033691167831421,
2754
+ "learning_rate": 4.883849674069058e-06,
2755
+ "loss": 1.8288,
2756
+ "step": 389
2757
+ },
2758
+ {
2759
+ "epoch": 0.25477707006369427,
2760
+ "grad_norm": 3.0903337001800537,
2761
+ "learning_rate": 4.727588125342669e-06,
2762
+ "loss": 1.8231,
2763
+ "step": 390
2764
+ },
2765
+ {
2766
+ "epoch": 0.2554303446023191,
2767
+ "grad_norm": 3.200044631958008,
2768
+ "learning_rate": 4.573743119655516e-06,
2769
+ "loss": 2.1962,
2770
+ "step": 391
2771
+ },
2772
+ {
2773
+ "epoch": 0.25608361914094396,
2774
+ "grad_norm": 3.5135629177093506,
2775
+ "learning_rate": 4.422322868919937e-06,
2776
+ "loss": 1.8037,
2777
+ "step": 392
2778
+ },
2779
+ {
2780
+ "epoch": 0.2567368936795688,
2781
+ "grad_norm": 3.3575761318206787,
2782
+ "learning_rate": 4.273335455620097e-06,
2783
+ "loss": 1.5867,
2784
+ "step": 393
2785
+ },
2786
+ {
2787
+ "epoch": 0.2573901682181937,
2788
+ "grad_norm": 4.191507816314697,
2789
+ "learning_rate": 4.126788832380629e-06,
2790
+ "loss": 2.2939,
2791
+ "step": 394
2792
+ },
2793
+ {
2794
+ "epoch": 0.25804344275681856,
2795
+ "grad_norm": 3.7249908447265625,
2796
+ "learning_rate": 3.982690821542035e-06,
2797
+ "loss": 1.874,
2798
+ "step": 395
2799
+ },
2800
+ {
2801
+ "epoch": 0.2586967172954434,
2802
+ "grad_norm": 3.9365010261535645,
2803
+ "learning_rate": 3.8410491147432395e-06,
2804
+ "loss": 1.6268,
2805
+ "step": 396
2806
+ },
2807
+ {
2808
+ "epoch": 0.25934999183406826,
2809
+ "grad_norm": 4.847893238067627,
2810
+ "learning_rate": 3.7018712725109926e-06,
2811
+ "loss": 2.2378,
2812
+ "step": 397
2813
+ },
2814
+ {
2815
+ "epoch": 0.2600032663726931,
2816
+ "grad_norm": 4.60577392578125,
2817
+ "learning_rate": 3.5651647238562904e-06,
2818
+ "loss": 2.1083,
2819
+ "step": 398
2820
+ },
2821
+ {
2822
+ "epoch": 0.26065654091131796,
2823
+ "grad_norm": 5.157360553741455,
2824
+ "learning_rate": 3.430936765877857e-06,
2825
+ "loss": 2.6833,
2826
+ "step": 399
2827
+ },
2828
+ {
2829
+ "epoch": 0.26130981544994286,
2830
+ "grad_norm": 7.585251331329346,
2831
+ "learning_rate": 3.299194563372604e-06,
2832
+ "loss": 2.6346,
2833
+ "step": 400
2834
+ },
2835
+ {
2836
+ "epoch": 0.2619630899885677,
2837
+ "grad_norm": 0.5975827574729919,
2838
+ "learning_rate": 3.1699451484532463e-06,
2839
+ "loss": 1.4453,
2840
+ "step": 401
2841
+ },
2842
+ {
2843
+ "epoch": 0.26261636452719256,
2844
+ "grad_norm": 0.7209427356719971,
2845
+ "learning_rate": 3.0431954201728784e-06,
2846
+ "loss": 1.6149,
2847
+ "step": 402
2848
+ },
2849
+ {
2850
+ "epoch": 0.2632696390658174,
2851
+ "grad_norm": 0.7632143497467041,
2852
+ "learning_rate": 2.9189521441567726e-06,
2853
+ "loss": 1.8857,
2854
+ "step": 403
2855
+ },
2856
+ {
2857
+ "epoch": 0.26392291360444226,
2858
+ "grad_norm": 0.7980583310127258,
2859
+ "learning_rate": 2.797221952241219e-06,
2860
+ "loss": 1.7687,
2861
+ "step": 404
2862
+ },
2863
+ {
2864
+ "epoch": 0.2645761881430671,
2865
+ "grad_norm": 0.7555380463600159,
2866
+ "learning_rate": 2.6780113421195298e-06,
2867
+ "loss": 1.7941,
2868
+ "step": 405
2869
+ },
2870
+ {
2871
+ "epoch": 0.265229462681692,
2872
+ "grad_norm": 0.7890255451202393,
2873
+ "learning_rate": 2.561326676995218e-06,
2874
+ "loss": 1.6515,
2875
+ "step": 406
2876
+ },
2877
+ {
2878
+ "epoch": 0.26588273722031686,
2879
+ "grad_norm": 0.7849552631378174,
2880
+ "learning_rate": 2.4471741852423237e-06,
2881
+ "loss": 1.6997,
2882
+ "step": 407
2883
+ },
2884
+ {
2885
+ "epoch": 0.2665360117589417,
2886
+ "grad_norm": 0.8335103392601013,
2887
+ "learning_rate": 2.3355599600729915e-06,
2888
+ "loss": 1.759,
2889
+ "step": 408
2890
+ },
2891
+ {
2892
+ "epoch": 0.26718928629756655,
2893
+ "grad_norm": 0.8428650498390198,
2894
+ "learning_rate": 2.2264899592121744e-06,
2895
+ "loss": 1.6588,
2896
+ "step": 409
2897
+ },
2898
+ {
2899
+ "epoch": 0.2678425608361914,
2900
+ "grad_norm": 0.8650283217430115,
2901
+ "learning_rate": 2.1199700045797077e-06,
2902
+ "loss": 1.7422,
2903
+ "step": 410
2904
+ },
2905
+ {
2906
+ "epoch": 0.26849583537481625,
2907
+ "grad_norm": 0.8699631690979004,
2908
+ "learning_rate": 2.0160057819794466e-06,
2909
+ "loss": 1.7059,
2910
+ "step": 411
2911
+ },
2912
+ {
2913
+ "epoch": 0.2691491099134411,
2914
+ "grad_norm": 1.0831049680709839,
2915
+ "learning_rate": 1.9146028407958484e-06,
2916
+ "loss": 1.8546,
2917
+ "step": 412
2918
+ },
2919
+ {
2920
+ "epoch": 0.269802384452066,
2921
+ "grad_norm": 0.9282965660095215,
2922
+ "learning_rate": 1.8157665936977263e-06,
2923
+ "loss": 1.7158,
2924
+ "step": 413
2925
+ },
2926
+ {
2927
+ "epoch": 0.27045565899069085,
2928
+ "grad_norm": 0.9040890336036682,
2929
+ "learning_rate": 1.7195023163493252e-06,
2930
+ "loss": 1.7635,
2931
+ "step": 414
2932
+ },
2933
+ {
2934
+ "epoch": 0.2711089335293157,
2935
+ "grad_norm": 0.9390372633934021,
2936
+ "learning_rate": 1.6258151471287396e-06,
2937
+ "loss": 1.5842,
2938
+ "step": 415
2939
+ },
2940
+ {
2941
+ "epoch": 0.27176220806794055,
2942
+ "grad_norm": 1.0083568096160889,
2943
+ "learning_rate": 1.5347100868536246e-06,
2944
+ "loss": 1.6398,
2945
+ "step": 416
2946
+ },
2947
+ {
2948
+ "epoch": 0.2724154826065654,
2949
+ "grad_norm": 1.0582306385040283,
2950
+ "learning_rate": 1.4461919985142735e-06,
2951
+ "loss": 1.9054,
2952
+ "step": 417
2953
+ },
2954
+ {
2955
+ "epoch": 0.27306875714519024,
2956
+ "grad_norm": 1.031751275062561,
2957
+ "learning_rate": 1.3602656070140275e-06,
2958
+ "loss": 1.6964,
2959
+ "step": 418
2960
+ },
2961
+ {
2962
+ "epoch": 0.27372203168381515,
2963
+ "grad_norm": 1.1092511415481567,
2964
+ "learning_rate": 1.27693549891707e-06,
2965
+ "loss": 1.7938,
2966
+ "step": 419
2967
+ },
2968
+ {
2969
+ "epoch": 0.27437530622244,
2970
+ "grad_norm": 1.1369683742523193,
2971
+ "learning_rate": 1.196206122203647e-06,
2972
+ "loss": 1.9818,
2973
+ "step": 420
2974
+ },
2975
+ {
2976
+ "epoch": 0.27502858076106484,
2977
+ "grad_norm": 1.1983885765075684,
2978
+ "learning_rate": 1.1180817860325599e-06,
2979
+ "loss": 1.8541,
2980
+ "step": 421
2981
+ },
2982
+ {
2983
+ "epoch": 0.2756818552996897,
2984
+ "grad_norm": 1.272538185119629,
2985
+ "learning_rate": 1.0425666605112517e-06,
2986
+ "loss": 1.8536,
2987
+ "step": 422
2988
+ },
2989
+ {
2990
+ "epoch": 0.27633512983831454,
2991
+ "grad_norm": 1.3353904485702515,
2992
+ "learning_rate": 9.696647764731337e-07,
2993
+ "loss": 1.9665,
2994
+ "step": 423
2995
+ },
2996
+ {
2997
+ "epoch": 0.2769884043769394,
2998
+ "grad_norm": 1.3927992582321167,
2999
+ "learning_rate": 8.993800252624862e-07,
3000
+ "loss": 1.8969,
3001
+ "step": 424
3002
+ },
3003
+ {
3004
+ "epoch": 0.27764167891556424,
3005
+ "grad_norm": 1.3316028118133545,
3006
+ "learning_rate": 8.317161585266964e-07,
3007
+ "loss": 1.6964,
3008
+ "step": 425
3009
+ },
3010
+ {
3011
+ "epoch": 0.27829495345418914,
3012
+ "grad_norm": 1.4543392658233643,
3013
+ "learning_rate": 7.666767880160464e-07,
3014
+ "loss": 1.8206,
3015
+ "step": 426
3016
+ },
3017
+ {
3018
+ "epoch": 0.278948227992814,
3019
+ "grad_norm": 1.5308529138565063,
3020
+ "learning_rate": 7.042653853909064e-07,
3021
+ "loss": 1.8566,
3022
+ "step": 427
3023
+ },
3024
+ {
3025
+ "epoch": 0.27960150253143884,
3026
+ "grad_norm": 1.5561844110488892,
3027
+ "learning_rate": 6.444852820364222e-07,
3028
+ "loss": 1.9246,
3029
+ "step": 428
3030
+ },
3031
+ {
3032
+ "epoch": 0.2802547770700637,
3033
+ "grad_norm": 1.674401879310608,
3034
+ "learning_rate": 5.87339668884701e-07,
3035
+ "loss": 1.8902,
3036
+ "step": 429
3037
+ },
3038
+ {
3039
+ "epoch": 0.28090805160868854,
3040
+ "grad_norm": 1.7931857109069824,
3041
+ "learning_rate": 5.328315962444874e-07,
3042
+ "loss": 1.8674,
3043
+ "step": 430
3044
+ },
3045
+ {
3046
+ "epoch": 0.2815613261473134,
3047
+ "grad_norm": 1.801674485206604,
3048
+ "learning_rate": 4.809639736383431e-07,
3049
+ "loss": 1.8449,
3050
+ "step": 431
3051
+ },
3052
+ {
3053
+ "epoch": 0.2822146006859383,
3054
+ "grad_norm": 1.9189867973327637,
3055
+ "learning_rate": 4.317395696473214e-07,
3056
+ "loss": 1.8103,
3057
+ "step": 432
3058
+ },
3059
+ {
3060
+ "epoch": 0.28286787522456314,
3061
+ "grad_norm": 2.1448371410369873,
3062
+ "learning_rate": 3.851610117632354e-07,
3063
+ "loss": 1.9176,
3064
+ "step": 433
3065
+ },
3066
+ {
3067
+ "epoch": 0.283521149763188,
3068
+ "grad_norm": 2.214698314666748,
3069
+ "learning_rate": 3.4123078624834216e-07,
3070
+ "loss": 1.8616,
3071
+ "step": 434
3072
+ },
3073
+ {
3074
+ "epoch": 0.28417442430181283,
3075
+ "grad_norm": 2.553487539291382,
3076
+ "learning_rate": 2.9995123800270476e-07,
3077
+ "loss": 2.1907,
3078
+ "step": 435
3079
+ },
3080
+ {
3081
+ "epoch": 0.2848276988404377,
3082
+ "grad_norm": 2.483630657196045,
3083
+ "learning_rate": 2.613245704389644e-07,
3084
+ "loss": 1.8343,
3085
+ "step": 436
3086
+ },
3087
+ {
3088
+ "epoch": 0.28548097337906253,
3089
+ "grad_norm": 2.82547926902771,
3090
+ "learning_rate": 2.2535284536476242e-07,
3091
+ "loss": 1.8856,
3092
+ "step": 437
3093
+ },
3094
+ {
3095
+ "epoch": 0.28613424791768743,
3096
+ "grad_norm": 2.9452755451202393,
3097
+ "learning_rate": 1.920379828726726e-07,
3098
+ "loss": 1.6969,
3099
+ "step": 438
3100
+ },
3101
+ {
3102
+ "epoch": 0.2867875224563123,
3103
+ "grad_norm": 3.092703342437744,
3104
+ "learning_rate": 1.6138176123770554e-07,
3105
+ "loss": 1.9073,
3106
+ "step": 439
3107
+ },
3108
+ {
3109
+ "epoch": 0.28744079699493713,
3110
+ "grad_norm": 3.6752867698669434,
3111
+ "learning_rate": 1.333858168224178e-07,
3112
+ "loss": 2.4456,
3113
+ "step": 440
3114
+ },
3115
+ {
3116
+ "epoch": 0.288094071533562,
3117
+ "grad_norm": 3.8016953468322754,
3118
+ "learning_rate": 1.0805164398952072e-07,
3119
+ "loss": 2.0624,
3120
+ "step": 441
3121
+ },
3122
+ {
3123
+ "epoch": 0.28874734607218683,
3124
+ "grad_norm": 3.2749228477478027,
3125
+ "learning_rate": 8.53805950221498e-08,
3126
+ "loss": 1.6564,
3127
+ "step": 442
3128
+ },
3129
+ {
3130
+ "epoch": 0.2894006206108117,
3131
+ "grad_norm": 3.4237606525421143,
3132
+ "learning_rate": 6.537388005167233e-08,
3133
+ "loss": 1.6582,
3134
+ "step": 443
3135
+ },
3136
+ {
3137
+ "epoch": 0.2900538951494365,
3138
+ "grad_norm": 3.6927602291107178,
3139
+ "learning_rate": 4.8032566993089225e-08,
3140
+ "loss": 1.9234,
3141
+ "step": 444
3142
+ },
3143
+ {
3144
+ "epoch": 0.29070716968806143,
3145
+ "grad_norm": 4.420969486236572,
3146
+ "learning_rate": 3.3357581488030475e-08,
3147
+ "loss": 2.1773,
3148
+ "step": 445
3149
+ },
3150
+ {
3151
+ "epoch": 0.2913604442266863,
3152
+ "grad_norm": 5.129368782043457,
3153
+ "learning_rate": 2.134970685536697e-08,
3154
+ "loss": 2.3766,
3155
+ "step": 446
3156
+ },
3157
+ {
3158
+ "epoch": 0.2920137187653111,
3159
+ "grad_norm": 4.547641754150391,
3160
+ "learning_rate": 1.200958404936059e-08,
3161
+ "loss": 2.0766,
3162
+ "step": 447
3163
+ },
3164
+ {
3165
+ "epoch": 0.292666993303936,
3166
+ "grad_norm": 4.891174793243408,
3167
+ "learning_rate": 5.337711625497121e-09,
3168
+ "loss": 2.1816,
3169
+ "step": 448
3170
+ },
3171
+ {
3172
+ "epoch": 0.2933202678425608,
3173
+ "grad_norm": 6.047499656677246,
3174
+ "learning_rate": 1.3344457138297906e-09,
3175
+ "loss": 2.7319,
3176
+ "step": 449
3177
+ },
3178
+ {
3179
+ "epoch": 0.29397354238118567,
3180
+ "grad_norm": 8.506380081176758,
3181
+ "learning_rate": 0.0,
3182
+ "loss": 2.4519,
3183
+ "step": 450
3184
+ },
3185
+ {
3186
+ "epoch": 0.29397354238118567,
3187
+ "eval_loss": 1.8720966577529907,
3188
+ "eval_runtime": 49.6963,
3189
+ "eval_samples_per_second": 51.875,
3190
+ "eval_steps_per_second": 12.979,
3191
+ "step": 450
3192
  }
3193
  ],
3194
  "logging_steps": 1,
 
3212
  "should_evaluate": false,
3213
  "should_log": false,
3214
  "should_save": true,
3215
+ "should_training_stop": true
3216
  },
3217
  "attributes": {}
3218
  }
3219
  },
3220
+ "total_flos": 9.230704871630438e+16,
3221
  "train_batch_size": 8,
3222
  "trial_name": null,
3223
  "trial_params": null