Severian commited on
Commit
ad4b5b9
1 Parent(s): cffd96d

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +461 -0
README.md ADDED
@@ -0,0 +1,461 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: mit
3
+ datasets:
4
+ - Severian/Internal-Knowledge-Map
5
+ pipeline_tag: text-generation
6
+ ---
7
+ ## This model has been trained for 2 epochs using Unsloth on the Internal Knowledge Map dataset.
8
+
9
+ ```
10
+ ==((====))== Unsloth - 2x faster free finetuning | Num GPUs = 1
11
+ \\ /| Num examples = 3,555 | Num Epochs = 2
12
+ O^O/ \_/ \ Batch size per device = 4 | Gradient Accumulation steps = 4
13
+ \ / Total batch size = 16 | Total steps = 444
14
+ "-____-" Number of trainable parameters = 83,886,080
15
+ [444/444 25:17, Epoch 1/2]
16
+ Step Training Loss
17
+ 1 3.133100
18
+ 2 3.086100
19
+ 3 3.045000
20
+ 4 3.075100
21
+ 5 3.086000
22
+ 6 3.042100
23
+ 7 3.018100
24
+ 8 3.036100
25
+ 9 2.986900
26
+ 10 2.990600
27
+ 11 2.949400
28
+ 12 2.933200
29
+ 13 2.899800
30
+ 14 2.885900
31
+ 15 2.928400
32
+ 16 2.855700
33
+ 17 2.805000
34
+ 18 2.787100
35
+ 19 2.807400
36
+ 20 2.765600
37
+ 21 2.794500
38
+ 22 2.758400
39
+ 23 2.753700
40
+ 24 2.757400
41
+ 25 2.669900
42
+ 26 2.653900
43
+ 27 2.708400
44
+ 28 2.705100
45
+ 29 2.695900
46
+ 30 2.590100
47
+ 31 2.615900
48
+ 32 2.577500
49
+ 33 2.571700
50
+ 34 2.596400
51
+ 35 2.570700
52
+ 36 2.558600
53
+ 37 2.524600
54
+ 38 2.640500
55
+ 39 2.506400
56
+ 40 2.521900
57
+ 41 2.519800
58
+ 42 2.459700
59
+ 43 2.388900
60
+ 44 2.425400
61
+ 45 2.387800
62
+ 46 2.360600
63
+ 47 2.376000
64
+ 48 2.391600
65
+ 49 2.321100
66
+ 50 2.357600
67
+ 51 2.325800
68
+ 52 2.311800
69
+ 53 2.255600
70
+ 54 2.313900
71
+ 55 2.200900
72
+ 56 2.250800
73
+ 57 2.242500
74
+ 58 2.173000
75
+ 59 2.261000
76
+ 60 2.150500
77
+ 61 2.162500
78
+ 62 2.086800
79
+ 63 2.178500
80
+ 64 2.085600
81
+ 65 2.068800
82
+ 66 2.146500
83
+ 67 2.001800
84
+ 68 2.037600
85
+ 69 2.009000
86
+ 70 1.983300
87
+ 71 1.931400
88
+ 72 1.990400
89
+ 73 1.944700
90
+ 74 1.972700
91
+ 75 2.002400
92
+ 76 2.022400
93
+ 77 1.900500
94
+ 78 1.843100
95
+ 79 1.887400
96
+ 80 1.970700
97
+ 81 1.820800
98
+ 82 1.853900
99
+ 83 1.744200
100
+ 84 1.831400
101
+ 85 1.768900
102
+ 86 2.006100
103
+ 87 1.681900
104
+ 88 1.750000
105
+ 89 1.628100
106
+ 90 1.586900
107
+ 91 1.567900
108
+ 92 1.554500
109
+ 93 1.830800
110
+ 94 1.512500
111
+ 95 1.592400
112
+ 96 1.518600
113
+ 97 1.593700
114
+ 98 1.454100
115
+ 99 1.497200
116
+ 100 1.319700
117
+ 101 1.363300
118
+ 102 1.414300
119
+ 103 1.343900
120
+ 104 1.363500
121
+ 105 1.449000
122
+ 106 1.510100
123
+ 107 1.268600
124
+ 108 1.156600
125
+ 109 1.075100
126
+ 110 1.137200
127
+ 111 1.020700
128
+ 112 0.993600
129
+ 113 1.195200
130
+ 114 0.993300
131
+ 115 1.072100
132
+ 116 1.116900
133
+ 117 1.184100
134
+ 118 1.102600
135
+ 119 1.083800
136
+ 120 0.852100
137
+ 121 1.023600
138
+ 122 1.051200
139
+ 123 1.270500
140
+ 124 0.856200
141
+ 125 1.089500
142
+ 126 0.686800
143
+ 127 0.800300
144
+ 128 0.662400
145
+ 129 0.688000
146
+ 130 0.554400
147
+ 131 0.737200
148
+ 132 0.802900
149
+ 133 0.538200
150
+ 134 0.562000
151
+ 135 0.516800
152
+ 136 0.497200
153
+ 137 0.611100
154
+ 138 0.581200
155
+ 139 0.442000
156
+ 140 0.355200
157
+ 141 0.473200
158
+ 142 0.559600
159
+ 143 0.683700
160
+ 144 0.355300
161
+ 145 0.343000
162
+ 146 0.525300
163
+ 147 0.442100
164
+ 148 0.452900
165
+ 149 0.478800
166
+ 150 0.311300
167
+ 151 0.535500
168
+ 152 0.552600
169
+ 153 0.252800
170
+ 154 0.479200
171
+ 155 0.539500
172
+ 156 0.477200
173
+ 157 0.283000
174
+ 158 0.265100
175
+ 159 0.352000
176
+ 160 0.268500
177
+ 161 0.711900
178
+ 162 0.411300
179
+ 163 0.377100
180
+ 164 0.360500
181
+ 165 0.311000
182
+ 166 0.490800
183
+ 167 0.269300
184
+ 168 0.409600
185
+ 169 0.147800
186
+ 170 0.144600
187
+ 171 0.223600
188
+ 172 0.615300
189
+ 173 0.218900
190
+ 174 0.136400
191
+ 175 0.133200
192
+ 176 0.263200
193
+ 177 0.363600
194
+ 178 0.127700
195
+ 179 0.238900
196
+ 180 0.276200
197
+ 181 0.306400
198
+ 182 0.122000
199
+ 183 0.302400
200
+ 184 0.049500
201
+ 185 0.406500
202
+ 186 0.246400
203
+ 187 0.429900
204
+ 188 0.216900
205
+ 189 0.320700
206
+ 190 0.472800
207
+ 191 0.159900
208
+ 192 0.287500
209
+ 193 0.334400
210
+ 194 0.136100
211
+ 195 0.233400
212
+ 196 0.164100
213
+ 197 0.196100
214
+ 198 0.153300
215
+ 199 0.251000
216
+ 200 0.087500
217
+ 201 0.083000
218
+ 202 0.104900
219
+ 203 0.157700
220
+ 204 0.080300
221
+ 205 0.280500
222
+ 206 0.372100
223
+ 207 0.150400
224
+ 208 0.112900
225
+ 209 0.265400
226
+ 210 0.075800
227
+ 211 0.082700
228
+ 212 0.343000
229
+ 213 0.081900
230
+ 214 0.360400
231
+ 215 0.261200
232
+ 216 0.072000
233
+ 217 0.249400
234
+ 218 0.211600
235
+ 219 0.304500
236
+ 220 0.289300
237
+ 221 0.209400
238
+ 222 0.067800
239
+ 223 0.144500
240
+ 224 0.078600
241
+ 225 0.143500
242
+ 226 0.377800
243
+ 227 0.222300
244
+ 228 0.279800
245
+ 229 0.063400
246
+ 230 0.120400
247
+ 231 0.214000
248
+ 232 0.121600
249
+ 233 0.360400
250
+ 234 0.168600
251
+ 235 0.206300
252
+ 236 0.075800
253
+ 237 0.033800
254
+ 238 0.059700
255
+ 239 0.227500
256
+ 240 0.212800
257
+ 241 0.186600
258
+ 242 0.223400
259
+ 243 0.033600
260
+ 244 0.204600
261
+ 245 0.033600
262
+ 246 0.600600
263
+ 247 0.105800
264
+ 248 0.198400
265
+ 249 0.255100
266
+ 250 0.226500
267
+ 251 0.104700
268
+ 252 0.128700
269
+ 253 0.088300
270
+ 254 0.158600
271
+ 255 0.033200
272
+ 256 0.261900
273
+ 257 0.320500
274
+ 258 0.140100
275
+ 259 0.266200
276
+ 260 0.087300
277
+ 261 0.085400
278
+ 262 0.240300
279
+ 263 0.308800
280
+ 264 0.033000
281
+ 265 0.120300
282
+ 266 0.156400
283
+ 267 0.083200
284
+ 268 0.199200
285
+ 269 0.052000
286
+ 270 0.116600
287
+ 271 0.144000
288
+ 272 0.237700
289
+ 273 0.214700
290
+ 274 0.180600
291
+ 275 0.334200
292
+ 276 0.032800
293
+ 277 0.101700
294
+ 278 0.078800
295
+ 279 0.163300
296
+ 280 0.032700
297
+ 281 0.098000
298
+ 282 0.126500
299
+ 283 0.032600
300
+ 284 0.110000
301
+ 285 0.063500
302
+ 286 0.382900
303
+ 287 0.193200
304
+ 288 0.264400
305
+ 289 0.119000
306
+ 290 0.189500
307
+ 291 0.274900
308
+ 292 0.102100
309
+ 293 0.101000
310
+ 294 0.197300
311
+ 295 0.083300
312
+ 296 0.153000
313
+ 297 0.057500
314
+ 298 0.335000
315
+ 299 0.150400
316
+ 300 0.044300
317
+ 301 0.317200
318
+ 302 0.073700
319
+ 303 0.217200
320
+ 304 0.043100
321
+ 305 0.061800
322
+ 306 0.100500
323
+ 307 0.088800
324
+ 308 0.153700
325
+ 309 0.157200
326
+ 310 0.086700
327
+ 311 0.114000
328
+ 312 0.077200
329
+ 313 0.092000
330
+ 314 0.167700
331
+ 315 0.237000
332
+ 316 0.215800
333
+ 317 0.058100
334
+ 318 0.077200
335
+ 319 0.162900
336
+ 320 0.122400
337
+ 321 0.171100
338
+ 322 0.142000
339
+ 323 0.032100
340
+ 324 0.098500
341
+ 325 0.059400
342
+ 326 0.038500
343
+ 327 0.089000
344
+ 328 0.123200
345
+ 329 0.190200
346
+ 330 0.051700
347
+ 331 0.087400
348
+ 332 0.198400
349
+ 333 0.073500
350
+ 334 0.073100
351
+ 335 0.176600
352
+ 336 0.186100
353
+ 337 0.183000
354
+ 338 0.106100
355
+ 339 0.064700
356
+ 340 0.136500
357
+ 341 0.085600
358
+ 342 0.115400
359
+ 343 0.106000
360
+ 344 0.065800
361
+ 345 0.143100
362
+ 346 0.137300
363
+ 347 0.251000
364
+ 348 0.067200
365
+ 349 0.181600
366
+ 350 0.084600
367
+ 351 0.108800
368
+ 352 0.114600
369
+ 353 0.043200
370
+ 354 0.241500
371
+ 355 0.031800
372
+ 356 0.150500
373
+ 357 0.063700
374
+ 358 0.036100
375
+ 359 0.158100
376
+ 360 0.045700
377
+ 361 0.120200
378
+ 362 0.035800
379
+ 363 0.050200
380
+ 364 0.031700
381
+ 365 0.044000
382
+ 366 0.035400
383
+ 367 0.035300
384
+ 368 0.162500
385
+ 369 0.044400
386
+ 370 0.132700
387
+ 371 0.054300
388
+ 372 0.049100
389
+ 373 0.031500
390
+ 374 0.038000
391
+ 375 0.084900
392
+ 376 0.059000
393
+ 377 0.034500
394
+ 378 0.049200
395
+ 379 0.058100
396
+ 380 0.122700
397
+ 381 0.096400
398
+ 382 0.034300
399
+ 383 0.071700
400
+ 384 0.059300
401
+ 385 0.048500
402
+ 386 0.051000
403
+ 387 0.063000
404
+ 388 0.131400
405
+ 389 0.031100
406
+ 390 0.076700
407
+ 391 0.072200
408
+ 392 0.146300
409
+ 393 0.031000
410
+ 394 0.031000
411
+ 395 0.099200
412
+ 396 0.049000
413
+ 397 0.104100
414
+ 398 0.087400
415
+ 399 0.097100
416
+ 400 0.069800
417
+ 401 0.034900
418
+ 402 0.035300
419
+ 403 0.057400
420
+ 404 0.058000
421
+ 405 0.041100
422
+ 406 0.083400
423
+ 407 0.090000
424
+ 408 0.098600
425
+ 409 0.106100
426
+ 410 0.052600
427
+ 411 0.057800
428
+ 412 0.085500
429
+ 413 0.061600
430
+ 414 0.034000
431
+ 415 0.079700
432
+ 416 0.036800
433
+ 417 0.034600
434
+ 418 0.073800
435
+ 419 0.047900
436
+ 420 0.041100
437
+ 421 0.046300
438
+ 422 0.030600
439
+ 423 0.064200
440
+ 424 0.045900
441
+ 425 0.045600
442
+ 426 0.032900
443
+ 427 0.048800
444
+ 428 0.041700
445
+ 429 0.048200
446
+ 430 0.035800
447
+ 431 0.058200
448
+ 432 0.044100
449
+ 433 0.033400
450
+ 434 0.046100
451
+ 435 0.042800
452
+ 436 0.034900
453
+ 437 0.045800
454
+ 438 0.055800
455
+ 439 0.030300
456
+ 440 0.059600
457
+ 441 0.030200
458
+ 442 0.052700
459
+ 443 0.030200
460
+ 444 0.035600
461
+ ```