mrshlltaylor's picture
End of training
10fa328 verified
|
raw
history blame
No virus
26.8 kB
metadata
license: mit
base_model: gpt2
tags:
  - generated_from_trainer
model-index:
  - name: k3-Entity-Relationship-GPT2
    results: []

k3-Entity-Relationship-GPT2

This model is a fine-tuned version of gpt2 on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.0007

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0003
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • gradient_accumulation_steps: 10
  • total_train_batch_size: 80
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: cosine
  • num_epochs: 500
  • mixed_precision_training: Native AMP

Training results

Training Loss Epoch Step Validation Loss
No log 1.0 1 0.0011
No log 2.0 2 0.0011
No log 3.0 3 0.0011
No log 4.0 4 0.0011
No log 5.0 5 0.0011
No log 6.0 6 0.0011
No log 7.0 7 0.0011
No log 8.0 8 0.0011
No log 9.0 9 0.0011
0.0001 10.0 10 0.0011
0.0001 11.0 11 0.0011
0.0001 12.0 12 0.0011
0.0001 13.0 13 0.0011
0.0001 14.0 14 0.0011
0.0001 15.0 15 0.0011
0.0001 16.0 16 0.0010
0.0001 17.0 17 0.0010
0.0001 18.0 18 0.0010
0.0001 19.0 19 0.0010
0.0001 20.0 20 0.0010
0.0001 21.0 21 0.0010
0.0001 22.0 22 0.0010
0.0001 23.0 23 0.0010
0.0001 24.0 24 0.0010
0.0001 25.0 25 0.0010
0.0001 26.0 26 0.0010
0.0001 27.0 27 0.0010
0.0001 28.0 28 0.0010
0.0001 29.0 29 0.0010
0.0001 30.0 30 0.0010
0.0001 31.0 31 0.0010
0.0001 32.0 32 0.0010
0.0001 33.0 33 0.0010
0.0001 34.0 34 0.0010
0.0001 35.0 35 0.0010
0.0001 36.0 36 0.0010
0.0001 37.0 37 0.0010
0.0001 38.0 38 0.0010
0.0001 39.0 39 0.0010
0.0001 40.0 40 0.0010
0.0001 41.0 41 0.0010
0.0001 42.0 42 0.0010
0.0001 43.0 43 0.0010
0.0001 44.0 44 0.0010
0.0001 45.0 45 0.0010
0.0001 46.0 46 0.0010
0.0001 47.0 47 0.0010
0.0001 48.0 48 0.0010
0.0001 49.0 49 0.0010
0.0001 50.0 50 0.0010
0.0001 51.0 51 0.0010
0.0001 52.0 52 0.0010
0.0001 53.0 53 0.0010
0.0001 54.0 54 0.0010
0.0001 55.0 55 0.0010
0.0001 56.0 56 0.0010
0.0001 57.0 57 0.0010
0.0001 58.0 58 0.0010
0.0001 59.0 59 0.0010
0.0001 60.0 60 0.0010
0.0001 61.0 61 0.0010
0.0001 62.0 62 0.0010
0.0001 63.0 63 0.0010
0.0001 64.0 64 0.0010
0.0001 65.0 65 0.0010
0.0001 66.0 66 0.0010
0.0001 67.0 67 0.0010
0.0001 68.0 68 0.0010
0.0001 69.0 69 0.0010
0.0001 70.0 70 0.0009
0.0001 71.0 71 0.0009
0.0001 72.0 72 0.0009
0.0001 73.0 73 0.0009
0.0001 74.0 74 0.0009
0.0001 75.0 75 0.0009
0.0001 76.0 76 0.0009
0.0001 77.0 77 0.0009
0.0001 78.0 78 0.0009
0.0001 79.0 79 0.0009
0.0001 80.0 80 0.0009
0.0001 81.0 81 0.0009
0.0001 82.0 82 0.0009
0.0001 83.0 83 0.0009
0.0001 84.0 84 0.0009
0.0001 85.0 85 0.0009
0.0001 86.0 86 0.0009
0.0001 87.0 87 0.0009
0.0001 88.0 88 0.0009
0.0001 89.0 89 0.0009
0.0001 90.0 90 0.0009
0.0001 91.0 91 0.0009
0.0001 92.0 92 0.0009
0.0001 93.0 93 0.0009
0.0001 94.0 94 0.0009
0.0001 95.0 95 0.0009
0.0001 96.0 96 0.0009
0.0001 97.0 97 0.0009
0.0001 98.0 98 0.0009
0.0001 99.0 99 0.0009
0.0001 100.0 100 0.0009
0.0001 101.0 101 0.0009
0.0001 102.0 102 0.0009
0.0001 103.0 103 0.0009
0.0001 104.0 104 0.0009
0.0001 105.0 105 0.0009
0.0001 106.0 106 0.0009
0.0001 107.0 107 0.0009
0.0001 108.0 108 0.0009
0.0001 109.0 109 0.0009
0.0001 110.0 110 0.0009
0.0001 111.0 111 0.0009
0.0001 112.0 112 0.0009
0.0001 113.0 113 0.0009
0.0001 114.0 114 0.0009
0.0001 115.0 115 0.0009
0.0001 116.0 116 0.0009
0.0001 117.0 117 0.0009
0.0001 118.0 118 0.0009
0.0001 119.0 119 0.0009
0.0001 120.0 120 0.0009
0.0001 121.0 121 0.0009
0.0001 122.0 122 0.0009
0.0001 123.0 123 0.0009
0.0001 124.0 124 0.0009
0.0001 125.0 125 0.0009
0.0001 126.0 126 0.0009
0.0001 127.0 127 0.0009
0.0001 128.0 128 0.0009
0.0001 129.0 129 0.0009
0.0001 130.0 130 0.0009
0.0001 131.0 131 0.0009
0.0001 132.0 132 0.0009
0.0001 133.0 133 0.0009
0.0001 134.0 134 0.0009
0.0001 135.0 135 0.0009
0.0001 136.0 136 0.0009
0.0001 137.0 137 0.0009
0.0001 138.0 138 0.0009
0.0001 139.0 139 0.0009
0.0001 140.0 140 0.0009
0.0001 141.0 141 0.0009
0.0001 142.0 142 0.0009
0.0001 143.0 143 0.0009
0.0001 144.0 144 0.0009
0.0001 145.0 145 0.0009
0.0001 146.0 146 0.0009
0.0001 147.0 147 0.0009
0.0001 148.0 148 0.0009
0.0001 149.0 149 0.0009
0.0001 150.0 150 0.0008
0.0001 151.0 151 0.0008
0.0001 152.0 152 0.0008
0.0001 153.0 153 0.0008
0.0001 154.0 154 0.0008
0.0001 155.0 155 0.0008
0.0001 156.0 156 0.0008
0.0001 157.0 157 0.0008
0.0001 158.0 158 0.0008
0.0001 159.0 159 0.0008
0.0001 160.0 160 0.0008
0.0001 161.0 161 0.0008
0.0001 162.0 162 0.0008
0.0001 163.0 163 0.0008
0.0001 164.0 164 0.0008
0.0001 165.0 165 0.0008
0.0001 166.0 166 0.0008
0.0001 167.0 167 0.0008
0.0001 168.0 168 0.0008
0.0001 169.0 169 0.0008
0.0001 170.0 170 0.0008
0.0001 171.0 171 0.0008
0.0001 172.0 172 0.0008
0.0001 173.0 173 0.0008
0.0001 174.0 174 0.0008
0.0001 175.0 175 0.0008
0.0001 176.0 176 0.0008
0.0001 177.0 177 0.0008
0.0001 178.0 178 0.0008
0.0001 179.0 179 0.0008
0.0001 180.0 180 0.0008
0.0001 181.0 181 0.0008
0.0001 182.0 182 0.0008
0.0001 183.0 183 0.0008
0.0001 184.0 184 0.0008
0.0001 185.0 185 0.0008
0.0001 186.0 186 0.0008
0.0001 187.0 187 0.0008
0.0001 188.0 188 0.0008
0.0001 189.0 189 0.0008
0.0001 190.0 190 0.0008
0.0001 191.0 191 0.0008
0.0001 192.0 192 0.0008
0.0001 193.0 193 0.0008
0.0001 194.0 194 0.0008
0.0001 195.0 195 0.0008
0.0001 196.0 196 0.0008
0.0001 197.0 197 0.0008
0.0001 198.0 198 0.0008
0.0001 199.0 199 0.0008
0.0001 200.0 200 0.0008
0.0001 201.0 201 0.0008
0.0001 202.0 202 0.0008
0.0001 203.0 203 0.0008
0.0001 204.0 204 0.0008
0.0001 205.0 205 0.0008
0.0001 206.0 206 0.0008
0.0001 207.0 207 0.0008
0.0001 208.0 208 0.0008
0.0001 209.0 209 0.0008
0.0001 210.0 210 0.0008
0.0001 211.0 211 0.0008
0.0001 212.0 212 0.0008
0.0001 213.0 213 0.0008
0.0001 214.0 214 0.0008
0.0001 215.0 215 0.0008
0.0001 216.0 216 0.0008
0.0001 217.0 217 0.0008
0.0001 218.0 218 0.0008
0.0001 219.0 219 0.0008
0.0001 220.0 220 0.0008
0.0001 221.0 221 0.0008
0.0001 222.0 222 0.0008
0.0001 223.0 223 0.0008
0.0001 224.0 224 0.0008
0.0001 225.0 225 0.0008
0.0001 226.0 226 0.0008
0.0001 227.0 227 0.0008
0.0001 228.0 228 0.0008
0.0001 229.0 229 0.0008
0.0001 230.0 230 0.0008
0.0001 231.0 231 0.0008
0.0001 232.0 232 0.0008
0.0001 233.0 233 0.0008
0.0001 234.0 234 0.0008
0.0001 235.0 235 0.0008
0.0001 236.0 236 0.0008
0.0001 237.0 237 0.0008
0.0001 238.0 238 0.0008
0.0001 239.0 239 0.0008
0.0001 240.0 240 0.0008
0.0001 241.0 241 0.0008
0.0001 242.0 242 0.0008
0.0001 243.0 243 0.0008
0.0001 244.0 244 0.0008
0.0001 245.0 245 0.0008
0.0001 246.0 246 0.0008
0.0001 247.0 247 0.0008
0.0001 248.0 248 0.0008
0.0001 249.0 249 0.0008
0.0001 250.0 250 0.0008
0.0001 251.0 251 0.0008
0.0001 252.0 252 0.0008
0.0001 253.0 253 0.0008
0.0001 254.0 254 0.0008
0.0001 255.0 255 0.0008
0.0001 256.0 256 0.0008
0.0001 257.0 257 0.0008
0.0001 258.0 258 0.0008
0.0001 259.0 259 0.0008
0.0001 260.0 260 0.0008
0.0001 261.0 261 0.0008
0.0001 262.0 262 0.0008
0.0001 263.0 263 0.0008
0.0001 264.0 264 0.0008
0.0001 265.0 265 0.0008
0.0001 266.0 266 0.0008
0.0001 267.0 267 0.0008
0.0001 268.0 268 0.0008
0.0001 269.0 269 0.0008
0.0001 270.0 270 0.0008
0.0001 271.0 271 0.0008
0.0001 272.0 272 0.0008
0.0001 273.0 273 0.0008
0.0001 274.0 274 0.0008
0.0001 275.0 275 0.0008
0.0001 276.0 276 0.0008
0.0001 277.0 277 0.0008
0.0001 278.0 278 0.0008
0.0001 279.0 279 0.0008
0.0001 280.0 280 0.0008
0.0001 281.0 281 0.0008
0.0001 282.0 282 0.0008
0.0001 283.0 283 0.0008
0.0001 284.0 284 0.0008
0.0001 285.0 285 0.0008
0.0001 286.0 286 0.0008
0.0001 287.0 287 0.0008
0.0001 288.0 288 0.0008
0.0001 289.0 289 0.0008
0.0001 290.0 290 0.0008
0.0001 291.0 291 0.0008
0.0001 292.0 292 0.0008
0.0001 293.0 293 0.0007
0.0001 294.0 294 0.0007
0.0001 295.0 295 0.0007
0.0001 296.0 296 0.0007
0.0001 297.0 297 0.0007
0.0001 298.0 298 0.0007
0.0001 299.0 299 0.0007
0.0001 300.0 300 0.0007
0.0001 301.0 301 0.0007
0.0001 302.0 302 0.0007
0.0001 303.0 303 0.0007
0.0001 304.0 304 0.0007
0.0001 305.0 305 0.0007
0.0001 306.0 306 0.0007
0.0001 307.0 307 0.0007
0.0001 308.0 308 0.0007
0.0001 309.0 309 0.0007
0.0001 310.0 310 0.0007
0.0001 311.0 311 0.0007
0.0001 312.0 312 0.0007
0.0001 313.0 313 0.0007
0.0001 314.0 314 0.0007
0.0001 315.0 315 0.0007
0.0001 316.0 316 0.0007
0.0001 317.0 317 0.0007
0.0001 318.0 318 0.0007
0.0001 319.0 319 0.0007
0.0001 320.0 320 0.0007
0.0001 321.0 321 0.0007
0.0001 322.0 322 0.0007
0.0001 323.0 323 0.0007
0.0001 324.0 324 0.0007
0.0001 325.0 325 0.0007
0.0001 326.0 326 0.0007
0.0001 327.0 327 0.0007
0.0001 328.0 328 0.0007
0.0001 329.0 329 0.0007
0.0001 330.0 330 0.0007
0.0001 331.0 331 0.0007
0.0001 332.0 332 0.0007
0.0001 333.0 333 0.0007
0.0001 334.0 334 0.0007
0.0001 335.0 335 0.0007
0.0001 336.0 336 0.0007
0.0001 337.0 337 0.0007
0.0001 338.0 338 0.0007
0.0001 339.0 339 0.0007
0.0001 340.0 340 0.0007
0.0001 341.0 341 0.0007
0.0001 342.0 342 0.0007
0.0001 343.0 343 0.0007
0.0001 344.0 344 0.0007
0.0001 345.0 345 0.0007
0.0001 346.0 346 0.0007
0.0001 347.0 347 0.0007
0.0001 348.0 348 0.0007
0.0001 349.0 349 0.0007
0.0001 350.0 350 0.0007
0.0001 351.0 351 0.0007
0.0001 352.0 352 0.0007
0.0001 353.0 353 0.0007
0.0001 354.0 354 0.0007
0.0001 355.0 355 0.0007
0.0001 356.0 356 0.0007
0.0001 357.0 357 0.0007
0.0001 358.0 358 0.0007
0.0001 359.0 359 0.0007
0.0001 360.0 360 0.0007
0.0001 361.0 361 0.0007
0.0001 362.0 362 0.0007
0.0001 363.0 363 0.0007
0.0001 364.0 364 0.0007
0.0001 365.0 365 0.0007
0.0001 366.0 366 0.0007
0.0001 367.0 367 0.0007
0.0001 368.0 368 0.0007
0.0001 369.0 369 0.0007
0.0001 370.0 370 0.0007
0.0001 371.0 371 0.0007
0.0001 372.0 372 0.0007
0.0001 373.0 373 0.0007
0.0001 374.0 374 0.0007
0.0001 375.0 375 0.0007
0.0001 376.0 376 0.0007
0.0001 377.0 377 0.0007
0.0001 378.0 378 0.0007
0.0001 379.0 379 0.0007
0.0001 380.0 380 0.0007
0.0001 381.0 381 0.0007
0.0001 382.0 382 0.0007
0.0001 383.0 383 0.0007
0.0001 384.0 384 0.0007
0.0001 385.0 385 0.0007
0.0001 386.0 386 0.0007
0.0001 387.0 387 0.0007
0.0001 388.0 388 0.0007
0.0001 389.0 389 0.0007
0.0001 390.0 390 0.0007
0.0001 391.0 391 0.0007
0.0001 392.0 392 0.0007
0.0001 393.0 393 0.0007
0.0001 394.0 394 0.0007
0.0001 395.0 395 0.0007
0.0001 396.0 396 0.0007
0.0001 397.0 397 0.0007
0.0001 398.0 398 0.0007
0.0001 399.0 399 0.0007
0.0001 400.0 400 0.0007
0.0001 401.0 401 0.0007
0.0001 402.0 402 0.0007
0.0001 403.0 403 0.0007
0.0001 404.0 404 0.0007
0.0001 405.0 405 0.0007
0.0001 406.0 406 0.0007
0.0001 407.0 407 0.0007
0.0001 408.0 408 0.0007
0.0001 409.0 409 0.0007
0.0001 410.0 410 0.0007
0.0001 411.0 411 0.0007
0.0001 412.0 412 0.0007
0.0001 413.0 413 0.0007
0.0001 414.0 414 0.0007
0.0001 415.0 415 0.0007
0.0001 416.0 416 0.0007
0.0001 417.0 417 0.0007
0.0001 418.0 418 0.0007
0.0001 419.0 419 0.0007
0.0001 420.0 420 0.0007
0.0001 421.0 421 0.0007
0.0001 422.0 422 0.0007
0.0001 423.0 423 0.0007
0.0001 424.0 424 0.0007
0.0001 425.0 425 0.0007
0.0001 426.0 426 0.0007
0.0001 427.0 427 0.0007
0.0001 428.0 428 0.0007
0.0001 429.0 429 0.0007
0.0001 430.0 430 0.0007
0.0001 431.0 431 0.0007
0.0001 432.0 432 0.0007
0.0001 433.0 433 0.0007
0.0001 434.0 434 0.0007
0.0001 435.0 435 0.0007
0.0001 436.0 436 0.0007
0.0001 437.0 437 0.0007
0.0001 438.0 438 0.0007
0.0001 439.0 439 0.0007
0.0001 440.0 440 0.0007
0.0001 441.0 441 0.0007
0.0001 442.0 442 0.0007
0.0001 443.0 443 0.0007
0.0001 444.0 444 0.0007
0.0001 445.0 445 0.0007
0.0001 446.0 446 0.0007
0.0001 447.0 447 0.0007
0.0001 448.0 448 0.0007
0.0001 449.0 449 0.0007
0.0001 450.0 450 0.0007
0.0001 451.0 451 0.0007
0.0001 452.0 452 0.0007
0.0001 453.0 453 0.0007
0.0001 454.0 454 0.0007
0.0001 455.0 455 0.0007
0.0001 456.0 456 0.0007
0.0001 457.0 457 0.0007
0.0001 458.0 458 0.0007
0.0001 459.0 459 0.0007
0.0001 460.0 460 0.0007
0.0001 461.0 461 0.0007
0.0001 462.0 462 0.0007
0.0001 463.0 463 0.0007
0.0001 464.0 464 0.0007
0.0001 465.0 465 0.0007
0.0001 466.0 466 0.0007
0.0001 467.0 467 0.0007
0.0001 468.0 468 0.0007
0.0001 469.0 469 0.0007
0.0001 470.0 470 0.0007
0.0001 471.0 471 0.0007
0.0001 472.0 472 0.0007
0.0001 473.0 473 0.0007
0.0001 474.0 474 0.0007
0.0001 475.0 475 0.0007
0.0001 476.0 476 0.0007
0.0001 477.0 477 0.0007
0.0001 478.0 478 0.0007
0.0001 479.0 479 0.0007
0.0001 480.0 480 0.0007
0.0001 481.0 481 0.0007
0.0001 482.0 482 0.0007
0.0001 483.0 483 0.0007
0.0001 484.0 484 0.0007
0.0001 485.0 485 0.0007
0.0001 486.0 486 0.0007
0.0001 487.0 487 0.0007
0.0001 488.0 488 0.0007
0.0001 489.0 489 0.0007
0.0001 490.0 490 0.0007
0.0001 491.0 491 0.0007
0.0001 492.0 492 0.0007
0.0001 493.0 493 0.0007
0.0001 494.0 494 0.0007
0.0001 495.0 495 0.0007
0.0001 496.0 496 0.0007
0.0001 497.0 497 0.0007
0.0001 498.0 498 0.0007
0.0001 499.0 499 0.0007
0.0001 500.0 500 0.0007

Framework versions

  • Transformers 4.41.2
  • Pytorch 2.3.0+cu121
  • Datasets 2.20.0
  • Tokenizers 0.19.1