--- license: other base_model: nvidia/mit-b0 tags: - vision - image-segmentation - generated_from_trainer model-index: - name: segformer-b0-finetuned-v0 results: [] --- # segformer-b0-finetuned-v0 This model is a fine-tuned version of [nvidia/mit-b0](https://huggingface.co/nvidia/mit-b0) on the tontokoton/artery-ultrasound-siit dataset. It achieves the following results on the evaluation set: - Loss: 0.1250 - Mean Iou: 0.5989 - Mean Accuracy: 0.7803 - Overall Accuracy: 0.9315 - Accuracy Artery: nan - Accuracy Vein: 0.8041 - Accuracy Nerve: 0.7428 - Accuracy Muscle1: 0.6254 - Accuracy Muscle2: 0.9488 - Accuracy Muscle3: nan - Accuracy Muscle4: nan - Accuracy Unknown: nan - Iou Artery: 0.0 - Iou Vein: 0.7805 - Iou Nerve: 0.7054 - Iou Muscle1: 0.5651 - Iou Muscle2: 0.9432 - Iou Muscle3: nan - Iou Muscle4: nan - Iou Unknown: nan ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 6e-05 - train_batch_size: 2 - eval_batch_size: 2 - seed: 42 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - num_epochs: 50 ### Training results | Training Loss | Epoch | Step | Validation Loss | Mean Iou | Mean Accuracy | Overall Accuracy | Accuracy Artery | Accuracy Vein | Accuracy Nerve | Accuracy Muscle1 | Accuracy Muscle2 | Accuracy Muscle3 | Accuracy Muscle4 | Accuracy Unknown | Iou Artery | Iou Vein | Iou Nerve | Iou Muscle1 | Iou Muscle2 | Iou Muscle3 | Iou Muscle4 | Iou Unknown | |:-------------:|:-----:|:----:|:---------------:|:--------:|:-------------:|:----------------:|:---------------:|:-------------:|:--------------:|:----------------:|:----------------:|:----------------:|:----------------:|:----------------:|:----------:|:--------:|:---------:|:-----------:|:-----------:|:-----------:|:-----------:|:-----------:| | 1.5981 | 0.25 | 10 | 1.9054 | 0.1100 | 0.2407 | 0.8771 | nan | 0.0 | 0.0010 | 0.0 | 0.9616 | nan | nan | nan | 0.0 | 0.0 | 0.0007 | 0.0 | 0.8789 | 0.0 | 0.0 | 0.0 | | 1.3165 | 0.5 | 20 | 1.5810 | 0.1254 | 0.2400 | 0.8755 | nan | 0.0 | 0.0 | 0.0 | 0.9599 | nan | nan | nan | 0.0 | 0.0 | 0.0 | 0.0 | 0.8775 | 0.0 | nan | 0.0 | | 1.3184 | 0.75 | 30 | 1.3830 | 0.1284 | 0.2460 | 0.8974 | nan | 0.0 | 0.0 | 0.0 | 0.9839 | nan | nan | nan | 0.0 | 0.0 | 0.0 | 0.0 | 0.8987 | 0.0 | nan | 0.0 | | 1.2067 | 1.0 | 40 | 1.1315 | 0.1309 | 0.2493 | 0.8770 | nan | 0.0368 | 0.0006 | 0.0 | 0.9598 | nan | nan | nan | 0.0 | 0.0363 | 0.0006 | 0.0 | 0.8797 | 0.0 | nan | 0.0 | | 1.0176 | 1.25 | 50 | 1.0023 | 0.1613 | 0.2607 | 0.8512 | nan | 0.1131 | 0.0017 | 0.0 | 0.9280 | nan | nan | nan | 0.0 | 0.1081 | 0.0017 | 0.0 | 0.8583 | nan | nan | 0.0 | | 0.8938 | 1.5 | 60 | 0.9674 | 0.2064 | 0.2783 | 0.8904 | nan | 0.1438 | 0.0 | 0.0 | 0.9696 | nan | nan | nan | 0.0 | 0.1383 | 0.0 | 0.0 | 0.8937 | nan | nan | nan | | 0.8061 | 1.75 | 70 | 0.9469 | 0.2357 | 0.3240 | 0.8960 | nan | 0.3288 | 0.0 | 0.0 | 0.9672 | nan | nan | nan | 0.0 | 0.2740 | 0.0 | 0.0 | 0.9046 | nan | nan | nan | | 0.936 | 2.0 | 80 | 0.9020 | 0.2702 | 0.3954 | 0.9096 | nan | 0.6123 | 0.0 | 0.0 | 0.9691 | nan | nan | nan | 0.0 | 0.4288 | 0.0 | 0.0 | 0.9223 | nan | nan | nan | | 0.8633 | 2.25 | 90 | 0.7953 | 0.2578 | 0.3520 | 0.8981 | nan | 0.4406 | 0.0031 | 0.0 | 0.9642 | nan | nan | nan | 0.0 | 0.3816 | 0.0031 | 0.0 | 0.9044 | nan | nan | nan | | 0.6906 | 2.5 | 100 | 0.8386 | 0.2606 | 0.3572 | 0.9189 | nan | 0.4401 | 0.0014 | 0.0 | 0.9871 | nan | nan | nan | 0.0 | 0.3769 | 0.0014 | 0.0 | 0.9248 | nan | nan | nan | | 0.7863 | 2.75 | 110 | 0.7661 | 0.2831 | 0.4056 | 0.9112 | nan | 0.6438 | 0.0096 | 0.0 | 0.9691 | nan | nan | nan | 0.0 | 0.4827 | 0.0096 | 0.0 | 0.9231 | nan | nan | nan | | 0.6937 | 3.0 | 120 | 0.6903 | 0.2875 | 0.4062 | 0.9096 | nan | 0.6577 | 0.0 | 0.0 | 0.9670 | nan | nan | nan | 0.0 | 0.5187 | 0.0 | 0.0 | 0.9190 | nan | nan | nan | | 0.6985 | 3.25 | 130 | 0.6297 | 0.2878 | 0.4463 | 0.8957 | nan | 0.8255 | 0.0160 | 0.0 | 0.9435 | nan | nan | nan | 0.0 | 0.5071 | 0.0160 | 0.0 | 0.9158 | nan | nan | nan | | 0.5591 | 3.5 | 140 | 0.6197 | 0.3199 | 0.4766 | 0.9248 | nan | 0.8379 | 0.0965 | 0.0 | 0.9721 | nan | nan | nan | 0.0 | 0.5623 | 0.0951 | 0.0 | 0.9420 | nan | nan | nan | | 0.5853 | 3.75 | 150 | 0.6285 | 0.3065 | 0.4339 | 0.9282 | nan | 0.7321 | 0.0200 | 0.0 | 0.9833 | nan | nan | nan | 0.0 | 0.5746 | 0.0200 | 0.0 | 0.9380 | nan | nan | nan | | 0.5948 | 4.0 | 160 | 0.5402 | 0.3175 | 0.4721 | 0.9164 | nan | 0.8473 | 0.0782 | 0.0 | 0.9631 | nan | nan | nan | 0.0 | 0.5788 | 0.0770 | 0.0 | 0.9317 | nan | nan | nan | | 0.475 | 4.25 | 170 | 0.5844 | 0.3309 | 0.4869 | 0.9353 | nan | 0.8472 | 0.1178 | 0.0 | 0.9825 | nan | nan | nan | 0.0 | 0.5887 | 0.1143 | 0.0 | 0.9517 | nan | nan | nan | | 0.5397 | 4.5 | 180 | 0.5073 | 0.3293 | 0.4707 | 0.9099 | nan | 0.8099 | 0.1165 | 0.0 | 0.9564 | nan | nan | nan | 0.0 | 0.6117 | 0.1138 | 0.0 | 0.9209 | nan | nan | nan | | 0.4519 | 4.75 | 190 | 0.4611 | 0.3390 | 0.5135 | 0.8874 | nan | 0.9137 | 0.2166 | 0.0001 | 0.9236 | nan | nan | nan | 0.0 | 0.5848 | 0.2061 | 0.0001 | 0.9041 | nan | nan | nan | | 0.4307 | 5.0 | 200 | 0.4340 | 0.3485 | 0.4834 | 0.9122 | nan | 0.7946 | 0.1816 | 0.0 | 0.9574 | nan | nan | nan | 0.0 | 0.6460 | 0.1729 | 0.0 | 0.9235 | nan | nan | nan | | 0.4245 | 5.25 | 210 | 0.4282 | 0.3766 | 0.5516 | 0.9264 | nan | 0.9083 | 0.3351 | 0.0004 | 0.9626 | nan | nan | nan | 0.0 | 0.6405 | 0.2981 | 0.0004 | 0.9440 | nan | nan | nan | | 0.3845 | 5.5 | 220 | 0.3944 | 0.3649 | 0.4975 | 0.9234 | nan | 0.7745 | 0.2466 | 0.0006 | 0.9685 | nan | nan | nan | 0.0 | 0.6545 | 0.2296 | 0.0006 | 0.9400 | nan | nan | nan | | 0.5122 | 5.75 | 230 | 0.3684 | 0.3942 | 0.5587 | 0.8972 | nan | 0.8431 | 0.4204 | 0.0413 | 0.9300 | nan | nan | nan | 0.0 | 0.6684 | 0.3514 | 0.0413 | 0.9099 | nan | nan | nan | | 0.4236 | 6.0 | 240 | 0.3650 | 0.3936 | 0.5529 | 0.9369 | nan | 0.8553 | 0.3606 | 0.0202 | 0.9754 | nan | nan | nan | 0.0 | 0.6715 | 0.3239 | 0.0202 | 0.9526 | nan | nan | nan | | 0.3275 | 6.25 | 250 | 0.3393 | 0.3903 | 0.5420 | 0.9139 | nan | 0.7951 | 0.4081 | 0.0133 | 0.9514 | nan | nan | nan | 0.0 | 0.6684 | 0.3406 | 0.0133 | 0.9292 | nan | nan | nan | | 0.3005 | 6.5 | 260 | 0.3286 | 0.3970 | 0.5450 | 0.9188 | nan | 0.7425 | 0.4352 | 0.0447 | 0.9578 | nan | nan | nan | 0.0 | 0.6427 | 0.3591 | 0.0444 | 0.9387 | nan | nan | nan | | 0.2943 | 6.75 | 270 | 0.3019 | 0.4104 | 0.5770 | 0.9175 | nan | 0.8720 | 0.4117 | 0.0734 | 0.9507 | nan | nan | nan | 0.0 | 0.6773 | 0.3649 | 0.0733 | 0.9366 | nan | nan | nan | | 0.2736 | 7.0 | 280 | 0.3538 | 0.4001 | 0.5627 | 0.9369 | nan | 0.8595 | 0.3494 | 0.0671 | 0.9748 | nan | nan | nan | 0.0 | 0.6601 | 0.3197 | 0.0671 | 0.9537 | nan | nan | nan | | 0.2989 | 7.25 | 290 | 0.3069 | 0.4238 | 0.5728 | 0.9236 | nan | 0.7635 | 0.4661 | 0.1014 | 0.9601 | nan | nan | nan | 0.0 | 0.6849 | 0.3929 | 0.1006 | 0.9406 | nan | nan | nan | | 0.2383 | 7.5 | 300 | 0.2756 | 0.4346 | 0.6040 | 0.8856 | nan | 0.8046 | 0.6093 | 0.0903 | 0.9119 | nan | nan | nan | 0.0 | 0.6795 | 0.4990 | 0.0895 | 0.9051 | nan | nan | nan | | 0.2803 | 7.75 | 310 | 0.3289 | 0.4315 | 0.5812 | 0.9451 | nan | 0.7226 | 0.4786 | 0.1392 | 0.9845 | nan | nan | nan | 0.0 | 0.6625 | 0.4020 | 0.1368 | 0.9564 | nan | nan | nan | | 0.2266 | 8.0 | 320 | 0.2588 | 0.4478 | 0.6102 | 0.9257 | nan | 0.8408 | 0.4894 | 0.1535 | 0.9572 | nan | nan | nan | 0.0 | 0.7105 | 0.4321 | 0.1512 | 0.9455 | nan | nan | nan | | 0.2947 | 8.25 | 330 | 0.2424 | 0.4488 | 0.6058 | 0.8874 | nan | 0.8346 | 0.4993 | 0.1745 | 0.9148 | nan | nan | nan | 0.0 | 0.7149 | 0.4517 | 0.1719 | 0.9054 | nan | nan | nan | | 0.3069 | 8.5 | 340 | 0.2433 | 0.5001 | 0.6775 | 0.9427 | nan | 0.8486 | 0.5763 | 0.3154 | 0.9698 | nan | nan | nan | 0.0 | 0.7323 | 0.4985 | 0.3107 | 0.9589 | nan | nan | nan | | 0.2954 | 8.75 | 350 | 0.2371 | 0.4665 | 0.6307 | 0.9049 | nan | 0.8528 | 0.5362 | 0.2023 | 0.9314 | nan | nan | nan | 0.0 | 0.7269 | 0.4852 | 0.1988 | 0.9215 | nan | nan | nan | | 0.2287 | 9.0 | 360 | 0.2437 | 0.4764 | 0.6633 | 0.9248 | nan | 0.8853 | 0.5762 | 0.2419 | 0.9498 | nan | nan | nan | 0.0 | 0.7139 | 0.4883 | 0.2368 | 0.9432 | nan | nan | nan | | 0.2449 | 9.25 | 370 | 0.2466 | 0.4698 | 0.6213 | 0.9463 | nan | 0.7620 | 0.4747 | 0.2664 | 0.9820 | nan | nan | nan | 0.0 | 0.7141 | 0.4142 | 0.2578 | 0.9632 | nan | nan | nan | | 0.2171 | 9.5 | 380 | 0.2179 | 0.5171 | 0.7060 | 0.8975 | nan | 0.8653 | 0.6024 | 0.4399 | 0.9166 | nan | nan | nan | 0.0 | 0.7210 | 0.5251 | 0.4279 | 0.9113 | nan | nan | nan | | 0.2345 | 9.75 | 390 | 0.2432 | 0.4915 | 0.6525 | 0.9360 | nan | 0.7856 | 0.5085 | 0.3486 | 0.9671 | nan | nan | nan | 0.0 | 0.7231 | 0.4468 | 0.3367 | 0.9511 | nan | nan | nan | | 0.1929 | 10.0 | 400 | 0.2028 | 0.5067 | 0.6812 | 0.9085 | nan | 0.8078 | 0.5964 | 0.3884 | 0.9323 | nan | nan | nan | 0.0 | 0.7194 | 0.5208 | 0.3679 | 0.9257 | nan | nan | nan | | 0.2294 | 10.25 | 410 | 0.1962 | 0.5284 | 0.7170 | 0.9115 | nan | 0.8341 | 0.6590 | 0.4435 | 0.9314 | nan | nan | nan | 0.0 | 0.7272 | 0.5626 | 0.4262 | 0.9260 | nan | nan | nan | | 0.183 | 10.5 | 420 | 0.1962 | 0.5029 | 0.6601 | 0.9130 | nan | 0.7631 | 0.5437 | 0.3927 | 0.9411 | nan | nan | nan | 0.0 | 0.7233 | 0.4884 | 0.3753 | 0.9276 | nan | nan | nan | | 0.2132 | 10.75 | 430 | 0.1966 | 0.5624 | 0.7620 | 0.9211 | nan | 0.8301 | 0.7474 | 0.5331 | 0.9376 | nan | nan | nan | 0.0 | 0.7485 | 0.6333 | 0.4969 | 0.9333 | nan | nan | nan | | 0.1768 | 11.0 | 440 | 0.1950 | 0.5154 | 0.6800 | 0.9276 | nan | 0.7467 | 0.5792 | 0.4381 | 0.9558 | nan | nan | nan | 0.0 | 0.7149 | 0.5164 | 0.4004 | 0.9453 | nan | nan | nan | | 0.1955 | 11.25 | 450 | 0.1961 | 0.5556 | 0.7492 | 0.9456 | nan | 0.8563 | 0.6371 | 0.5364 | 0.9670 | nan | nan | nan | 0.0 | 0.7464 | 0.5632 | 0.5077 | 0.9606 | nan | nan | nan | | 0.1763 | 11.5 | 460 | 0.1816 | 0.5177 | 0.6941 | 0.9121 | nan | 0.8779 | 0.4815 | 0.4816 | 0.9354 | nan | nan | nan | 0.0 | 0.7402 | 0.4623 | 0.4584 | 0.9278 | nan | nan | nan | | 0.1361 | 11.75 | 470 | 0.1843 | 0.5485 | 0.7446 | 0.9183 | nan | 0.7590 | 0.7921 | 0.4904 | 0.9370 | nan | nan | nan | 0.0 | 0.7226 | 0.6360 | 0.4513 | 0.9327 | nan | nan | nan | | 0.1613 | 12.0 | 480 | 0.1754 | 0.5565 | 0.7312 | 0.9283 | nan | 0.7660 | 0.6440 | 0.5633 | 0.9514 | nan | nan | nan | 0.0 | 0.7384 | 0.5899 | 0.5115 | 0.9428 | nan | nan | nan | | 0.2158 | 12.25 | 490 | 0.1851 | 0.5537 | 0.7317 | 0.8648 | nan | 0.8204 | 0.6881 | 0.5401 | 0.8783 | nan | nan | nan | 0.0 | 0.7617 | 0.6330 | 0.4983 | 0.8754 | nan | nan | nan | | 0.1542 | 12.5 | 500 | 0.2025 | 0.5759 | 0.7662 | 0.9560 | nan | 0.7910 | 0.7072 | 0.5887 | 0.9781 | nan | nan | nan | 0.0 | 0.7568 | 0.6179 | 0.5360 | 0.9690 | nan | nan | nan | | 0.19 | 12.75 | 510 | 0.1733 | 0.5551 | 0.7325 | 0.8911 | nan | 0.8147 | 0.6676 | 0.5398 | 0.9081 | nan | nan | nan | 0.0 | 0.7613 | 0.6099 | 0.5021 | 0.9025 | nan | nan | nan | | 0.1584 | 13.0 | 520 | 0.1832 | 0.5297 | 0.6916 | 0.9464 | nan | 0.7672 | 0.6176 | 0.4067 | 0.9748 | nan | nan | nan | 0.0 | 0.7395 | 0.5588 | 0.3863 | 0.9638 | nan | nan | nan | | 0.1311 | 13.25 | 530 | 0.1566 | 0.5695 | 0.7565 | 0.9197 | nan | 0.7986 | 0.7456 | 0.5444 | 0.9374 | nan | nan | nan | 0.0 | 0.7532 | 0.6615 | 0.5001 | 0.9326 | nan | nan | nan | | 0.1742 | 13.5 | 540 | 0.1611 | 0.5855 | 0.7788 | 0.9321 | nan | 0.8407 | 0.7155 | 0.6102 | 0.9489 | nan | nan | nan | 0.0 | 0.7771 | 0.6482 | 0.5582 | 0.9442 | nan | nan | nan | | 0.146 | 13.75 | 550 | 0.1588 | 0.5743 | 0.7598 | 0.9196 | nan | 0.7929 | 0.7125 | 0.5960 | 0.9378 | nan | nan | nan | 0.0 | 0.7529 | 0.6457 | 0.5403 | 0.9327 | nan | nan | nan | | 0.1326 | 14.0 | 560 | 0.1627 | 0.5573 | 0.7314 | 0.9237 | nan | 0.7425 | 0.6936 | 0.5431 | 0.9462 | nan | nan | nan | 0.0 | 0.7240 | 0.6261 | 0.4978 | 0.9384 | nan | nan | nan | | 0.1385 | 14.25 | 570 | 0.1553 | 0.5832 | 0.7734 | 0.9125 | nan | 0.8122 | 0.7620 | 0.5919 | 0.9275 | nan | nan | nan | 0.0 | 0.7699 | 0.6833 | 0.5388 | 0.9239 | nan | nan | nan | | 0.1419 | 14.5 | 580 | 0.1574 | 0.5828 | 0.7701 | 0.9399 | nan | 0.8022 | 0.7043 | 0.6144 | 0.9596 | nan | nan | nan | 0.0 | 0.7680 | 0.6404 | 0.5527 | 0.9531 | nan | nan | nan | | 0.1342 | 14.75 | 590 | 0.1489 | 0.5806 | 0.7682 | 0.9216 | nan | 0.8378 | 0.6775 | 0.6187 | 0.9387 | nan | nan | nan | 0.0 | 0.7803 | 0.6314 | 0.5573 | 0.9339 | nan | nan | nan | | 0.1342 | 15.0 | 600 | 0.1547 | 0.5712 | 0.7491 | 0.9141 | nan | 0.8159 | 0.7522 | 0.4975 | 0.9310 | nan | nan | nan | 0.0 | 0.7762 | 0.6817 | 0.4725 | 0.9258 | nan | nan | nan | | 0.128 | 15.25 | 610 | 0.1530 | 0.5747 | 0.7581 | 0.9353 | nan | 0.8365 | 0.7411 | 0.5012 | 0.9536 | nan | nan | nan | 0.0 | 0.7886 | 0.6657 | 0.4709 | 0.9483 | nan | nan | nan | | 0.1104 | 15.5 | 620 | 0.1558 | 0.5653 | 0.7379 | 0.9336 | nan | 0.7945 | 0.6492 | 0.5520 | 0.9560 | nan | nan | nan | 0.0 | 0.7639 | 0.6000 | 0.5143 | 0.9484 | nan | nan | nan | | 0.12 | 15.75 | 630 | 0.1485 | 0.5813 | 0.7676 | 0.9294 | nan | 0.7847 | 0.7600 | 0.5779 | 0.9476 | nan | nan | nan | 0.0 | 0.7613 | 0.6758 | 0.5265 | 0.9431 | nan | nan | nan | | 0.1347 | 16.0 | 640 | 0.1434 | 0.5641 | 0.7391 | 0.9182 | nan | 0.8150 | 0.6400 | 0.5631 | 0.9382 | nan | nan | nan | 0.0 | 0.7737 | 0.6006 | 0.5140 | 0.9321 | nan | nan | nan | | 0.109 | 16.25 | 650 | 0.1480 | 0.5865 | 0.7738 | 0.9127 | nan | 0.8339 | 0.7099 | 0.6234 | 0.9280 | nan | nan | nan | 0.0 | 0.7806 | 0.6626 | 0.5660 | 0.9235 | nan | nan | nan | | 0.1117 | 16.5 | 660 | 0.1521 | 0.5878 | 0.7706 | 0.9448 | nan | 0.7946 | 0.7264 | 0.5967 | 0.9649 | nan | nan | nan | 0.0 | 0.7701 | 0.6647 | 0.5462 | 0.9581 | nan | nan | nan | | 0.1269 | 16.75 | 670 | 0.1433 | 0.5767 | 0.7571 | 0.9299 | nan | 0.7746 | 0.7047 | 0.5989 | 0.9502 | nan | nan | nan | 0.0 | 0.7537 | 0.6502 | 0.5357 | 0.9440 | nan | nan | nan | | 0.1078 | 17.0 | 680 | 0.1433 | 0.5857 | 0.7701 | 0.9284 | nan | 0.7843 | 0.7396 | 0.6097 | 0.9467 | nan | nan | nan | 0.0 | 0.7651 | 0.6720 | 0.5516 | 0.9397 | nan | nan | nan | | 0.0928 | 17.25 | 690 | 0.1410 | 0.5961 | 0.7853 | 0.9266 | nan | 0.8229 | 0.7606 | 0.6157 | 0.9421 | nan | nan | nan | 0.0 | 0.7881 | 0.6982 | 0.5568 | 0.9375 | nan | nan | nan | | 0.1062 | 17.5 | 700 | 0.1401 | 0.5792 | 0.7581 | 0.9345 | nan | 0.8318 | 0.6907 | 0.5561 | 0.9538 | nan | nan | nan | 0.0 | 0.7834 | 0.6469 | 0.5168 | 0.9487 | nan | nan | nan | | 0.0892 | 17.75 | 710 | 0.1397 | 0.5895 | 0.7750 | 0.9105 | nan | 0.8335 | 0.7268 | 0.6146 | 0.9252 | nan | nan | nan | 0.0 | 0.7852 | 0.6837 | 0.5582 | 0.9206 | nan | nan | nan | | 0.1024 | 18.0 | 720 | 0.1386 | 0.5857 | 0.7709 | 0.9293 | nan | 0.8107 | 0.7295 | 0.5966 | 0.9470 | nan | nan | nan | 0.0 | 0.7716 | 0.6812 | 0.5330 | 0.9430 | nan | nan | nan | | 0.1266 | 18.25 | 730 | 0.1450 | 0.5682 | 0.7451 | 0.9093 | nan | 0.7798 | 0.6337 | 0.6379 | 0.9290 | nan | nan | nan | 0.0 | 0.7504 | 0.6035 | 0.5638 | 0.9234 | nan | nan | nan | | 0.1108 | 18.5 | 740 | 0.1410 | 0.5877 | 0.7731 | 0.9386 | nan | 0.7968 | 0.7035 | 0.6338 | 0.9581 | nan | nan | nan | 0.0 | 0.7687 | 0.6467 | 0.5720 | 0.9510 | nan | nan | nan | | 0.1119 | 18.75 | 750 | 0.1401 | 0.5560 | 0.7230 | 0.9187 | nan | 0.7988 | 0.6046 | 0.5475 | 0.9410 | nan | nan | nan | 0.0 | 0.7616 | 0.5775 | 0.5059 | 0.9351 | nan | nan | nan | | 0.0933 | 19.0 | 760 | 0.1395 | 0.6052 | 0.8009 | 0.9353 | nan | 0.8338 | 0.7599 | 0.6595 | 0.9505 | nan | nan | nan | 0.0 | 0.7911 | 0.6947 | 0.5951 | 0.9449 | nan | nan | nan | | 0.2262 | 19.25 | 770 | 0.1358 | 0.5938 | 0.7834 | 0.9333 | nan | 0.8059 | 0.7249 | 0.6520 | 0.9509 | nan | nan | nan | 0.0 | 0.7735 | 0.6695 | 0.5810 | 0.9451 | nan | nan | nan | | 0.1088 | 19.5 | 780 | 0.1320 | 0.5950 | 0.7832 | 0.9282 | nan | 0.8218 | 0.7150 | 0.6510 | 0.9449 | nan | nan | nan | 0.0 | 0.7825 | 0.6718 | 0.5808 | 0.9398 | nan | nan | nan | | 0.0846 | 19.75 | 790 | 0.1349 | 0.5920 | 0.7806 | 0.9180 | nan | 0.7860 | 0.7802 | 0.6226 | 0.9336 | nan | nan | nan | 0.0 | 0.7626 | 0.7109 | 0.5574 | 0.9290 | nan | nan | nan | | 0.0877 | 20.0 | 800 | 0.1390 | 0.5918 | 0.7821 | 0.9331 | nan | 0.8089 | 0.7612 | 0.6081 | 0.9500 | nan | nan | nan | 0.0 | 0.7748 | 0.6904 | 0.5490 | 0.9446 | nan | nan | nan | | 0.1505 | 20.25 | 810 | 0.1366 | 0.5643 | 0.7310 | 0.9188 | nan | 0.8080 | 0.6375 | 0.5389 | 0.9397 | nan | nan | nan | 0.0 | 0.7736 | 0.6140 | 0.5002 | 0.9335 | nan | nan | nan | | 0.0957 | 20.5 | 820 | 0.1355 | 0.6131 | 0.8118 | 0.9325 | nan | 0.8188 | 0.8154 | 0.6669 | 0.9461 | nan | nan | nan | 0.0 | 0.7920 | 0.7390 | 0.5935 | 0.9410 | nan | nan | nan | | 0.1408 | 20.75 | 830 | 0.1360 | 0.5871 | 0.7707 | 0.9138 | nan | 0.7967 | 0.7719 | 0.5848 | 0.9294 | nan | nan | nan | 0.0 | 0.7665 | 0.7133 | 0.5296 | 0.9259 | nan | nan | nan | | 0.0954 | 21.0 | 840 | 0.1412 | 0.5768 | 0.7489 | 0.9452 | nan | 0.7956 | 0.6830 | 0.5493 | 0.9676 | nan | nan | nan | 0.0 | 0.7677 | 0.6480 | 0.5074 | 0.9611 | nan | nan | nan | | 0.093 | 21.25 | 850 | 0.1364 | 0.5938 | 0.7855 | 0.9095 | nan | 0.8280 | 0.7745 | 0.6169 | 0.9227 | nan | nan | nan | 0.0 | 0.7861 | 0.7078 | 0.5568 | 0.9182 | nan | nan | nan | | 0.15 | 21.5 | 860 | 0.1346 | 0.5892 | 0.7706 | 0.9376 | nan | 0.8296 | 0.6965 | 0.6002 | 0.9563 | nan | nan | nan | 0.0 | 0.7859 | 0.6598 | 0.5508 | 0.9493 | nan | nan | nan | | 0.0734 | 21.75 | 870 | 0.1349 | 0.5788 | 0.7588 | 0.9215 | nan | 0.7738 | 0.7021 | 0.6186 | 0.9407 | nan | nan | nan | 0.0 | 0.7498 | 0.6585 | 0.5509 | 0.9349 | nan | nan | nan | | 0.0992 | 22.0 | 880 | 0.1342 | 0.5839 | 0.7685 | 0.9141 | nan | 0.7920 | 0.7441 | 0.6076 | 0.9305 | nan | nan | nan | 0.0 | 0.7593 | 0.6888 | 0.5444 | 0.9270 | nan | nan | nan | | 0.0699 | 22.25 | 890 | 0.1349 | 0.5949 | 0.7859 | 0.9218 | nan | 0.8082 | 0.7646 | 0.6335 | 0.9371 | nan | nan | nan | 0.0 | 0.7758 | 0.6991 | 0.5677 | 0.9320 | nan | nan | nan | | 0.0692 | 22.5 | 900 | 0.1325 | 0.5990 | 0.7881 | 0.9348 | nan | 0.8269 | 0.7526 | 0.6216 | 0.9512 | nan | nan | nan | 0.0 | 0.7874 | 0.6978 | 0.5645 | 0.9455 | nan | nan | nan | | 0.0855 | 22.75 | 910 | 0.1346 | 0.5718 | 0.7462 | 0.9241 | nan | 0.7901 | 0.7139 | 0.5369 | 0.9438 | nan | nan | nan | 0.0 | 0.7595 | 0.6672 | 0.4940 | 0.9384 | nan | nan | nan | | 0.1123 | 23.0 | 920 | 0.1305 | 0.6031 | 0.7903 | 0.9221 | nan | 0.8226 | 0.7347 | 0.6667 | 0.9372 | nan | nan | nan | 0.0 | 0.7866 | 0.6986 | 0.5980 | 0.9322 | nan | nan | nan | | 0.1032 | 23.25 | 930 | 0.1338 | 0.5981 | 0.7827 | 0.9276 | nan | 0.8256 | 0.7335 | 0.6277 | 0.9439 | nan | nan | nan | 0.0 | 0.7896 | 0.6922 | 0.5709 | 0.9380 | nan | nan | nan | | 0.0827 | 23.5 | 940 | 0.1316 | 0.5831 | 0.7617 | 0.9225 | nan | 0.7890 | 0.7441 | 0.5734 | 0.9404 | nan | nan | nan | 0.0 | 0.7618 | 0.6964 | 0.5211 | 0.9361 | nan | nan | nan | | 0.0935 | 23.75 | 950 | 0.1284 | 0.5808 | 0.7593 | 0.9183 | nan | 0.7925 | 0.7156 | 0.5927 | 0.9363 | nan | nan | nan | 0.0 | 0.7659 | 0.6757 | 0.5313 | 0.9312 | nan | nan | nan | | 0.0686 | 24.0 | 960 | 0.1286 | 0.5898 | 0.7710 | 0.9299 | nan | 0.8111 | 0.7004 | 0.6243 | 0.9482 | nan | nan | nan | 0.0 | 0.7813 | 0.6639 | 0.5621 | 0.9416 | nan | nan | nan | | 0.0846 | 24.25 | 970 | 0.1293 | 0.5764 | 0.7524 | 0.9232 | nan | 0.7797 | 0.6874 | 0.5993 | 0.9432 | nan | nan | nan | 0.0 | 0.7566 | 0.6487 | 0.5388 | 0.9379 | nan | nan | nan | | 0.1122 | 24.5 | 980 | 0.1326 | 0.5892 | 0.7699 | 0.9315 | nan | 0.7961 | 0.7212 | 0.6121 | 0.9501 | nan | nan | nan | 0.0 | 0.7689 | 0.6802 | 0.5527 | 0.9441 | nan | nan | nan | | 0.1055 | 24.75 | 990 | 0.1332 | 0.6078 | 0.7999 | 0.9242 | nan | 0.8298 | 0.7853 | 0.6466 | 0.9378 | nan | nan | nan | 0.0 | 0.7905 | 0.7294 | 0.5858 | 0.9334 | nan | nan | nan | | 0.075 | 25.0 | 1000 | 0.1309 | 0.5961 | 0.7801 | 0.9318 | nan | 0.8068 | 0.7844 | 0.5807 | 0.9484 | nan | nan | nan | 0.0 | 0.7772 | 0.7249 | 0.5342 | 0.9440 | nan | nan | nan | | 0.0844 | 25.25 | 1010 | 0.1276 | 0.5851 | 0.7637 | 0.9198 | nan | 0.7883 | 0.7191 | 0.6097 | 0.9377 | nan | nan | nan | 0.0 | 0.7653 | 0.6790 | 0.5487 | 0.9322 | nan | nan | nan | | 0.0898 | 25.5 | 1020 | 0.1282 | 0.6144 | 0.8161 | 0.9363 | nan | 0.8163 | 0.8330 | 0.6652 | 0.9498 | nan | nan | nan | 0.0 | 0.7872 | 0.7476 | 0.5917 | 0.9456 | nan | nan | nan | | 0.0939 | 25.75 | 1030 | 0.1289 | 0.5882 | 0.7745 | 0.9172 | nan | 0.7838 | 0.7803 | 0.6008 | 0.9333 | nan | nan | nan | 0.0 | 0.7602 | 0.7155 | 0.5360 | 0.9293 | nan | nan | nan | | 0.106 | 26.0 | 1040 | 0.1279 | 0.5970 | 0.7799 | 0.9366 | nan | 0.8110 | 0.7394 | 0.6147 | 0.9544 | nan | nan | nan | 0.0 | 0.7855 | 0.6939 | 0.5584 | 0.9474 | nan | nan | nan | | 0.0731 | 26.25 | 1050 | 0.1255 | 0.5828 | 0.7595 | 0.9260 | nan | 0.7886 | 0.7105 | 0.5939 | 0.9452 | nan | nan | nan | 0.0 | 0.7652 | 0.6719 | 0.5372 | 0.9396 | nan | nan | nan | | 0.1029 | 26.5 | 1060 | 0.1295 | 0.6009 | 0.7905 | 0.9391 | nan | 0.8098 | 0.7815 | 0.6150 | 0.9558 | nan | nan | nan | 0.0 | 0.7805 | 0.7169 | 0.5572 | 0.9500 | nan | nan | nan | | 0.074 | 26.75 | 1070 | 0.1315 | 0.6024 | 0.7962 | 0.9162 | nan | 0.8273 | 0.7903 | 0.6380 | 0.9292 | nan | nan | nan | 0.0 | 0.7873 | 0.7265 | 0.5730 | 0.9254 | nan | nan | nan | | 0.1074 | 27.0 | 1080 | 0.1287 | 0.5949 | 0.7808 | 0.9344 | nan | 0.8235 | 0.7171 | 0.6309 | 0.9519 | nan | nan | nan | 0.0 | 0.7852 | 0.6772 | 0.5651 | 0.9472 | nan | nan | nan | | 0.1263 | 27.25 | 1090 | 0.1286 | 0.5856 | 0.7657 | 0.9226 | nan | 0.7733 | 0.7113 | 0.6369 | 0.9413 | nan | nan | nan | 0.0 | 0.7528 | 0.6755 | 0.5642 | 0.9355 | nan | nan | nan | | 0.0636 | 27.5 | 1100 | 0.1297 | 0.6070 | 0.7964 | 0.9322 | nan | 0.8155 | 0.7751 | 0.6472 | 0.9476 | nan | nan | nan | 0.0 | 0.7871 | 0.7224 | 0.5833 | 0.9423 | nan | nan | nan | | 0.0561 | 27.75 | 1110 | 0.1304 | 0.5967 | 0.7823 | 0.9297 | nan | 0.8114 | 0.7522 | 0.6194 | 0.9463 | nan | nan | nan | 0.0 | 0.7798 | 0.7037 | 0.5584 | 0.9416 | nan | nan | nan | | 0.0735 | 28.0 | 1120 | 0.1287 | 0.5878 | 0.7701 | 0.9221 | nan | 0.8128 | 0.7150 | 0.6133 | 0.9392 | nan | nan | nan | 0.0 | 0.7811 | 0.6752 | 0.5483 | 0.9342 | nan | nan | nan | | 0.0785 | 28.25 | 1130 | 0.1311 | 0.5968 | 0.7838 | 0.9360 | nan | 0.8067 | 0.7526 | 0.6223 | 0.9534 | nan | nan | nan | 0.0 | 0.7808 | 0.6982 | 0.5576 | 0.9473 | nan | nan | nan | | 0.0934 | 28.5 | 1140 | 0.1275 | 0.6008 | 0.7891 | 0.9258 | nan | 0.8110 | 0.7626 | 0.6415 | 0.9413 | nan | nan | nan | 0.0 | 0.7811 | 0.7133 | 0.5734 | 0.9364 | nan | nan | nan | | 0.079 | 28.75 | 1150 | 0.1290 | 0.5940 | 0.7772 | 0.9319 | nan | 0.7815 | 0.7548 | 0.6225 | 0.9500 | nan | nan | nan | 0.0 | 0.7610 | 0.7027 | 0.5622 | 0.9442 | nan | nan | nan | | 0.0597 | 29.0 | 1160 | 0.1260 | 0.6038 | 0.7936 | 0.9262 | nan | 0.8107 | 0.7829 | 0.6396 | 0.9411 | nan | nan | nan | 0.0 | 0.7806 | 0.7277 | 0.5738 | 0.9368 | nan | nan | nan | | 0.0646 | 29.25 | 1170 | 0.1237 | 0.6037 | 0.7929 | 0.9271 | nan | 0.8202 | 0.7670 | 0.6422 | 0.9422 | nan | nan | nan | 0.0 | 0.7858 | 0.7218 | 0.5729 | 0.9380 | nan | nan | nan | | 0.0581 | 29.5 | 1180 | 0.1311 | 0.5926 | 0.7739 | 0.9272 | nan | 0.8069 | 0.7047 | 0.6390 | 0.9450 | nan | nan | nan | 0.0 | 0.7788 | 0.6745 | 0.5713 | 0.9384 | nan | nan | nan | | 0.0666 | 29.75 | 1190 | 0.1280 | 0.5925 | 0.7750 | 0.9314 | nan | 0.8076 | 0.7085 | 0.6343 | 0.9496 | nan | nan | nan | 0.0 | 0.7780 | 0.6742 | 0.5659 | 0.9442 | nan | nan | nan | | 0.0883 | 30.0 | 1200 | 0.1273 | 0.5947 | 0.7794 | 0.9221 | nan | 0.8191 | 0.7195 | 0.6407 | 0.9384 | nan | nan | nan | 0.0 | 0.7858 | 0.6780 | 0.5759 | 0.9337 | nan | nan | nan | | 0.0839 | 30.25 | 1210 | 0.1331 | 0.5921 | 0.7714 | 0.9349 | nan | 0.8139 | 0.7057 | 0.6126 | 0.9535 | nan | nan | nan | 0.0 | 0.7840 | 0.6679 | 0.5616 | 0.9472 | nan | nan | nan | | 0.0767 | 30.5 | 1220 | 0.1301 | 0.5948 | 0.7797 | 0.9263 | nan | 0.8107 | 0.7438 | 0.6216 | 0.9428 | nan | nan | nan | 0.0 | 0.7816 | 0.6926 | 0.5624 | 0.9373 | nan | nan | nan | | 0.06 | 30.75 | 1230 | 0.1288 | 0.6006 | 0.7874 | 0.9217 | nan | 0.8126 | 0.7691 | 0.6313 | 0.9367 | nan | nan | nan | 0.0 | 0.7868 | 0.7181 | 0.5662 | 0.9319 | nan | nan | nan | | 0.1277 | 31.0 | 1240 | 0.1262 | 0.6044 | 0.7896 | 0.9389 | nan | 0.8150 | 0.7755 | 0.6125 | 0.9555 | nan | nan | nan | 0.0 | 0.7898 | 0.7248 | 0.5574 | 0.9500 | nan | nan | nan | | 0.0702 | 31.25 | 1250 | 0.1257 | 0.6054 | 0.7919 | 0.9371 | nan | 0.8156 | 0.7733 | 0.6251 | 0.9534 | nan | nan | nan | 0.0 | 0.7865 | 0.7274 | 0.5649 | 0.9482 | nan | nan | nan | | 0.0665 | 31.5 | 1260 | 0.1285 | 0.5981 | 0.7795 | 0.9312 | nan | 0.8190 | 0.7311 | 0.6196 | 0.9483 | nan | nan | nan | 0.0 | 0.7877 | 0.6987 | 0.5621 | 0.9422 | nan | nan | nan | | 0.0579 | 31.75 | 1270 | 0.1287 | 0.6023 | 0.7905 | 0.9365 | nan | 0.8239 | 0.7493 | 0.6360 | 0.9530 | nan | nan | nan | 0.0 | 0.7917 | 0.7080 | 0.5648 | 0.9471 | nan | nan | nan | | 0.0898 | 32.0 | 1280 | 0.1264 | 0.5927 | 0.7750 | 0.9243 | nan | 0.8108 | 0.7344 | 0.6136 | 0.9411 | nan | nan | nan | 0.0 | 0.7817 | 0.6990 | 0.5470 | 0.9357 | nan | nan | nan | | 0.0785 | 32.25 | 1290 | 0.1331 | 0.6062 | 0.7942 | 0.9447 | nan | 0.8155 | 0.7564 | 0.6428 | 0.9620 | nan | nan | nan | 0.0 | 0.7904 | 0.7101 | 0.5755 | 0.9552 | nan | nan | nan | | 0.0684 | 32.5 | 1300 | 0.1257 | 0.5981 | 0.7863 | 0.9245 | nan | 0.8043 | 0.7894 | 0.6117 | 0.9398 | nan | nan | nan | 0.0 | 0.7742 | 0.7343 | 0.5463 | 0.9358 | nan | nan | nan | | 0.0802 | 32.75 | 1310 | 0.1287 | 0.5966 | 0.7797 | 0.9400 | nan | 0.7983 | 0.7626 | 0.5997 | 0.9582 | nan | nan | nan | 0.0 | 0.7729 | 0.7117 | 0.5464 | 0.9521 | nan | nan | nan | | 0.0768 | 33.0 | 1320 | 0.1236 | 0.6074 | 0.7970 | 0.9299 | nan | 0.8187 | 0.7681 | 0.6562 | 0.9450 | nan | nan | nan | 0.0 | 0.7893 | 0.7194 | 0.5888 | 0.9393 | nan | nan | nan | | 0.0779 | 33.25 | 1330 | 0.1254 | 0.5993 | 0.7830 | 0.9331 | nan | 0.8223 | 0.7322 | 0.6275 | 0.9501 | nan | nan | nan | 0.0 | 0.7897 | 0.6970 | 0.5655 | 0.9444 | nan | nan | nan | | 0.0785 | 33.5 | 1340 | 0.1293 | 0.5949 | 0.7803 | 0.9250 | nan | 0.8038 | 0.7556 | 0.6204 | 0.9413 | nan | nan | nan | 0.0 | 0.7729 | 0.7105 | 0.5548 | 0.9363 | nan | nan | nan | | 0.0678 | 33.75 | 1350 | 0.1284 | 0.6084 | 0.8006 | 0.9314 | nan | 0.8205 | 0.7821 | 0.6537 | 0.9462 | nan | nan | nan | 0.0 | 0.7888 | 0.7267 | 0.5856 | 0.9410 | nan | nan | nan | | 0.0668 | 34.0 | 1360 | 0.1281 | 0.5968 | 0.7788 | 0.9330 | nan | 0.8029 | 0.7376 | 0.6240 | 0.9507 | nan | nan | nan | 0.0 | 0.7767 | 0.6987 | 0.5637 | 0.9447 | nan | nan | nan | | 0.0624 | 34.25 | 1370 | 0.1293 | 0.5922 | 0.7727 | 0.9330 | nan | 0.8148 | 0.7268 | 0.5982 | 0.9510 | nan | nan | nan | 0.0 | 0.7835 | 0.6879 | 0.5445 | 0.9453 | nan | nan | nan | | 0.087 | 34.5 | 1380 | 0.1268 | 0.6089 | 0.7989 | 0.9317 | nan | 0.8302 | 0.7630 | 0.6556 | 0.9466 | nan | nan | nan | 0.0 | 0.7974 | 0.7176 | 0.5877 | 0.9417 | nan | nan | nan | | 0.1505 | 34.75 | 1390 | 0.1295 | 0.5960 | 0.7778 | 0.9349 | nan | 0.8007 | 0.7235 | 0.6339 | 0.9532 | nan | nan | nan | 0.0 | 0.7757 | 0.6886 | 0.5681 | 0.9473 | nan | nan | nan | | 0.0651 | 35.0 | 1400 | 0.1272 | 0.5947 | 0.7780 | 0.9317 | nan | 0.7943 | 0.7450 | 0.6234 | 0.9495 | nan | nan | nan | 0.0 | 0.7690 | 0.7010 | 0.5595 | 0.9441 | nan | nan | nan | | 0.0518 | 35.25 | 1410 | 0.1263 | 0.6011 | 0.7860 | 0.9313 | nan | 0.8104 | 0.7499 | 0.6356 | 0.9479 | nan | nan | nan | 0.0 | 0.7840 | 0.7053 | 0.5736 | 0.9424 | nan | nan | nan | | 0.0937 | 35.5 | 1420 | 0.1249 | 0.6085 | 0.7972 | 0.9337 | nan | 0.8323 | 0.7622 | 0.6455 | 0.9489 | nan | nan | nan | 0.0 | 0.8009 | 0.7138 | 0.5841 | 0.9438 | nan | nan | nan | | 0.0587 | 35.75 | 1430 | 0.1243 | 0.5959 | 0.7765 | 0.9292 | nan | 0.8148 | 0.7462 | 0.5989 | 0.9462 | nan | nan | nan | 0.0 | 0.7875 | 0.7022 | 0.5490 | 0.9407 | nan | nan | nan | | 0.0519 | 36.0 | 1440 | 0.1258 | 0.5898 | 0.7681 | 0.9319 | nan | 0.7902 | 0.7263 | 0.6052 | 0.9508 | nan | nan | nan | 0.0 | 0.7680 | 0.6870 | 0.5493 | 0.9447 | nan | nan | nan | | 0.0655 | 36.25 | 1450 | 0.1271 | 0.5969 | 0.7758 | 0.9319 | nan | 0.8096 | 0.7110 | 0.6326 | 0.9500 | nan | nan | nan | 0.0 | 0.7832 | 0.6838 | 0.5739 | 0.9435 | nan | nan | nan | | 0.054 | 36.5 | 1460 | 0.1251 | 0.6118 | 0.8001 | 0.9307 | nan | 0.8335 | 0.7646 | 0.6570 | 0.9453 | nan | nan | nan | 0.0 | 0.8008 | 0.7262 | 0.5920 | 0.9401 | nan | nan | nan | | 0.0978 | 36.75 | 1470 | 0.1288 | 0.6031 | 0.7890 | 0.9390 | nan | 0.8111 | 0.7736 | 0.6156 | 0.9558 | nan | nan | nan | 0.0 | 0.7844 | 0.7240 | 0.5568 | 0.9505 | nan | nan | nan | | 0.0862 | 37.0 | 1480 | 0.1267 | 0.5814 | 0.7569 | 0.9204 | nan | 0.7738 | 0.7223 | 0.5922 | 0.9393 | nan | nan | nan | 0.0 | 0.7537 | 0.6862 | 0.5323 | 0.9348 | nan | nan | nan | | 0.0855 | 37.25 | 1490 | 0.1279 | 0.6086 | 0.7958 | 0.9416 | nan | 0.8167 | 0.7609 | 0.6471 | 0.9584 | nan | nan | nan | 0.0 | 0.7897 | 0.7183 | 0.5823 | 0.9527 | nan | nan | nan | | 0.0806 | 37.5 | 1500 | 0.1247 | 0.6065 | 0.7941 | 0.9274 | nan | 0.8189 | 0.7541 | 0.6606 | 0.9427 | nan | nan | nan | 0.0 | 0.7906 | 0.7133 | 0.5914 | 0.9374 | nan | nan | nan | | 0.0883 | 37.75 | 1510 | 0.1258 | 0.5954 | 0.7737 | 0.9328 | nan | 0.8100 | 0.7040 | 0.6294 | 0.9512 | nan | nan | nan | 0.0 | 0.7844 | 0.6758 | 0.5720 | 0.9450 | nan | nan | nan | | 0.0661 | 38.0 | 1520 | 0.1236 | 0.6027 | 0.7868 | 0.9311 | nan | 0.8211 | 0.7581 | 0.6208 | 0.9472 | nan | nan | nan | 0.0 | 0.7907 | 0.7149 | 0.5657 | 0.9422 | nan | nan | nan | | 0.0575 | 38.25 | 1530 | 0.1231 | 0.6090 | 0.7970 | 0.9339 | nan | 0.8245 | 0.7703 | 0.6440 | 0.9493 | nan | nan | nan | 0.0 | 0.7954 | 0.7226 | 0.5830 | 0.9440 | nan | nan | nan | | 0.0637 | 38.5 | 1540 | 0.1255 | 0.5997 | 0.7823 | 0.9360 | nan | 0.8067 | 0.7342 | 0.6347 | 0.9538 | nan | nan | nan | 0.0 | 0.7822 | 0.6970 | 0.5714 | 0.9479 | nan | nan | nan | | 0.0531 | 38.75 | 1550 | 0.1267 | 0.5879 | 0.7631 | 0.9303 | nan | 0.7893 | 0.7018 | 0.6117 | 0.9498 | nan | nan | nan | 0.0 | 0.7680 | 0.6724 | 0.5555 | 0.9437 | nan | nan | nan | | 0.0673 | 39.0 | 1560 | 0.1249 | 0.6035 | 0.7880 | 0.9322 | nan | 0.8120 | 0.7355 | 0.6555 | 0.9490 | nan | nan | nan | 0.0 | 0.7860 | 0.6999 | 0.5885 | 0.9433 | nan | nan | nan | | 0.0781 | 39.25 | 1570 | 0.1230 | 0.6086 | 0.7967 | 0.9327 | nan | 0.8232 | 0.7645 | 0.6510 | 0.9481 | nan | nan | nan | 0.0 | 0.7938 | 0.7196 | 0.5864 | 0.9431 | nan | nan | nan | | 0.0499 | 39.5 | 1580 | 0.1241 | 0.6003 | 0.7827 | 0.9297 | nan | 0.8099 | 0.7283 | 0.6458 | 0.9468 | nan | nan | nan | 0.0 | 0.7855 | 0.6954 | 0.5795 | 0.9409 | nan | nan | nan | | 0.0888 | 39.75 | 1590 | 0.1244 | 0.6016 | 0.7852 | 0.9318 | nan | 0.8149 | 0.7420 | 0.6355 | 0.9486 | nan | nan | nan | 0.0 | 0.7887 | 0.7038 | 0.5727 | 0.9427 | nan | nan | nan | | 0.0696 | 40.0 | 1600 | 0.1248 | 0.5966 | 0.7777 | 0.9328 | nan | 0.8083 | 0.7433 | 0.6089 | 0.9503 | nan | nan | nan | 0.0 | 0.7828 | 0.7037 | 0.5517 | 0.9447 | nan | nan | nan | | 0.0635 | 40.25 | 1610 | 0.1281 | 0.5987 | 0.7805 | 0.9363 | nan | 0.8046 | 0.7398 | 0.6235 | 0.9542 | nan | nan | nan | 0.0 | 0.7809 | 0.7025 | 0.5619 | 0.9484 | nan | nan | nan | | 0.066 | 40.5 | 1620 | 0.1228 | 0.6070 | 0.7953 | 0.9286 | nan | 0.8158 | 0.7630 | 0.6586 | 0.9439 | nan | nan | nan | 0.0 | 0.7888 | 0.7209 | 0.5866 | 0.9389 | nan | nan | nan | | 0.0692 | 40.75 | 1630 | 0.1244 | 0.6071 | 0.7927 | 0.9330 | nan | 0.8190 | 0.7486 | 0.6542 | 0.9491 | nan | nan | nan | 0.0 | 0.7926 | 0.7115 | 0.5877 | 0.9435 | nan | nan | nan | | 0.0678 | 41.0 | 1640 | 0.1256 | 0.6038 | 0.7869 | 0.9310 | nan | 0.8069 | 0.7425 | 0.6504 | 0.9477 | nan | nan | nan | 0.0 | 0.7851 | 0.7066 | 0.5853 | 0.9419 | nan | nan | nan | | 0.0934 | 41.25 | 1650 | 0.1252 | 0.6024 | 0.7856 | 0.9328 | nan | 0.8046 | 0.7388 | 0.6490 | 0.9499 | nan | nan | nan | 0.0 | 0.7825 | 0.7034 | 0.5816 | 0.9443 | nan | nan | nan | | 0.0552 | 41.5 | 1660 | 0.1271 | 0.5990 | 0.7805 | 0.9344 | nan | 0.7972 | 0.7469 | 0.6259 | 0.9522 | nan | nan | nan | 0.0 | 0.7758 | 0.7079 | 0.5649 | 0.9465 | nan | nan | nan | | 0.0547 | 41.75 | 1670 | 0.1263 | 0.5966 | 0.7762 | 0.9295 | nan | 0.8027 | 0.7420 | 0.6133 | 0.9469 | nan | nan | nan | 0.0 | 0.7790 | 0.7055 | 0.5574 | 0.9411 | nan | nan | nan | | 0.0626 | 42.0 | 1680 | 0.1257 | 0.6049 | 0.7899 | 0.9307 | nan | 0.8194 | 0.7639 | 0.6300 | 0.9464 | nan | nan | nan | 0.0 | 0.7913 | 0.7223 | 0.5697 | 0.9413 | nan | nan | nan | | 0.0974 | 42.25 | 1690 | 0.1267 | 0.6092 | 0.7969 | 0.9360 | nan | 0.8232 | 0.7758 | 0.6371 | 0.9516 | nan | nan | nan | 0.0 | 0.7946 | 0.7293 | 0.5760 | 0.9463 | nan | nan | nan | | 0.0722 | 42.5 | 1700 | 0.1258 | 0.5978 | 0.7799 | 0.9288 | nan | 0.8040 | 0.7434 | 0.6264 | 0.9459 | nan | nan | nan | 0.0 | 0.7791 | 0.7065 | 0.5631 | 0.9403 | nan | nan | nan | | 0.0543 | 42.75 | 1710 | 0.1270 | 0.5938 | 0.7727 | 0.9304 | nan | 0.7973 | 0.7354 | 0.6096 | 0.9484 | nan | nan | nan | 0.0 | 0.7748 | 0.7001 | 0.5512 | 0.9427 | nan | nan | nan | | 0.1652 | 43.0 | 1720 | 0.1258 | 0.5998 | 0.7831 | 0.9302 | nan | 0.8054 | 0.7611 | 0.6190 | 0.9469 | nan | nan | nan | 0.0 | 0.7814 | 0.7180 | 0.5583 | 0.9414 | nan | nan | nan | | 0.0646 | 43.25 | 1730 | 0.1253 | 0.6046 | 0.7894 | 0.9326 | nan | 0.8174 | 0.7607 | 0.6306 | 0.9488 | nan | nan | nan | 0.0 | 0.7907 | 0.7208 | 0.5682 | 0.9434 | nan | nan | nan | | 0.0681 | 43.5 | 1740 | 0.1268 | 0.6009 | 0.7819 | 0.9299 | nan | 0.8176 | 0.7320 | 0.6315 | 0.9467 | nan | nan | nan | 0.0 | 0.7909 | 0.7025 | 0.5702 | 0.9409 | nan | nan | nan | | 0.0622 | 43.75 | 1750 | 0.1262 | 0.6021 | 0.7842 | 0.9300 | nan | 0.8191 | 0.7421 | 0.6291 | 0.9465 | nan | nan | nan | 0.0 | 0.7918 | 0.7083 | 0.5698 | 0.9408 | nan | nan | nan | | 0.0577 | 44.0 | 1760 | 0.1254 | 0.6013 | 0.7847 | 0.9277 | nan | 0.8112 | 0.7499 | 0.6337 | 0.9439 | nan | nan | nan | 0.0 | 0.7859 | 0.7118 | 0.5705 | 0.9385 | nan | nan | nan | | 0.0729 | 44.25 | 1770 | 0.1246 | 0.6054 | 0.7913 | 0.9342 | nan | 0.8119 | 0.7571 | 0.6456 | 0.9506 | nan | nan | nan | 0.0 | 0.7875 | 0.7158 | 0.5789 | 0.9449 | nan | nan | nan | | 0.0467 | 44.5 | 1780 | 0.1257 | 0.5994 | 0.7821 | 0.9333 | nan | 0.7977 | 0.7464 | 0.6334 | 0.9508 | nan | nan | nan | 0.0 | 0.7762 | 0.7073 | 0.5684 | 0.9450 | nan | nan | nan | | 0.1224 | 44.75 | 1790 | 0.1246 | 0.5999 | 0.7835 | 0.9293 | nan | 0.8019 | 0.7509 | 0.6351 | 0.9461 | nan | nan | nan | 0.0 | 0.7785 | 0.7108 | 0.5694 | 0.9408 | nan | nan | nan | | 0.0531 | 45.0 | 1800 | 0.1259 | 0.5965 | 0.7766 | 0.9305 | nan | 0.8022 | 0.7423 | 0.6140 | 0.9481 | nan | nan | nan | 0.0 | 0.7788 | 0.7046 | 0.5565 | 0.9425 | nan | nan | nan | | 0.0628 | 45.25 | 1810 | 0.1260 | 0.6041 | 0.7887 | 0.9346 | nan | 0.8118 | 0.7595 | 0.6323 | 0.9512 | nan | nan | nan | 0.0 | 0.7873 | 0.7166 | 0.5708 | 0.9456 | nan | nan | nan | | 0.0579 | 45.5 | 1820 | 0.1251 | 0.6053 | 0.7910 | 0.9327 | nan | 0.8162 | 0.7640 | 0.6352 | 0.9488 | nan | nan | nan | 0.0 | 0.7901 | 0.7201 | 0.5728 | 0.9435 | nan | nan | nan | | 0.0622 | 45.75 | 1830 | 0.1239 | 0.6046 | 0.7914 | 0.9307 | nan | 0.8142 | 0.7689 | 0.6362 | 0.9464 | nan | nan | nan | 0.0 | 0.7873 | 0.7229 | 0.5714 | 0.9413 | nan | nan | nan | | 0.0474 | 46.0 | 1840 | 0.1246 | 0.6021 | 0.7858 | 0.9314 | nan | 0.8119 | 0.7497 | 0.6336 | 0.9480 | nan | nan | nan | 0.0 | 0.7856 | 0.7109 | 0.5717 | 0.9424 | nan | nan | nan | | 0.0622 | 46.25 | 1850 | 0.1252 | 0.6014 | 0.7842 | 0.9321 | nan | 0.8083 | 0.7335 | 0.6457 | 0.9493 | nan | nan | nan | 0.0 | 0.7833 | 0.7008 | 0.5794 | 0.9435 | nan | nan | nan | | 0.0564 | 46.5 | 1860 | 0.1252 | 0.6006 | 0.7827 | 0.9312 | nan | 0.8037 | 0.7417 | 0.6371 | 0.9483 | nan | nan | nan | 0.0 | 0.7804 | 0.7059 | 0.5742 | 0.9426 | nan | nan | nan | | 0.0555 | 46.75 | 1870 | 0.1243 | 0.6018 | 0.7852 | 0.9305 | nan | 0.8067 | 0.7456 | 0.6415 | 0.9472 | nan | nan | nan | 0.0 | 0.7823 | 0.7082 | 0.5769 | 0.9417 | nan | nan | nan | | 0.0654 | 47.0 | 1880 | 0.1260 | 0.6045 | 0.7876 | 0.9367 | nan | 0.8092 | 0.7452 | 0.6422 | 0.9539 | nan | nan | nan | 0.0 | 0.7860 | 0.7081 | 0.5801 | 0.9480 | nan | nan | nan | | 0.0649 | 47.25 | 1890 | 0.1250 | 0.6007 | 0.7826 | 0.9323 | nan | 0.8064 | 0.7456 | 0.6289 | 0.9494 | nan | nan | nan | 0.0 | 0.7829 | 0.7070 | 0.5697 | 0.9439 | nan | nan | nan | | 0.0688 | 47.5 | 1900 | 0.1264 | 0.6032 | 0.7862 | 0.9347 | nan | 0.8080 | 0.7513 | 0.6339 | 0.9518 | nan | nan | nan | 0.0 | 0.7846 | 0.7114 | 0.5737 | 0.9461 | nan | nan | nan | | 0.0601 | 47.75 | 1910 | 0.1251 | 0.6039 | 0.7889 | 0.9332 | nan | 0.8070 | 0.7630 | 0.6360 | 0.9497 | nan | nan | nan | 0.0 | 0.7833 | 0.7184 | 0.5733 | 0.9443 | nan | nan | nan | | 0.0626 | 48.0 | 1920 | 0.1241 | 0.6041 | 0.7890 | 0.9323 | nan | 0.8101 | 0.7548 | 0.6426 | 0.9487 | nan | nan | nan | 0.0 | 0.7852 | 0.7141 | 0.5780 | 0.9433 | nan | nan | nan | | 0.0545 | 48.25 | 1930 | 0.1240 | 0.6056 | 0.7919 | 0.9324 | nan | 0.8130 | 0.7646 | 0.6417 | 0.9485 | nan | nan | nan | 0.0 | 0.7870 | 0.7209 | 0.5772 | 0.9432 | nan | nan | nan | | 0.052 | 48.5 | 1940 | 0.1239 | 0.6027 | 0.7874 | 0.9309 | nan | 0.8087 | 0.7524 | 0.6411 | 0.9474 | nan | nan | nan | 0.0 | 0.7834 | 0.7129 | 0.5751 | 0.9420 | nan | nan | nan | | 0.0672 | 48.75 | 1950 | 0.1258 | 0.6008 | 0.7821 | 0.9351 | nan | 0.8084 | 0.7285 | 0.6387 | 0.9529 | nan | nan | nan | 0.0 | 0.7844 | 0.6974 | 0.5753 | 0.9468 | nan | nan | nan | | 0.132 | 49.0 | 1960 | 0.1251 | 0.6006 | 0.7833 | 0.9317 | nan | 0.8070 | 0.7450 | 0.6325 | 0.9488 | nan | nan | nan | 0.0 | 0.7823 | 0.7075 | 0.5701 | 0.9432 | nan | nan | nan | | 0.0759 | 49.25 | 1970 | 0.1245 | 0.6014 | 0.7852 | 0.9306 | nan | 0.8074 | 0.7518 | 0.6345 | 0.9472 | nan | nan | nan | 0.0 | 0.7826 | 0.7117 | 0.5712 | 0.9417 | nan | nan | nan | | 0.0519 | 49.5 | 1980 | 0.1249 | 0.6029 | 0.7875 | 0.9323 | nan | 0.8084 | 0.7526 | 0.6401 | 0.9489 | nan | nan | nan | 0.0 | 0.7837 | 0.7127 | 0.5749 | 0.9433 | nan | nan | nan | | 0.052 | 49.75 | 1990 | 0.1252 | 0.5998 | 0.7819 | 0.9323 | nan | 0.8042 | 0.7501 | 0.6240 | 0.9495 | nan | nan | nan | 0.0 | 0.7805 | 0.7103 | 0.5643 | 0.9439 | nan | nan | nan | | 0.0575 | 50.0 | 2000 | 0.1250 | 0.5989 | 0.7803 | 0.9315 | nan | 0.8041 | 0.7428 | 0.6254 | 0.9488 | nan | nan | nan | 0.0 | 0.7805 | 0.7054 | 0.5651 | 0.9432 | nan | nan | nan | ### Framework versions - Transformers 4.34.0 - Pytorch 2.0.1+cu118 - Datasets 2.14.5 - Tokenizers 0.14.1