|
--- |
|
license: other |
|
tags: |
|
- generated_from_trainer |
|
model-index: |
|
- name: safety-userstudy-terrain |
|
results: [] |
|
--- |
|
|
|
<!-- This model card has been generated automatically according to the information the Trainer had access to. You |
|
should probably proofread and complete it, then remove this comment. --> |
|
|
|
# safety-userstudy-terrain |
|
|
|
This model is a fine-tuned version of [nvidia/mit-b5](https://huggingface.co/nvidia/mit-b5) on the None dataset. |
|
It achieves the following results on the evaluation set: |
|
- Loss: 0.1525 |
|
- Mean Iou: 0.7497 |
|
- Mean Accuracy: 0.8290 |
|
- Overall Accuracy: 0.9598 |
|
- Accuracy Unlabeled: nan |
|
- Accuracy Nat: 0.9775 |
|
- Accuracy Concrete-speedway-side: 0.7907 |
|
- Accuracy Concrete-road-adj: nan |
|
- Accuracy Grass: 0.5869 |
|
- Accuracy Speedway-bricks: 0.9939 |
|
- Accuracy Steel: 0.9191 |
|
- Accuracy Steel-sidewalk: nan |
|
- Accuracy Dark-bricks: nan |
|
- Accuracy Road: nan |
|
- Accuracy Rough-red-sidewalk: 0.7060 |
|
- Accuracy Tiles-marble: nan |
|
- Accuracy Red-bricks: nan |
|
- Accuracy Rest: nan |
|
- Iou Unlabeled: nan |
|
- Iou Nat: 0.9588 |
|
- Iou Concrete-speedway-side: 0.7359 |
|
- Iou Concrete-road-adj: nan |
|
- Iou Grass: 0.4374 |
|
- Iou Speedway-bricks: 0.9581 |
|
- Iou Steel: 0.8183 |
|
- Iou Steel-sidewalk: nan |
|
- Iou Dark-bricks: nan |
|
- Iou Road: nan |
|
- Iou Rough-red-sidewalk: 0.5895 |
|
- Iou Tiles-marble: nan |
|
- Iou Red-bricks: nan |
|
- Iou Rest: nan |
|
|
|
## Model description |
|
|
|
More information needed |
|
|
|
## Intended uses & limitations |
|
|
|
More information needed |
|
|
|
## Training and evaluation data |
|
|
|
More information needed |
|
|
|
## Training procedure |
|
|
|
### Training hyperparameters |
|
|
|
The following hyperparameters were used during training: |
|
- learning_rate: 5e-05 |
|
- train_batch_size: 16 |
|
- eval_batch_size: 16 |
|
- seed: 42 |
|
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 |
|
- lr_scheduler_type: linear |
|
- lr_scheduler_warmup_ratio: 0.05 |
|
- num_epochs: 600 |
|
|
|
### Training results |
|
|
|
| Training Loss | Epoch | Step | Validation Loss | Mean Iou | Mean Accuracy | Overall Accuracy | Accuracy Unlabeled | Accuracy Nat | Accuracy Concrete-speedway-side | Accuracy Concrete-road-adj | Accuracy Grass | Accuracy Speedway-bricks | Accuracy Steel | Accuracy Steel-sidewalk | Accuracy Dark-bricks | Accuracy Road | Accuracy Rough-red-sidewalk | Accuracy Tiles-marble | Accuracy Red-bricks | Accuracy Rest | Iou Unlabeled | Iou Nat | Iou Concrete-speedway-side | Iou Concrete-road-adj | Iou Grass | Iou Speedway-bricks | Iou Steel | Iou Steel-sidewalk | Iou Dark-bricks | Iou Road | Iou Rough-red-sidewalk | Iou Tiles-marble | Iou Red-bricks | Iou Rest | |
|
|:-------------:|:-----:|:----:|:---------------:|:--------:|:-------------:|:----------------:|:------------------:|:------------:|:-------------------------------:|:--------------------------:|:--------------:|:------------------------:|:--------------:|:-----------------------:|:--------------------:|:-------------:|:---------------------------:|:---------------------:|:-------------------:|:-------------:|:-------------:|:-------:|:--------------------------:|:---------------------:|:---------:|:-------------------:|:---------:|:------------------:|:---------------:|:--------:|:----------------------:|:----------------:|:--------------:|:--------:| |
|
| 1.5957 | 20.0 | 20 | 1.5208 | 0.1375 | 0.2966 | 0.7878 | nan | 0.8322 | 0.0071 | nan | 0.0 | 0.9400 | 0.0 | nan | nan | nan | 0.0 | nan | nan | nan | 0.0 | 0.8228 | 0.0065 | nan | 0.0 | 0.6828 | 0.0 | 0.0 | nan | 0.0 | 0.0 | 0.0 | 0.0 | nan | |
|
| 0.3589 | 40.0 | 40 | 0.3774 | 0.3713 | 0.4249 | 0.9034 | nan | 0.9629 | 0.4427 | nan | 0.1437 | 1.0 | 0.0 | nan | nan | nan | 0.0 | nan | nan | nan | nan | 0.9404 | 0.3404 | nan | 0.1104 | 0.8367 | 0.0 | nan | nan | nan | 0.0 | nan | nan | nan | |
|
| 0.173 | 60.0 | 60 | 0.2565 | 0.5359 | 0.6159 | 0.9279 | nan | 0.9537 | 0.6675 | nan | 0.5639 | 1.0 | 0.0 | nan | nan | nan | 0.5100 | nan | nan | nan | nan | 0.9408 | 0.6352 | nan | 0.2973 | 0.8961 | 0.0 | nan | nan | nan | 0.4458 | nan | nan | nan | |
|
| 0.1134 | 80.0 | 80 | 0.1627 | 0.7202 | 0.7931 | 0.9605 | nan | 0.9793 | 0.8184 | nan | 0.4907 | 0.9946 | 0.5343 | nan | nan | nan | 0.9412 | nan | nan | nan | nan | 0.9569 | 0.7767 | nan | 0.3657 | 0.9650 | 0.4712 | nan | nan | nan | 0.7858 | nan | nan | nan | |
|
| 0.0925 | 100.0 | 100 | 0.1637 | 0.7153 | 0.7811 | 0.9572 | nan | 0.9774 | 0.7627 | nan | 0.5282 | 0.9969 | 0.5839 | nan | nan | nan | 0.8377 | nan | nan | nan | nan | 0.9558 | 0.7396 | nan | 0.3793 | 0.9531 | 0.5400 | nan | nan | nan | 0.7239 | nan | nan | nan | |
|
| 0.076 | 120.0 | 120 | 0.1484 | 0.7523 | 0.8407 | 0.9630 | nan | 0.9816 | 0.8138 | nan | 0.5185 | 0.9870 | 0.7936 | nan | nan | nan | 0.9499 | nan | nan | nan | nan | 0.9594 | 0.7565 | nan | 0.3947 | 0.9677 | 0.6144 | nan | nan | nan | 0.8212 | nan | nan | nan | |
|
| 0.0648 | 140.0 | 140 | 0.1535 | 0.7321 | 0.8246 | 0.9590 | nan | 0.9782 | 0.8272 | nan | 0.5431 | 0.9863 | 0.8023 | nan | nan | nan | 0.8104 | nan | nan | nan | nan | 0.9579 | 0.7444 | nan | 0.3992 | 0.9596 | 0.6491 | nan | nan | nan | 0.6825 | nan | nan | nan | |
|
| 0.0647 | 160.0 | 160 | 0.1474 | 0.7517 | 0.8246 | 0.9624 | nan | 0.9807 | 0.7850 | nan | 0.5292 | 0.9944 | 0.7690 | nan | nan | nan | 0.8890 | nan | nan | nan | nan | 0.9588 | 0.7219 | nan | 0.3936 | 0.9702 | 0.7060 | nan | nan | nan | 0.7595 | nan | nan | nan | |
|
| 0.0536 | 180.0 | 180 | 0.1418 | 0.7700 | 0.8598 | 0.9643 | nan | 0.9789 | 0.8163 | nan | 0.5759 | 0.9898 | 0.8609 | nan | nan | nan | 0.9368 | nan | nan | nan | nan | 0.9596 | 0.7403 | nan | 0.4216 | 0.9739 | 0.7420 | nan | nan | nan | 0.7823 | nan | nan | nan | |
|
| 0.0508 | 200.0 | 200 | 0.1347 | 0.7785 | 0.8678 | 0.9662 | nan | 0.9823 | 0.8078 | nan | 0.5830 | 0.9883 | 0.9038 | nan | nan | nan | 0.9418 | nan | nan | nan | nan | 0.9617 | 0.7412 | nan | 0.4265 | 0.9782 | 0.7556 | nan | nan | nan | 0.8078 | nan | nan | nan | |
|
| 0.0452 | 220.0 | 220 | 0.1432 | 0.7452 | 0.8243 | 0.9604 | nan | 0.9796 | 0.7841 | nan | 0.5748 | 0.9934 | 0.8825 | nan | nan | nan | 0.7316 | nan | nan | nan | nan | 0.9598 | 0.7316 | nan | 0.4273 | 0.9609 | 0.7776 | nan | nan | nan | 0.6138 | nan | nan | nan | |
|
| 0.0417 | 240.0 | 240 | 0.1411 | 0.7700 | 0.8509 | 0.9640 | nan | 0.9802 | 0.7948 | nan | 0.5421 | 0.9924 | 0.8778 | nan | nan | nan | 0.9184 | nan | nan | nan | nan | 0.9585 | 0.7368 | nan | 0.4060 | 0.9741 | 0.7841 | nan | nan | nan | 0.7608 | nan | nan | nan | |
|
| 0.0417 | 260.0 | 260 | 0.1407 | 0.7503 | 0.8214 | 0.9616 | nan | 0.9802 | 0.7821 | nan | 0.5683 | 0.9955 | 0.8162 | nan | nan | nan | 0.7863 | nan | nan | nan | nan | 0.9603 | 0.7259 | nan | 0.4290 | 0.9638 | 0.7651 | nan | nan | nan | 0.6580 | nan | nan | nan | |
|
| 0.0421 | 280.0 | 280 | 0.1364 | 0.7752 | 0.8573 | 0.9651 | nan | 0.9819 | 0.7966 | nan | 0.5474 | 0.9910 | 0.9081 | nan | nan | nan | 0.9184 | nan | nan | nan | nan | 0.9603 | 0.7338 | nan | 0.4165 | 0.9746 | 0.7868 | nan | nan | nan | 0.7789 | nan | nan | nan | |
|
| 0.0369 | 300.0 | 300 | 0.1501 | 0.7470 | 0.8209 | 0.9597 | nan | 0.9779 | 0.7465 | nan | 0.5877 | 0.9962 | 0.8372 | nan | nan | nan | 0.7798 | nan | nan | nan | nan | 0.9589 | 0.7027 | nan | 0.4253 | 0.9597 | 0.7791 | nan | nan | nan | 0.6561 | nan | nan | nan | |
|
| 0.0369 | 320.0 | 320 | 0.1567 | 0.7385 | 0.8162 | 0.9579 | nan | 0.9758 | 0.7764 | nan | 0.5807 | 0.9951 | 0.8532 | nan | nan | nan | 0.7157 | nan | nan | nan | nan | 0.9570 | 0.7215 | nan | 0.4166 | 0.9569 | 0.7860 | nan | nan | nan | 0.5929 | nan | nan | nan | |
|
| 0.0347 | 340.0 | 340 | 0.1488 | 0.7457 | 0.8281 | 0.9592 | nan | 0.9770 | 0.7997 | nan | 0.5802 | 0.9928 | 0.9101 | nan | nan | nan | 0.7084 | nan | nan | nan | nan | 0.9581 | 0.7343 | nan | 0.4315 | 0.9585 | 0.8086 | nan | nan | nan | 0.5831 | nan | nan | nan | |
|
| 0.0341 | 360.0 | 360 | 0.1537 | 0.7373 | 0.8085 | 0.9583 | nan | 0.9783 | 0.7636 | nan | 0.5854 | 0.9957 | 0.8529 | nan | nan | nan | 0.6752 | nan | nan | nan | nan | 0.9590 | 0.7182 | nan | 0.4334 | 0.9540 | 0.7937 | nan | nan | nan | 0.5656 | nan | nan | nan | |
|
| 0.0319 | 380.0 | 380 | 0.1511 | 0.7452 | 0.8221 | 0.9591 | nan | 0.9769 | 0.7932 | nan | 0.5953 | 0.9944 | 0.8795 | nan | nan | nan | 0.6932 | nan | nan | nan | nan | 0.9585 | 0.7336 | nan | 0.4352 | 0.9571 | 0.8033 | nan | nan | nan | 0.5835 | nan | nan | nan | |
|
| 0.0331 | 400.0 | 400 | 0.1568 | 0.7412 | 0.8149 | 0.9583 | nan | 0.9766 | 0.8053 | nan | 0.5676 | 0.9948 | 0.8808 | nan | nan | nan | 0.6640 | nan | nan | nan | nan | 0.9573 | 0.7441 | nan | 0.4273 | 0.9548 | 0.8097 | nan | nan | nan | 0.5539 | nan | nan | nan | |
|
| 0.0322 | 420.0 | 420 | 0.1548 | 0.7425 | 0.8170 | 0.9587 | nan | 0.9767 | 0.7880 | nan | 0.5846 | 0.9955 | 0.8665 | nan | nan | nan | 0.6909 | nan | nan | nan | nan | 0.9581 | 0.7343 | nan | 0.4322 | 0.9562 | 0.8036 | nan | nan | nan | 0.5704 | nan | nan | nan | |
|
| 0.0313 | 440.0 | 440 | 0.1581 | 0.7417 | 0.8156 | 0.9585 | nan | 0.9767 | 0.7942 | nan | 0.5856 | 0.9953 | 0.8762 | nan | nan | nan | 0.6658 | nan | nan | nan | nan | 0.9582 | 0.7368 | nan | 0.4293 | 0.9555 | 0.8126 | nan | nan | nan | 0.5577 | nan | nan | nan | |
|
| 0.0303 | 460.0 | 460 | 0.1636 | 0.7328 | 0.8028 | 0.9570 | nan | 0.9767 | 0.7584 | nan | 0.5827 | 0.9970 | 0.8429 | nan | nan | nan | 0.6591 | nan | nan | nan | nan | 0.9579 | 0.7142 | nan | 0.4316 | 0.9508 | 0.7937 | nan | nan | nan | 0.5483 | nan | nan | nan | |
|
| 0.0321 | 480.0 | 480 | 0.1490 | 0.7500 | 0.8311 | 0.9599 | nan | 0.9770 | 0.7959 | nan | 0.5885 | 0.9938 | 0.9151 | nan | nan | nan | 0.7164 | nan | nan | nan | nan | 0.9586 | 0.7349 | nan | 0.4380 | 0.9591 | 0.8157 | nan | nan | nan | 0.5936 | nan | nan | nan | |
|
| 0.0304 | 500.0 | 500 | 0.1544 | 0.7471 | 0.8289 | 0.9593 | nan | 0.9771 | 0.8144 | nan | 0.5791 | 0.9922 | 0.9268 | nan | nan | nan | 0.6838 | nan | nan | nan | nan | 0.9582 | 0.7459 | nan | 0.4353 | 0.9571 | 0.8157 | nan | nan | nan | 0.5704 | nan | nan | nan | |
|
| 0.0303 | 520.0 | 520 | 0.1602 | 0.7419 | 0.8179 | 0.9585 | nan | 0.9771 | 0.7963 | nan | 0.5769 | 0.9945 | 0.9095 | nan | nan | nan | 0.6530 | nan | nan | nan | nan | 0.9580 | 0.7401 | nan | 0.4343 | 0.9542 | 0.8177 | nan | nan | nan | 0.5472 | nan | nan | nan | |
|
| 0.0301 | 540.0 | 540 | 0.1528 | 0.7481 | 0.8285 | 0.9596 | nan | 0.9771 | 0.8037 | nan | 0.5885 | 0.9934 | 0.9191 | nan | nan | nan | 0.6891 | nan | nan | nan | nan | 0.9585 | 0.7442 | nan | 0.4394 | 0.9577 | 0.8171 | nan | nan | nan | 0.5715 | nan | nan | nan | |
|
| 0.0305 | 560.0 | 560 | 0.1500 | 0.7524 | 0.8292 | 0.9604 | nan | 0.9781 | 0.8007 | nan | 0.5822 | 0.9941 | 0.9108 | nan | nan | nan | 0.7092 | nan | nan | nan | nan | 0.9591 | 0.7418 | nan | 0.4380 | 0.9590 | 0.8219 | nan | nan | nan | 0.5945 | nan | nan | nan | |
|
| 0.0301 | 580.0 | 580 | 0.1522 | 0.7506 | 0.8295 | 0.9599 | nan | 0.9774 | 0.7963 | nan | 0.5853 | 0.9940 | 0.9188 | nan | nan | nan | 0.7053 | nan | nan | nan | nan | 0.9588 | 0.7395 | nan | 0.4387 | 0.9581 | 0.8209 | nan | nan | nan | 0.5873 | nan | nan | nan | |
|
| 0.0279 | 600.0 | 600 | 0.1525 | 0.7497 | 0.8290 | 0.9598 | nan | 0.9775 | 0.7907 | nan | 0.5869 | 0.9939 | 0.9191 | nan | nan | nan | 0.7060 | nan | nan | nan | nan | 0.9588 | 0.7359 | nan | 0.4374 | 0.9581 | 0.8183 | nan | nan | nan | 0.5895 | nan | nan | nan | |
|
|
|
|
|
### Framework versions |
|
|
|
- Transformers 4.30.2 |
|
- Pytorch 2.0.1+cu117 |
|
- Datasets 2.13.1 |
|
- Tokenizers 0.13.3 |
|
|
