safety-userstudy-terrain

This model is a fine-tuned version of nvidia/mit-b5 on the sam1120/safety-userstudy-terrain dataset. It achieves the following results on the evaluation set:

• Loss: 0.1525
• Mean Iou: 0.7497
• Mean Accuracy: 0.8290
• Overall Accuracy: 0.9598
• Accuracy Unlabeled: nan
• Accuracy Nat: 0.9775
• Accuracy Concrete-speedway-side: 0.7907
• Accuracy Concrete-road-adj: nan
• Accuracy Grass: 0.5869
• Accuracy Speedway-bricks: 0.9939
• Accuracy Steel: 0.9191
• Accuracy Steel-sidewalk: nan
• Accuracy Dark-bricks: nan
• Accuracy Road: nan
• Accuracy Rough-red-sidewalk: 0.7060
• Accuracy Tiles-marble: nan
• Accuracy Red-bricks: nan
• Accuracy Rest: nan
• Iou Unlabeled: nan
• Iou Nat: 0.9588
• Iou Concrete-speedway-side: 0.7359
• Iou Concrete-road-adj: nan
• Iou Grass: 0.4374
• Iou Speedway-bricks: 0.9581
• Iou Steel: 0.8183
• Iou Steel-sidewalk: nan
• Iou Dark-bricks: nan
• Iou Road: nan
• Iou Rough-red-sidewalk: 0.5895
• Iou Tiles-marble: nan
• Iou Red-bricks: nan
• Iou Rest: nan

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 16
• eval_batch_size: 16
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• lr_scheduler_warmup_ratio: 0.05
• num_epochs: 600

Training results

Training Loss	Epoch	Step	Validation Loss	Mean Iou	Mean Accuracy	Overall Accuracy	Accuracy Unlabeled	Accuracy Nat	Accuracy Concrete-speedway-side	Accuracy Concrete-road-adj	Accuracy Grass	Accuracy Speedway-bricks	Accuracy Steel	Accuracy Steel-sidewalk	Accuracy Dark-bricks	Accuracy Road	Accuracy Rough-red-sidewalk	Accuracy Tiles-marble	Accuracy Red-bricks	Accuracy Rest	Iou Unlabeled	Iou Nat	Iou Concrete-speedway-side	Iou Concrete-road-adj	Iou Grass	Iou Speedway-bricks	Iou Steel	Iou Steel-sidewalk	Iou Dark-bricks	Iou Road	Iou Rough-red-sidewalk	Iou Tiles-marble	Iou Red-bricks	Iou Rest
1.5957	20.0	20	1.5208	0.1375	0.2966	0.7878	nan	0.8322	0.0071	nan	0.0	0.9400	0.0	nan	nan	nan	0.0	nan	nan	nan	0.0	0.8228	0.0065	nan	0.0	0.6828	0.0	0.0	nan	0.0	0.0	0.0	0.0	nan
0.3589	40.0	40	0.3774	0.3713	0.4249	0.9034	nan	0.9629	0.4427	nan	0.1437	1.0	0.0	nan	nan	nan	0.0	nan	nan	nan	nan	0.9404	0.3404	nan	0.1104	0.8367	0.0	nan	nan	nan	0.0	nan	nan	nan
0.173	60.0	60	0.2565	0.5359	0.6159	0.9279	nan	0.9537	0.6675	nan	0.5639	1.0	0.0	nan	nan	nan	0.5100	nan	nan	nan	nan	0.9408	0.6352	nan	0.2973	0.8961	0.0	nan	nan	nan	0.4458	nan	nan	nan
0.1134	80.0	80	0.1627	0.7202	0.7931	0.9605	nan	0.9793	0.8184	nan	0.4907	0.9946	0.5343	nan	nan	nan	0.9412	nan	nan	nan	nan	0.9569	0.7767	nan	0.3657	0.9650	0.4712	nan	nan	nan	0.7858	nan	nan	nan
0.0925	100.0	100	0.1637	0.7153	0.7811	0.9572	nan	0.9774	0.7627	nan	0.5282	0.9969	0.5839	nan	nan	nan	0.8377	nan	nan	nan	nan	0.9558	0.7396	nan	0.3793	0.9531	0.5400	nan	nan	nan	0.7239	nan	nan	nan
0.076	120.0	120	0.1484	0.7523	0.8407	0.9630	nan	0.9816	0.8138	nan	0.5185	0.9870	0.7936	nan	nan	nan	0.9499	nan	nan	nan	nan	0.9594	0.7565	nan	0.3947	0.9677	0.6144	nan	nan	nan	0.8212	nan	nan	nan
0.0648	140.0	140	0.1535	0.7321	0.8246	0.9590	nan	0.9782	0.8272	nan	0.5431	0.9863	0.8023	nan	nan	nan	0.8104	nan	nan	nan	nan	0.9579	0.7444	nan	0.3992	0.9596	0.6491	nan	nan	nan	0.6825	nan	nan	nan
0.0647	160.0	160	0.1474	0.7517	0.8246	0.9624	nan	0.9807	0.7850	nan	0.5292	0.9944	0.7690	nan	nan	nan	0.8890	nan	nan	nan	nan	0.9588	0.7219	nan	0.3936	0.9702	0.7060	nan	nan	nan	0.7595	nan	nan	nan
0.0536	180.0	180	0.1418	0.7700	0.8598	0.9643	nan	0.9789	0.8163	nan	0.5759	0.9898	0.8609	nan	nan	nan	0.9368	nan	nan	nan	nan	0.9596	0.7403	nan	0.4216	0.9739	0.7420	nan	nan	nan	0.7823	nan	nan	nan
0.0508	200.0	200	0.1347	0.7785	0.8678	0.9662	nan	0.9823	0.8078	nan	0.5830	0.9883	0.9038	nan	nan	nan	0.9418	nan	nan	nan	nan	0.9617	0.7412	nan	0.4265	0.9782	0.7556	nan	nan	nan	0.8078	nan	nan	nan
0.0452	220.0	220	0.1432	0.7452	0.8243	0.9604	nan	0.9796	0.7841	nan	0.5748	0.9934	0.8825	nan	nan	nan	0.7316	nan	nan	nan	nan	0.9598	0.7316	nan	0.4273	0.9609	0.7776	nan	nan	nan	0.6138	nan	nan	nan
0.0417	240.0	240	0.1411	0.7700	0.8509	0.9640	nan	0.9802	0.7948	nan	0.5421	0.9924	0.8778	nan	nan	nan	0.9184	nan	nan	nan	nan	0.9585	0.7368	nan	0.4060	0.9741	0.7841	nan	nan	nan	0.7608	nan	nan	nan
0.0417	260.0	260	0.1407	0.7503	0.8214	0.9616	nan	0.9802	0.7821	nan	0.5683	0.9955	0.8162	nan	nan	nan	0.7863	nan	nan	nan	nan	0.9603	0.7259	nan	0.4290	0.9638	0.7651	nan	nan	nan	0.6580	nan	nan	nan
0.0421	280.0	280	0.1364	0.7752	0.8573	0.9651	nan	0.9819	0.7966	nan	0.5474	0.9910	0.9081	nan	nan	nan	0.9184	nan	nan	nan	nan	0.9603	0.7338	nan	0.4165	0.9746	0.7868	nan	nan	nan	0.7789	nan	nan	nan
0.0369	300.0	300	0.1501	0.7470	0.8209	0.9597	nan	0.9779	0.7465	nan	0.5877	0.9962	0.8372	nan	nan	nan	0.7798	nan	nan	nan	nan	0.9589	0.7027	nan	0.4253	0.9597	0.7791	nan	nan	nan	0.6561	nan	nan	nan
0.0369	320.0	320	0.1567	0.7385	0.8162	0.9579	nan	0.9758	0.7764	nan	0.5807	0.9951	0.8532	nan	nan	nan	0.7157	nan	nan	nan	nan	0.9570	0.7215	nan	0.4166	0.9569	0.7860	nan	nan	nan	0.5929	nan	nan	nan
0.0347	340.0	340	0.1488	0.7457	0.8281	0.9592	nan	0.9770	0.7997	nan	0.5802	0.9928	0.9101	nan	nan	nan	0.7084	nan	nan	nan	nan	0.9581	0.7343	nan	0.4315	0.9585	0.8086	nan	nan	nan	0.5831	nan	nan	nan
0.0341	360.0	360	0.1537	0.7373	0.8085	0.9583	nan	0.9783	0.7636	nan	0.5854	0.9957	0.8529	nan	nan	nan	0.6752	nan	nan	nan	nan	0.9590	0.7182	nan	0.4334	0.9540	0.7937	nan	nan	nan	0.5656	nan	nan	nan
0.0319	380.0	380	0.1511	0.7452	0.8221	0.9591	nan	0.9769	0.7932	nan	0.5953	0.9944	0.8795	nan	nan	nan	0.6932	nan	nan	nan	nan	0.9585	0.7336	nan	0.4352	0.9571	0.8033	nan	nan	nan	0.5835	nan	nan	nan
0.0331	400.0	400	0.1568	0.7412	0.8149	0.9583	nan	0.9766	0.8053	nan	0.5676	0.9948	0.8808	nan	nan	nan	0.6640	nan	nan	nan	nan	0.9573	0.7441	nan	0.4273	0.9548	0.8097	nan	nan	nan	0.5539	nan	nan	nan
0.0322	420.0	420	0.1548	0.7425	0.8170	0.9587	nan	0.9767	0.7880	nan	0.5846	0.9955	0.8665	nan	nan	nan	0.6909	nan	nan	nan	nan	0.9581	0.7343	nan	0.4322	0.9562	0.8036	nan	nan	nan	0.5704	nan	nan	nan
0.0313	440.0	440	0.1581	0.7417	0.8156	0.9585	nan	0.9767	0.7942	nan	0.5856	0.9953	0.8762	nan	nan	nan	0.6658	nan	nan	nan	nan	0.9582	0.7368	nan	0.4293	0.9555	0.8126	nan	nan	nan	0.5577	nan	nan	nan
0.0303	460.0	460	0.1636	0.7328	0.8028	0.9570	nan	0.9767	0.7584	nan	0.5827	0.9970	0.8429	nan	nan	nan	0.6591	nan	nan	nan	nan	0.9579	0.7142	nan	0.4316	0.9508	0.7937	nan	nan	nan	0.5483	nan	nan	nan
0.0321	480.0	480	0.1490	0.7500	0.8311	0.9599	nan	0.9770	0.7959	nan	0.5885	0.9938	0.9151	nan	nan	nan	0.7164	nan	nan	nan	nan	0.9586	0.7349	nan	0.4380	0.9591	0.8157	nan	nan	nan	0.5936	nan	nan	nan
0.0304	500.0	500	0.1544	0.7471	0.8289	0.9593	nan	0.9771	0.8144	nan	0.5791	0.9922	0.9268	nan	nan	nan	0.6838	nan	nan	nan	nan	0.9582	0.7459	nan	0.4353	0.9571	0.8157	nan	nan	nan	0.5704	nan	nan	nan
0.0303	520.0	520	0.1602	0.7419	0.8179	0.9585	nan	0.9771	0.7963	nan	0.5769	0.9945	0.9095	nan	nan	nan	0.6530	nan	nan	nan	nan	0.9580	0.7401	nan	0.4343	0.9542	0.8177	nan	nan	nan	0.5472	nan	nan	nan
0.0301	540.0	540	0.1528	0.7481	0.8285	0.9596	nan	0.9771	0.8037	nan	0.5885	0.9934	0.9191	nan	nan	nan	0.6891	nan	nan	nan	nan	0.9585	0.7442	nan	0.4394	0.9577	0.8171	nan	nan	nan	0.5715	nan	nan	nan
0.0305	560.0	560	0.1500	0.7524	0.8292	0.9604	nan	0.9781	0.8007	nan	0.5822	0.9941	0.9108	nan	nan	nan	0.7092	nan	nan	nan	nan	0.9591	0.7418	nan	0.4380	0.9590	0.8219	nan	nan	nan	0.5945	nan	nan	nan
0.0301	580.0	580	0.1522	0.7506	0.8295	0.9599	nan	0.9774	0.7963	nan	0.5853	0.9940	0.9188	nan	nan	nan	0.7053	nan	nan	nan	nan	0.9588	0.7395	nan	0.4387	0.9581	0.8209	nan	nan	nan	0.5873	nan	nan	nan
0.0279	600.0	600	0.1525	0.7497	0.8290	0.9598	nan	0.9775	0.7907	nan	0.5869	0.9939	0.9191	nan	nan	nan	0.7060	nan	nan	nan	nan	0.9588	0.7359	nan	0.4374	0.9581	0.8183	nan	nan	nan	0.5895	nan	nan	nan

Framework versions

• Transformers 4.30.2
• Pytorch 2.0.1+cu117
• Datasets 2.13.1
• Tokenizers 0.13.3