Etter at Trondheims befestninger ble nedlagt i 1816 mistet Skansevollene mye av sin betydning. Fra 1850-årene og i tiårene fremover ble befestningen på Skansen gradvis revet som følge av utbygging av ny infrastruktur. Blant annet ble Kongens gate utvidet ved at vollgraver ble fylt igjen og deler av vollene ble fjernet. Selve Skanseporten ble revet i 1858. De nordligste delene av Kongens bastion ble fjernet i 1880 da Trondhjem–Størenbanen fikk ny trasé over Skansen med endestasjon på Brattøra. Deler av Dronningens bastion ble fjernet ved oppføringen av Ilen kirke og omkringliggende parkområde mot slutten av 1880-årene.