Etter bare tyve år kom man til at de militære kostnadene med å holde muren var for høye, og legionene ble trukket tilbake til Hadrians mur i 164. Etter en serie angrep i 197 besøkte keiser Septimius Severus provinsen, og reparerte deler av muren i forbindelse med et felttog i de nordlige delene av øya. Romerne holdt muren i bare noen få år, men den kalles på grunn av denne perioden av noen senromerske historikere for .