Devizes fikk sitt første charter i 1141, og dette ga tillatelse til regulære markedsalg. Festningen byttet eier flere ganger i løpet av den første engelske borgerkrigen mellom kong Stefan av England og Maud av England på 1100-tallet. Festningen hadde flere betydningsfulle fanger i ulike tider, blant annet Robert Curthose, hertug av Normandie og i 1106 den eldste sønnen til Vilhelm Erobreren. Robert ble holdt fanget i Devizes Castle i tyve år før han ble flyttet Cardiff Castle.