En normannisk festning ble reist i Devizes i 1080 av Osmund, biskop av Salisbury, og av den grunn blir byen ikke nevnt i . Ettersom festningen var lokalisert ved grensene til landgodset Rowde, Bishops Cannings og Potterne, ble den kjent som eller «festningen ved grensene», derav navnet Devizes. Den opprinnelige festningen var sannsynligvis bygd av tømmer og jord, men denne brant ned i 1113 og ble gjenoppbygd i stein av Roger av Salisbury, Osmunds etterfølger.