Dumfries Castle ble bygget en gang før 1214 som en primitiv borg av typen motte-and-bailey med jord og tømmer på normannisk vis, og siden forsterket i stein. Den ble bygget for å forsvare vadested eller krysningspunkt ved elven Nith langs en nøkkelrute inn i Skottland. Byen Dumfries ble opprettet som en kongelig burgh av kong Vilhelm I av Skottland i 1186. Festningen ble utvidet og gjenoppbygd i stein i 1214. Festningen var både en kongelig bolig og en rettsbygning. Kong Aleksander III av Skottland besøkte festningen i 1264 for å planlegge en ekspedisjon mot øya Man i Irskesjøen. Robert Bruce, 5. lord av Annandale, bestefar til Robert Bruce, erobret festningen i 1286.