I 1313, ble festningen Castle Rushen i Castletown beleiret, delvis ødelagt og erobret av den skotske kongen Robert Bruce, men han klarte ikke å holde på den. I en forvirrende periode var Man en kasteball mellom både Skottland og England hvor begge land krevde overherredømme over øya. Striden endte med at de engelske kongene dominerte Skottland og øya ble bevilget til ulike engelske adelsmenn. Festningen ble da betydelig ombygget og utvidet som et festningshode på øya. Det østlige tårnet, porthuset og den ytre muren var tillegg som kom til på 1300-tallet og framover.