Et århundre med forfall og stadig risiko for angrep som truet med å sette borgen og husene i brann gjorde det nødvendig med å reise nye hus i stein. Særlig hendelsene i 1224 og 1228 gjorde klart at Mans sørside ved Ronaldsway var usikret. Havnen ved hva som i dag er Castletown ga trygg havn til angripere. Det ble åpenbart at Mans sørside hadde behov for kongelig tilstedeværelse, og Magnus Olavsson ga St. Patrick's Isle til kirken, antagelig i 1257, og flyttet maktsenteret og den kongelige bolig til motsatte side av Man, noe som ble bekreftet av som opplyser at kong Magnus døde i Castle Rushen i Castletown i 1265.