Tidlig på 1300-tallet begynte byggingen av festningen i stein, og mesteparten av murene og tårnene ble reist i lokal sandstein som det finnes rikelige av i området. Porttårnet ble reist i 1392. På samme tid ble det også reist en katedral på øya som en del av setet for biskopene av bispedømmet Sodor og Man, etter opprettelsen i 1154. Festningen ble stort sett forlatt på 1700-tallet, og den samme skjebne fikk også katedralen, som begge deler ble liggende i ruiner.