Etter en lov om oppkjøp av de føydale rettighetene til Man i 1765, , av det britiske parlamentet for 70 000 pund fra hertugen av Atholl skjedde en generell demilitarisering. Hertugen avskjediget soldatene på Peel Castle og fjernet festningens beste kanoner som ble sendt til hertugens sete i Skottland. Den britiske regjeringen erstattet ikke disse, og forfallet fortsatte. Øya ble gressgang for sauer og ved 1775 var alle husene uten tak, unntatt deler av katedralens østlige arm. Katedralen hadde forfalt siden 1600-tallet. I 1662 ble katedralen oppgitt å være i ruiner. Det ble gjort forsøk på utbedringer ved innvielse av ny biskop i 1755, men etter 1824 var katedralens forfall hinsides restaurering etter resten av taket forsvant i en kraftig storm, og etterlot katedralen i den tilstanden den er i dag.