En rekke branner og sammenrasing av tårnet på 1400- og 1500-tallet gjorde at bygningen etter hvert framsto delvis som en ruin. Selv om den vestlige fløyen fortsatt ble benyttet til messer, ble stein fra den østlige fløyen plyndret. Fra 1858 til 1928 ble den nordlige tårnbygningen og det østlige koret gjenoppbygget på grunnlag av de raserte veggene av arkitekten Macgregor Chalmers. Etter hans død ble koret ferdigstilt av sir Robert Lorimer.