I august 1370 ble Alexander Bur, biskop av Moray, tvunget til gi utbetalinger til Alexander Stewart, den såkalte «Ulven fra Badenoch», bror av kong Robert III av Skottland for beskyttelse av hans land og menn. I februar 1390 henvendte biskopen seg deretter til Thomas Dunbar, sønn av jarlen av Moray, for å få beskyttelse. Det gjorde Stewart rasende og i mai kom han fra festningen sin på en øy i Lochindorb og brente som hevn byen Forres. I juni brente han deretter store deler av Elgin, inkludert to klostre, St Giles Church, Hospital of Maison Dieu og katedralen. Andrew av Wyntouns av Skottland (en skotsk historie fra 1400-tallet) beskrev denne handlingen av «wyld, wykkede Heland-men». Gjenoppbyggingen av katedralen tok mange år, men mye av det har siden smuldret bort på grunn av den dårlige kvaliteten på steinen som ble gjort tilgjengelig for murerne fra 1400- og 1500-tallet, mens konstruksjonen fra 1200-tallet står fortsatt igjen. I 1506 kollapset det store sentrale tårnet, og selv om gjenoppbyggingsarbeidet begynte neste år, ble det ikke fullført før i 1538.