86年，詹姆斯二世在荷里路德宫建造了耶稣会学院。次年其集会地点搬到坎农格特苏格兰教会，而荷里路德宫则变成了皇家罗马天主教礼拜堂及蓟花勋章礼拜堂。 根据詹姆斯·史密斯的规划，在修道院的安装了雕有蓟花勋章的座位，雕刻师是格林林·吉本斯。然而随着1688年的光荣革命，爱丁堡的暴徒再次洗劫荷里路德修道院，摧毁了新建的皇家礼拜堂并掘开了皇家陵寝。 1758年其木制屋顶换成石制，但是质量很差。于是在1768年的一场暴风雨中被掀翻，此后长时间内该修道院都是没有屋顶的废墟。1835年建筑师詹姆斯·吉莱斯皮·格拉哈姆提议将其