Після вигнання Стюартів палац почав руйнуватись, й уже у 1708 році він втратив дах. До XIX століття від нього лишились тільки живописні руїни.