Die Burg wurde 1653 von der Armee Oliver Cromwells während der Kriege der drei Königreiche erobert. James Drummond, 4. Earl of Perth, war Lordkanzler von Schottland unter König Jakob VII. Er ließ mit dem Bau des Landhauses 1689 beginnen, bevor er nach der Absetzung von König Jakob durch Wilhelm von Oranien eingesperrt wurde. Er floh später auf den jakobitischen Hof im Exil in Frankreich. Die Drummonds unterstützen weiterhin die jakobitische Sache in den Jakobitenaufständen von 1715 und 1745. Die Familie hatten weiterhin die Kontrolle über das Anwesen, bis ihre Besitzungen 1750 als verwirkt erklärt und vom Staat übernommen wurden. Das Anwesen wurde bis 1784 von den "Commissioners for Forfeited Estates" verwaltet und dann an Captain James Drummond verkauft. Er ließ an den Anwesen eine Reihe von Verbesserungen durchführen, eine Arbeit, die von seiner Tochter und ihrem Gatten, Peter Drummond-Burell, 22. Baron Willoughby de Eresby, (1782–1865) fortgesetzt wurde. Diese umfassten u. a. die formellen Gärten und die Terrassen in den 1830er-Jahren. Königin Victoria besuchte die Gärten 1842.