1595 starb der 5. Earl of Atholl ohne männliche Erben; seine Töchter gaben den Besitz 1610 an die Krone zurück. In der Folge wechselten die Besitzer schnell: James Stewart, 2. Earl of Atholl; John Abernethy, 8. Lord Saltoun; James Stewart of Killeath, bis 1614 die Burg durch Kauf an Robert Innes of Invermarkie ging. Dessen Familie verlor die Burg im Schottischen Bürgerkrieg. 1658 wurde sie an Colonel Sutherland of Kinminity verkauft, der Balvenie Castle aber bereits 1687 wieder verkaufte; neue Besitzer wurden die Duffs of Braco.