En 1906 la última descendiente de la familia Hamilton se casó con James Graham, sexto Duque de Montrose, de forma que por primera vez en más de quinientos años el castillo dejó de pertenecer a los Hamilton.