Posteriormente el castillo se convirtió en residencia del clan MacRae antes de quedar abandonado poco después de la unión entre Escocia e Inglaterra.