I 1361 var det en strid mellom kong David II av Skottland og kongens fetter Thomas, jarl av Mar. Kongen beleiret festningen og erobret den. Han utpekte deretter Walter Moigne som bestyrer inntil videre. Thomas dør i 1377 uten arving som den siste jarl av Mar fra den gamle keltisk gren. Hans eneste søster, Margaret, gift med William, 1. jarl av Douglas, blir grevinne av Mar og Garioch i hennes egen rett og blir etterfulgt av datteren Isabel, grevinne av Mar og Garioch, som giftet seg med Sir Malcolm Drummond, en bror av Annabella, Robert III av Skottlands dronning.